当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了

小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了

来源:机器之心 2024-10-26 08:15:53 0浏览 收藏

怎么入门科技周边编程?需要学习哪些知识点?这是新手们刚接触编程时常见的问题;下面golang学习网就来给大家整理分享一些知识点,希望能够给初学者一些帮助。本篇文章就来介绍《小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了》,涉及到,有需要的可以收藏一下

原来物理还能这么学。

学习物理,不同的人自然有不同的经历。一些人觉得物理课简单直观,但另一些人却认为它抽象又反直觉,根本就无法理解。为此,许多教师和教学研究者探索了各种方法(像是课堂演示、动画演示等),力图让物理课变得生动有趣,便于学生理解。

随着人工智能的发展,我们已经看到各种知识学习新方法层出不穷,比如 AI 口语陪练就已成为一个颇受欢迎的应用。现在,卡尔加里大学和 Adobe 研究院的一项研究又展示了一个新可能:用 AI 将物理课本上的图表变成动画,直接演示物理机制的过程。如此一来,原本抽象的物理课程或许一下就会变得直观起来!

小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了

小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了

小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了

小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
可以看到,只需在物理图表上绘画一个方框标记识别范围,AI 就能在分析之后将其变成可交互的动图。单摆、电路、透镜、斜坡滑行…… 不管是牛顿力学、光学还是基础电路,这个 AI 统统都能搞定。

该研究发布后收获赞誉无数,人们都从中看到了提升学生学习效率的潜力,甚至有人表示现在是当学生最好的时代。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
当然,也依然有人表示怀疑。毕竟研究是一回事,转化成实际应用又是另一回事。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
不管怎样,该研究不仅获得了大多数网友的赞美,也赢得了学术界的认可,其获得了正在举行的 ACM 用户界面软件和技术研讨会(UIST 2024)的最佳论文奖。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
下面我们就来看看这个「增强版物理学」是怎么做到的吧。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
  • 论文标题:Augmented Physics: Creating Interactive and Embedded Physics Simulations from Static Textbook Diagrams
  • 论文地址:https://arxiv.org/pdf/2405.18614

从其标题可以看到,该研究可「基于静态的教科书图表创建交互式和嵌入式的物理模拟」。为此,他们用到了 Segment-Anything 和多模态 LLM 等先进的计算机视觉技术。

据介绍,该系统支持多种类型的模型,包括牛顿运动、光学、电路、循环动画。只需简单地勾画,用户就可以选取图表中的特定的对象进行分割,然后操作这些分割出来的对象,并调整参数值与这些模拟结果进行动态交互。此外,还可以通过一个基于网页的界面将这些交互式视觉输出无缝地叠加到教材 PDF 上,让学生无需搜索外部材料或从头开始创建模拟,即可学习、实验和使用教材。

该团队也指出,基于静态文档创建交互式解释内容的想法并不新鲜,但这项研究有三大贡献:

  1. 提出了一种全新的图像到模拟工作流程。之前的 Charagraph 和 Augmented Math 等研究关注的是文本到文本或文本到图表的工作流程,但它们不足以满足物理图表和模拟的需求,这需要更关注图像的方法。
  2. 为增强物理模拟工具的设计空间做出了贡献。为了设计这个系统,该团队执行了一个形成性启发(formative elicitation)研究。他们询问了 7 位物理课讲师,了解了他们增强物理教材的方式。基于这些结果,他们找到了四大关键的增强策略:增强实验、动画图表、双向绑定、参数可视化。
  3. 他们执行了三项评估,贡献了一份技术评估、一份初步可用性研究(N=12)和对物理讲师的专家采访(N=12)。

形成性研究

在设计系统之前,该团队在七位物理学讲师的帮助下进行了形成性研究。其目标是了解他们当前的物理教学方法,以确定当前教育实践中的差距和需求,以及通过设计启发来收集他们对潜在增强策略的见解,以便从教学角度指导这种工具的设计。

方法

该团队从当地大学社区招募了具备扎实物理教育背景的学生,其中包括 1 名本科生、5 名硕士生和 1 名博士生。这些参与者平均拥有 1.7 年作为助教或讲师的教学经验。

研究团队首先和参与者讨论了当前物理教学中对新型教学工具的需求,随后鼓励参与者提出新工具设计方案。他们以一本大一物理教科书 ——《Physics for Scientists and Engineers: A Strategic Approach, 3rd Edition》为例,要求参与者从教师的视角出发,思考如何将书中的静态概念图表转化为更具互动性和教学效果的增强形式。

目前物理教学实践的挑战
 
经过讨论,该团队认为目前的物理教学存在以下挑战:

  1. 静态的图表只能展示某一时刻的状态,但物理中有很多概念是会随时间变化的,静态图表无法展示这些动态的物理过程。
  2. 视频可以展示物理现象随时间的变化,但是仅看视频,学生无法亲自进行实验操作,比如调整实验参数,观察不同条件下的结果。
  3. 学生可以通过计算机上的模拟工具来探索物理现象,但是这些工具没有配备教学相关的指导。
  4. 在物理教学中,有时会引入视频等额外的资料来辅助教学,但这将分散学生的注意力,影响学习效果。

启发得到的增强策略

在系统开发过程中,该团队收集了参与者关于各种主题的设计建议,包括运动学、光学、电磁学、牛顿引力、声学和热力学。根据反馈,他们确定了四种主要的增强技术类别。
 
增强实验:让用户可以直接操作教材图表,让他们可以改变物体的位置或电路元件的数值等,然后观察其实时的变化情况。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
动画图表:将静态图像变成循环动图,展示随时间的变化情况。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
双向绑定:将文本与图像连接起来,让它们变得可以操作。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
参数可视化:在模拟图表中按需生成不同参数的可视化结果。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
Augmented Physics 的设计框架
 
如何根据静态图表创建互动式的动画呢?Augmented Physics 是这么用的。
 
创建工作流
 
在 Augmented Physics 创建一个工作流程的步骤如下:

1. 导入教科书页面

Augmented Physics 支持计算机端和移动端,你可以通过手机拍照上传,也可以直接导入 PDF。

2. 选择模拟类型

Augmented Physics 可以让涉及运动、光学和电路的相关图像动起来。不属于这些分类的图像,「动画」功能也能让它动起来。

3. 提取并分割图像

用户可以在特定区域用方框和点把要动起来的区域画出来。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
4. 定义分割后的图像

分割完成后,需要标明分割出来的物体在整个系统中的角色,比如下面的这张透镜成像图,就标记了焦点 F、透镜、和投影对象。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
对于电路图,Augmented Physics 可以通过图像识别,自动识别电阻器和电池等元素。

5. 生成并运行模拟。图像分割完成并分配角色之后,系统会将分割得到的图像转换成适合物理模拟的多边形,进而生成模拟。如图 7 中斜坡滑行的示例。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
6. 通过参数操作与模拟实现交互。用户可以灵活地调整模拟中的参数,例如动态对象的质量、静态对象的摩擦力和弹簧力常数。系统还可以识别文本或图像中的参数值,使用户能够操作页面上的数值。例如,在电路模拟中,用户可以修改电阻和电池的值,以动态改变模拟结果。此外,该系统还能自动将文本中的数值链接到模拟中对象的特定属性,并且用户可以编辑这些属性。

支持的增强功能

该系统支持以下功能:
 
增强实验:如下图所示,用户在选取电路图后,该系统会生成一个覆盖其上的模拟,用户可以通过调整数值来与之交互。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
动画图表:比如对于光的折射图,用户可以选择一条光路,观察光的路径。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
双向绑定:下图展示了一个运动学图表的双向绑定示例。用户选择绑定一个数值,然后通过拖动可以调整这个值,然后系统会基于新的值运行模拟。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
参数可视化:图中展示了单摆的参数可视化。用户选择单摆和可用参数后,该系统可以可视化其随时间的变化情况。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
实现

该系统主要包含两个组件:使用 Python 的后端计算机视觉管道模块和使用 React.js 开发的前端 Web 界面。

其中,计算机视觉模块集成了广泛使用的图像分割模型 Segment-Anything,以及通过 OpenCV 定制开发的线和轮廓检测算法。

前端和后端之间的通信通过 Firebase 实时数据库实现,并允许根据提供的输入坐标处理图像。得到的结果(包括提取的图像、线条或点)随后通过 Firebase 传回。此外,该系统还会计算提取的图像的边界框和 X 和 Y 坐标,并将这些数据传输到前端。

对于文本识别和数值提取,他们使用了谷歌的 Cloud Vision API。然后,将页面文本和提取的对象数据以 JSON 格式发送到 LLM(GPT-4),该 LLM 的作用是推荐模拟类型并根据文本自动设置模拟参数。

在原型设计和技术评估中,前端是 2022 版 14 英寸的 MacBook Air 上运行的 Chrome 浏览器,后端是 Google Colab(CPU:Intel Xeon 4 核,GPU:Nvidia T4,RAM:50GB)。

技术评估

表 1 总结了技术评估结果。模拟不同元素的成功率如下:运动学为 64%、光学为 44%、电路为 40%(经过微小编辑后可提升至 62%)、动画为 66%。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
具体细节请参阅原论文。

用户研究

初步用户研究

在初步研究中,该团队评估了系统可用性得分 (SUS)、总体参与度和系统的有用性。新设计的系统获得了 92.73 的总体 SUS 得分,标准差(SD)为 9.84。

参与者最喜欢功能的是参数可视化(平均值 (M)=6.8,SD=0.4)和双向绑定(M=6.7/7,SD=0.67),其次是增强实验(M=6.0/7,SD=1.78)和动画图表(M=6.2,SD=1.07)(图 13)。
小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了
总体而言,参与者认为所有功能都很有用。

专家意见

该团队也询问了专家的看法。他们普遍表示,该系统可以帮助他们为学生创建个性化的模拟。他们也给出了自己的反馈,总结如下:

  • 补充在线资源,而不是替代;
  • 扩大实验展示的范围;
  • 通过独立的自主导式探索让学生参与进来;
  • 通过观察促使学生提问;
  • 需要在课堂演示之前验证模拟结果;
  • 教师强调独立思考,而不是拿到题还没思考就立马使用该系统。
 
真心希望该系统能早点投入实际应用!

以上就是《小滑块上个斜面,难倒多少高中生?现在,AI让它动起来了》的详细内容,更多关于工程的资料请关注golang学习网公众号!

版本声明
本文转载于:机器之心 如有侵犯,请联系study_golang@163.com删除
使用泛型后 Java 函数的性能会有哪些影响?使用泛型后 Java 函数的性能会有哪些影响?
上一篇
使用泛型后 Java 函数的性能会有哪些影响?
使用内存分析工具优化 Java 函数内存使用
下一篇
使用内存分析工具优化 Java 函数内存使用
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 美图AI抠图:行业领先的智能图像处理技术,3秒出图,精准无误
    美图AI抠图
    美图AI抠图,依托CVPR 2024竞赛亚军技术,提供顶尖的图像处理解决方案。适用于证件照、商品、毛发等多场景,支持批量处理,3秒出图,零PS基础也能轻松操作,满足个人与商业需求。
    16次使用
  • SEO标题PetGPT:智能桌面宠物程序,结合AI对话的个性化陪伴工具
    PetGPT
    SEO摘要PetGPT 是一款基于 Python 和 PyQt 开发的智能桌面宠物程序,集成了 OpenAI 的 GPT 模型,提供上下文感知对话和主动聊天功能。用户可高度自定义宠物的外观和行为,支持插件热更新和二次开发。适用于需要陪伴和效率辅助的办公族、学生及 AI 技术爱好者。
    15次使用
  • 可图AI图片生成:快手可灵AI2.0引领图像创作新时代
    可图AI图片生成
    探索快手旗下可灵AI2.0发布的可图AI2.0图像生成大模型,体验从文本生成图像、图像编辑到风格转绘的全链路创作。了解其技术突破、功能创新及在广告、影视、非遗等领域的应用,领先于Midjourney、DALL-E等竞品。
    43次使用
  • MeowTalk喵说:AI猫咪语言翻译,增进人猫情感交流
    MeowTalk喵说
    MeowTalk喵说是一款由Akvelon公司开发的AI应用,通过分析猫咪的叫声,帮助主人理解猫咪的需求和情感。支持iOS和Android平台,提供个性化翻译、情感互动、趣味对话等功能,增进人猫之间的情感联系。
    44次使用
  • SEO标题Traini:全球首创宠物AI技术,提升宠物健康与行为解读
    Traini
    SEO摘要Traini是一家专注于宠物健康教育的创新科技公司,利用先进的人工智能技术,提供宠物行为解读、个性化训练计划、在线课程、医疗辅助和个性化服务推荐等多功能服务。通过PEBI系统,Traini能够精准识别宠物狗的12种情绪状态,推动宠物与人类的智能互动,提升宠物生活质量。
    38次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码