伯克利罗剑岚：机器人的范式革命，藏在真实世界中

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《伯克利罗剑岚：机器人的范式革命，藏在真实世界中》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

伯克利大学Sergey Levine团队发布的HIL-SERL强化学习框架，为具身智能领域带来了突破性进展，引发广泛关注。该框架使机器人能够直接在现实世界中，通过视觉信息学习通用操作策略。

实验表明，经过1到2.5小时的训练，机器人即可完成诸如主板、仪表盘和正时皮带组装等复杂任务，且成功率高达100%。 这包括组装家具、煎蛋、堆积木、插入U盘等操作，即使面对人为干扰也能保持稳定高效。

此前，强化学习因其局限于模拟环境而备受诟病。但SERL系列研究，特别是HIL-SERL，证明了真机强化学习的可行性及优越性，其效率比模仿学习平均快1.8倍。 这标志着机器人真机强化学习领域的里程碑式突破。 该研究的核心贡献者是伯克利大学在读博士后、中国青年科学家罗剑岚。

HIL-SERL是基于此前罗剑岚团队发布的SERL的升级版本。不同之处在于，HIL-SERL整合了人类的示范和纠正，从而使策略能够从错误中学习并提升性能，而SERL仅依赖人类示范。 这种改进对于那些需要从零开始学习的任务至关重要，HIL-SERL也专注于更具挑战性的任务，例如双臂协调和动态操作。

项目链接：https://hil-serl.github.io/

HIL-SERL的成果甚至超出了罗剑岚和Levine教授的预期，Levine教授看到结果后表示：“You really made RL work.”（你真的让强化学习跑起来了。）

罗剑岚在机器人真机强化学习方向已投入近十年时间。2015年，他进入伯克利机械工程系攻读博士学位，并同时在Pieter Abbeel教授指导下攻读计算机系硕士学位。他的博士论文答辩委员会联席主席正是Pieter Abbeel教授。

他一直致力于将强化学习应用于真实世界，克服了强化学习在真实机器人应用中的诸多挑战。2020年博士毕业后，他加入谷歌，在DeepMind、Everyday Robot和Google X等部门工作，积累了丰富的机器人系统知识。2022年，他重返伯克利，加入Levine教授团队，并取得了SERL系列的突破性成果。

以下是AI科技评论对罗剑岚的采访节选：

重返学术

AI科技评论：您最初是如何接触深度强化学习的？

罗剑岚：机械系的研究范围很广，我的方向是控制。控制论和强化学习在本质上是互补的。2017年暑假，我参与了西门子伯克利分部的一个项目，将深度强化学习应用于工业生产，解决高精度装配等问题，这成为了我在强化学习领域的起点。

AI科技评论：博士毕业后您在谷歌工作了两年，为什么决定重返学术？

罗剑岚：这比较偶然。在谷歌期间，我积累了大量的机器人系统知识。项目孵化为Intrinsic后，我打算回国，Sergey Levine教授建议我到他的组里做博士后，因为我们的能力互补，之前的合作也很愉快。

AI科技评论：您参与了Open X-Embodiment数据集的创建。

罗剑岚：是的，我负责最主要的线缆任务，并将其扩展到更大的规模，最终有200多位合作者参与其中。

AI科技评论：SERL的理念是如何产生的？

罗剑岚：为了让强化学习真正实用，需要一个开源的、端到端的解决方案。在谷歌的工作经验为SERL的开发奠定了基础。SERL首次实现了在真实世界中，通过视觉信息，在20分钟内完成精密装配。

论文链接：https://arxiv.org/pdf/2401.16013

现实世界的拥护者

AI科技评论：您是现实世界和真实数据的坚定拥护者？

罗剑岚：是的，我认为仿真器并不能完全替代真实世界。虽然仿真对移动机器人有效，但操作任务的复杂性远超移动，需要在真实环境中进行训练。Sergey Levine教授也认同这一点。

AI科技评论：您很早就开始研究强化学习在现实世界的应用了。

罗剑岚：是的，从2017年开始，我就一直沿着这个方向研究，因为很多人试了一两次不work就放弃了。

强化学习之于具身智能

AI科技评论：大模型的兴起是否让强化学习在机器人学习领域降温？

罗剑岚：我认为强化学习仍然非常重要，HIL-SERL的成功率是100%。大模型和强化学习可以结合，大模型提供初始策略，强化学习进行优化。

AI科技评论：您如何看待强化学习在机器人学习或具身智能中的作用？

罗剑岚：强化学习是具身智能不可或缺的一部分，它能够使机器人超越人类的效率。

中国优势

AI科技评论：您如何看待具身智能的火热趋势？中国的优势在哪里？

罗剑岚：我认为中国的供应链优势和性价比优势非常重要，这使得中国在具身智能领域具有很大的潜力。

接下来的计划

AI科技评论：可以分享一下您接下来的计划吗？

罗剑岚：我计划继续关注通用高性能机器人，特别是工业生产领域。 我希望将科研成果转化为实际应用，创造更大的社会价值。 我相信，通过机器人技术提高自动化水平，可以降低人力成本，释放人类生产力。

关于具身智能领域的更多精彩故事，欢迎添加PHP中文网作者微信 anna042023 交流。PHP中文网(公众号：PHP中文网)

相关文章：

伯克利具身智能图谱：深度强化学习浪尖上的中国 90 后们

终于介绍完啦！小伙伴们，这篇关于《伯克利罗剑岚：机器人的范式革命，藏在真实世界中》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！