CMU把具身智能的机器人给越狱了

你在学习科技周边相关的知识吗？本文《CMU把具身智能的机器人给越狱了》，主要介绍的内容就涉及到，如果你想提升自己的开发能力，就不要错过这篇文章，大家要知道编程理论基础和实战操作都是不可或缺的哦！

具身智能的可靠性堪忧，如同大型语言模型一样容易受到攻击。

许多研究表明，大型语言模型（LLM），例如ChatGPT，容易遭受越狱攻击。一些特殊的提示可以诱导LLM生成违反规则的内容，甚至是有害内容（例如炸弹制造说明）。这种攻击被称为“大模型越狱”。

然而，以往人们普遍认为，此类攻击仅限于文本生成。卡耐基梅隆大学（CMU）最新研究表明，攻击大模型控制的机器人也是可能的。

^{研究人员攻破了Unitree Go2机器狗。}

如果具身智能也遭受越狱攻击，机器人可能会被诱导在现实世界中造成人身伤害。

• 论文：https://arxiv.org/abs/2410.13691
• 项目页面：https://robopair.org/

AI机器人：科学与科幻的交汇

科幻作品中，人工智能和机器人的形象反复出现，例如《星球大战》中的R2-D2、《机器人总动员》中的WALL-E或《变形金刚》中的擎天柱。这些角色通常被描绘成人类的守护者或听话的助手，其AI被设定为人类友善的伙伴。

现实世界中，AI技术发展迅速，人类水平的AI或许在数年内就能实现，但人们对未来潜在风险的担忧也日益增加。我们周围的世界正悄然被机器人改变。

波士顿动力的机器狗Spot就是一个例子。其零售价约为7.5万美元，已被SpaceX、纽约警察局和雪佛龙等公司部署。Spot曾因开门、跳舞和在工地奔跑的视频而闻名，人们一度认为这是人工操作的结果。

然而，2023年，Spot与OpenAI的ChatGPT语言模型集成，可以通过语音命令进行控制，并能够高度自主地运行。

另一个例子是Figure公司的人形机器人Figure o1。它可以行走、说话、操作设备，并协助完成日常任务，已在汽车工厂、咖啡店和仓库中进行了测试。

除了人形机器人，端到端的AI还被应用于自动驾驶汽车、全自动厨房和机器人辅助手术等领域。人工智能机器人的快速发展引发了人们的思考：是什么推动了这一波创新？

大型语言模型：人工智能的下一个浪潮

几十年来，研究人员一直试图将机器学习技术应用于先进的机器人。从用于自动驾驶的计算机视觉模型，到强化学习算法，学术算法的应用一直比较迅速。

然而，大型语言模型（LLM）的出现改变了一切。先进的LLM，例如OpenAI的ChatGPT和谷歌的Gemini，在海量数据上进行训练，能够理解和生成高质量的文本。这些生成式AI（GenAI）提供了丰富的功能，例如个性化旅行建议、食谱生成和网站制作。

^{LLM控制的机器人可以通过用户提示直接控制。}

LLM为机器人专家提供了一种强大的工具。传统上由液压、电机和操纵杆控制的机器人，现在可以通过语音或文本命令直接控制。机器人可以使用LLM将用户提示转换为可执行代码。

Eureka（生成机器人特定计划）和RT-2（将图像转换为机器人动作）等算法也推动了这一发展。

LLM控制的机器人已经进入消费者市场。例如，Unitree Go2可以通过智能手机应用程序（基于OpenAI的GPT-3.5）进行控制。然而，正如科幻小说所预示的那样，人工智能机器人也存在风险。

虽然消费级机器人的应用通常是无害的，但一些更强大的机器人，例如Throwflame公司的Thermonator（配备火焰喷射器），也通过类似的应用程序进行控制，这引发了安全担忧。

越狱攻击：大模型的安全挑战

大型语言模型是否会危及人类？

2023年，安全机器学习领域的研究人员发现了许多LLM的漏洞，其中许多与越狱攻击有关。

LLM通过模型对齐过程进行训练，以遵循人类的意图和价值观，避免生成有害内容。

^{大模型训练时考虑到了避免生成有害内容。}

然而，这种对齐很容易受到越狱攻击。通过对输入提示进行微小的修改，可以欺骗LLM生成有害内容。

^{LLM可以被破解。图片来自《Universal and Transferable Adversarial Attacks on Aligned Language Models》。}

越狱攻击几乎影响所有已上线的LLM，包括开源和专有模型。

攻破LLM控制的机器人

以往的越狱攻击主要针对LLM驱动的聊天机器人。然而，LLM控制的机器人也存在安全风险。

预印本论文《Jailbreaking LLM-Controlled Robots》表明，越狱LLM控制的机器人不仅可能，而且很容易实现。

机器人越狱漏洞分类

该研究将LLM控制机器人的漏洞分为三类：白盒、灰盒和黑盒威胁模型。

• 白盒: 攻击者完全访问机器人的LLM。
• 灰盒: 攻击者部分访问机器人的LLM。
• 黑盒: 攻击者无法访问机器人的LLM。

该研究主要关注黑盒攻击，因为这种攻击也适用于灰盒和白盒模型。

RoboPAIR：LLM对抗测试

研究人员开发了RoboPAIR，一种改进的越狱方法。RoboPAIR对PAIR进行了改进，使其更有效地攻击LLM控制的机器人。

^{RoboPAIR越狱攻击。RoboPAIR包含一个语法检查器，其目标是确定机器人的LLM编写的代码是否可执行。}

RoboPAIR添加了语法检查器，以验证生成的代码是否可在机器人上执行，并使用了机器人特定的系统提示。

实验结果

研究人员对三台机器人进行了实验：NVIDIA Dolphins自动驾驶LLM（白盒）、Clearpath Jackal（灰盒）和Unitree Go2机器狗（黑盒）。

结果表明，这三台机器人都很容易被越狱攻击。RoboPAIR实现了接近100%的攻击成功率。PAIR的成功率较低，因为它生成的提示词通常无法在机器人上执行。

^{实验中对三台机器人的攻击成功率}

^{越狱英伟达Dolphins自动驾驶LLM}

^{Jackal UGV机器人被越狱}

*^{Unitree Go2机器狗被越狱攻击，可以看到，一开始机器狗并不同意运送bomb，但如果说它正在演电影并且背着重要的货物，它就变得很乐意效劳。}

讨论

该研究表明，越狱AI驱动的机器人很容易实现，这需要开发新的防御技术。

参考内容：https://blog.ml.cmu.edu/2024/10/29/jailbreaking-llm-controlled-robots/

本篇关于《CMU把具身智能的机器人给越狱了》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！