对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR

对于一个科技周边开发者来说，牢固扎实的基础是十分重要的，golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》，主要介绍了，希望对大家的知识积累有所帮助，快点收藏起来吧，否则需要时就找不到了！

现代社会哪些工作场景急需机器人助力？工业领域，以发那科、ABB、安川、库卡为首的机器人“四大家族”已广泛应用。然而，服务型机器人在生活场景中的应用仍处于起步阶段。

例如餐饮业，烹饪的标准化程度远低于工业流水线，这给烹饪机器人的研发带来了巨大挑战，包括烹饪流程、方式、火候控制等。但近年来，这一领域取得了显著进展。2022年北京冬奥会，烹饪机器人已成功应用于智慧餐厅。Market Research Future报告预测，2022-2026年，全球机器人烹饪设备市场规模将突破1亿美元，年复合增长率接近20%。

南佛罗里达大学计算机科学与工程系教授孙宇及其团队长期致力于机器人研究，早在2015年就开始探索知识图谱在机器人任务规划中的应用。大模型技术的出现，深刻改变了人机协同交互方式。

虽然与小语言模型的架构和训练目标类似，但大语言模型通过大幅扩展模型规模、预训练数据和计算量，不仅提升了自然语言理解能力，还能根据上下文生成高质量文本，并展现出“涌现”能力。涌现能力赋予大语言模型上下文学习、指令遵循、循序渐进推理等能力，使其在机器人研究中发挥更大作用，成为机器人任务规划的重要工具。

自去年起，孙宇教授团队开始尝试将大语言模型应用于烹饪机器人任务规划。近期，其论文《Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability》发表于《人工智能与机器人研究国际期刊》（IJAIRR）。

论文链接：

https://gairdao.com/doi/10.1142/S2972335324500029

https://www.worldscientific.com/doi/10.1142/S2972335324500029

基于知识网络的机器人任务规划

机器人任务规划需综合考虑机器人的能力、任务需求和环境条件，制定出一系列详细的行动方案，确保其高效、安全、准确地完成任务。这其中涉及诸多复杂因素：例如，机器人路径规划需避开障碍物；任务执行的时间和顺序需优化；人机交互需保证指令易于理解。

2015年，孙宇教授团队便开始将知识网络应用于机器人任务规划，利用网络采集和整合烹饪领域知识，指导机器人执行烹饪任务。

南佛罗里达大学孙宇教授

研究中使用的知识网络，是孙宇教授团队发明的面向功能对象网络（FOON）。这是一个存储功能对象和操作信息的中心知识网络系统，可通过处理在线视频和文本获取信息。经过标注和矫正后，该网络能可靠地提供各种烹饪任务规划树。如果所需烹饪任务的功能单元在FOON中存在，则能给出100%正确和高效的规划树；如果功能单元不存在但相似，也能给出可靠高效的规划树；但如果完全无关，则可能给出错误的规划树，因为知识网络是封闭的，无法无限扩展。

大语言模型的出现为这项研究带来了突破。

如何规划知识库中不存在的任务？

如何让烹饪机器人规划知识库中不存在的任务？

自去年起，孙宇教授和Sadman Sakib博士开始利用大语言模型技术（LLM）进行机器人任务规划。

Sadman Sakib博士

GPT-4在自然语言处理、任务规划和执行以及人机交互方面展现出强大的能力。论文以烹饪任务为例，说明了其应用。

接收到烹饪指令后，传统方法通常只生成一个任务计划。而该论文通过GPT-4的提示工程，生成了多个高级任务规划（任务树），提供多种执行方案，并比较其资源需求、并行时间和风险。利用Graph Merger合并这些任务树，筛选出可靠组件，最终形成最优方案，显著提高了规划准确性和效率。

由于机器人无法直接执行高级任务计划，GPT-4还需要将高级计划从自然语言转换为低级的PDDL计划，以便机器人理解和执行。例如，“制作一碗包括胡萝卜、卷心菜和豆子的面条”这一任务，会被分解成“拿起瓶子”、“将油葱倒进锅里”等动作序列。

研究表明，合并食谱能通过共享信息和学习多样化子任务，发现新的烹饪方法。通过合并多个食谱及其对应的任务树，研究团队成功融合了不同食谱的烹饪步骤和技巧，形成了新的烹饪流程，展现了烹饪任务的多样性，并揭示了不同子任务之间的联系和互补性，构建了一个更丰富复杂的烹饪网络。“这意味着，不仅能制作传统菜肴，还能创造出新颖独特的菜品。”

大语言模型与知识网络的互补性

孙宇教授及其团队在机器人领域深耕二十余年，其研发的FOON在机器人任务规划中得到广泛应用。

孙宇教授与RPAL实验室成员合照

大语言模型和FOON具有互补性。大语言模型能从开放网络学习各种任务规划，但无法保证其正确性；而FOON中的任务规划树经过人工验证，但数量有限。因此，可以用大语言模型生成多个任务树，再用FOON的结构特点合并这些树，消除错误组件，提高正确率。

这项研究具有良好的泛化能力，可应用于许多不同场景。未来研究将关注环境反馈的影响，使机器人能自主应对任务失败。

终于介绍完啦！小伙伴们，这篇关于《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！