「人车交互」新突破！普渡大学发布Talk2Drive框架：可学习/定制的「指令识别」系统

在普渡大学数字孪生实验室的最新研究中，科学家们采用了一项革命性技术——利用大型语言模型（LLM）来增强自动驾驶汽车的智能指令解析能力。这一创新为自动驾驶技术的发展带来了新的可能性，有望提高车辆对驾驶指令的理解和响应速度。

这项技术的关键是Talk2Drive框架，旨在利用人类自然语言来操控自动驾驶汽车，开创了一种独特的人车交互方式。

图片

论文链接：https://arxiv.org/abs/2312.09397

项目网站：purduedigitaltwin.github.io/llm4ad

通过其创新的设计，Talk2Drive框架实现了自动驾驶汽车与人类驾驶员之间的高效、直观交互。该框架的运行流程包括接收命令、处理与推理、生成可执行代码以及执行代码和收集反馈等关键步骤。通过这些步骤，框架能够确保自动驾驶汽车以安全、可靠的方式与驾驶员互动，并在需要时进行必要的决策和行动。Talk2Drive框架的设计旨在提高驾驶体验，并为自动驾驶技术的发展提供了重要支持。

首先，通过先进的语音识别技术，框架能够准确地接收和转换人类口头命令为文本指令，从而确保对人类意图的精准理解。

结合云端的实时环境数据，如天气和交通状况，LLM在处理指令时会综合这些关键上下文信息，以确保制定的驾驶策略既安全又能适应当前环境条件。

图片

LLM利用上下文学习和思维链提示对指令进行推理，生成的代码不仅包含基本的驾驶指令，还涉及复杂的驾驶行为和需要在车辆低级控制器中进行调整的参数。这些参数的调整，如前瞻距离和速度，是基于对当前道路状况和驾驶员需求的深入理解。

在安全性方面，Talk2Drive框架通过对生成代码的格式和参数进行严格检查，确保了自动驾驶行为的安全性。

，时长05:24

此外，记忆模块的引入，允许系统记录和学习驾驶员的偏好和反馈，为驾驶员提供更加个性化的驾驶体验。

Talk2Drive框架的独特之处在于它的高度个性化服务。

通过分析乘客的语言指令，如「请尽快送我到目的地，我不想让朋友等太久」或「我感觉有些晕车，请减慢速度」，该框架能够精确理解并满足乘客的需求。每次的人车交互都会被记录并用于优化系统，使得它能够学习乘客的偏好，并在未来提供更加定制化的驾驶体验。

图片

此外，实验结果显示，对不同驾驶风格的驾驶员，采用不同的LLM，采用Talk2Drive框架的自动驾驶汽车在实际道路测试中表现出色，能理解驾驶员不同晦涩程度的指令，有效降低了人为接管的需求，并且能够适应不同的驾驶风格和场景。

这一成就不仅展示了大语言模型在自动驾驶领域的巨大潜力，也为未来的自动驾驶技术发展打开了新的道路。

图片

对不同类型的驾驶员， 使用Talk2Drive 框架能显著降低驾驶过程中的接管率。

随着技术的不断进步和优化，Talk2Drive框架将能够为自动驾驶汽车提供更加安全、舒适和个性化的驾驶体验。这一突破性的研究不仅标志着自动驾驶与人机交互领域的融合与进步，也预示着一个以人为本、更加智能化的未来交通时代的到来。

研究团队

普渡大学数字孪生实验室致力于在大语言模型与自动驾驶的交叉领域中进行创新和探索。

欢迎全球对此领域感兴趣的研究者、工程师及行业同仁访问我们的项目网站，共同推进自动驾驶技术的发展，探索未来交通的可能性。

图片

参考资料：

https://arxiv.org/abs/2312.09397