18k个视频、专为自动驾驶世界模型设计，DrivingDojo数据集来了

最近发现不少小伙伴都对科技周边很感兴趣，所以今天继续给大家介绍科技周边相关的知识，本文《18k个视频、专为自动驾驶世界模型设计，DrivingDojo数据集来了》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

中国科学院自动化研究所与美团无人车团队合作，推出全球最大规模的自动驾驶世界模型数据集 DrivingDojo，现已入选 NeurIPS 2024 数据集追踪项目。该数据集旨在克服现有数据集在视频多样性和行为复杂性方面的不足，全面提升世界模型在自动驾驶领域的应用潜力。

DrivingDojo 数据集包含约 18000 个平均时长 20 秒的高质量视频，涵盖各种长尾驾驶场景，例如意外事件（如水桶掉落、栅栏倒塌）、极端天气和光照条件、以及各种行人与车辆交互行为。数据集分为三个子集，分别侧重于驾驶行为、动态交互和世界知识。

DrivingDojo 的核心优势在于其对世界模型关键能力的关注：交互、知识和泛化。

• 交互: 数据集包含丰富的车辆与行人、其他车辆间的动态交互场景，例如并线、会车、超车等，帮助模型学习并预测这些复杂交互行为。

• 知识: 数据集包含各种场景元素，例如红绿灯、交通标志等，帮助模型学习并理解这些世界知识，从而做出更准确的决策。

• 泛化: 数据集包含大量长尾场景，提升模型在面对未知和异常情况时的泛化能力，确保其在真实世界中的可靠性。

DrivingDojo 支持多种研究方向，包括：

• 真实多样的驾驶场景生成: 基于给定的初始帧和轨迹，模型可以预测未来的驾驶场景，并通过 COLMAP 重建方法进行定量评估。

• 生成能力的泛化: 模型在 DrivingDojo 上训练后，可在 OpenDV 等其他数据集上进行测试，评估其跨数据集的泛化能力。

• 交互行为的预测: 模型可以根据不同的驾驶行为（例如停车或继续行驶）预测其他车辆的反应，例如是否会超车或让行。

DrivingDojo 数据集、论文和代码均已公开：

• 网站: https://drivingdojo.github.io/
• 论文: https://arxiv.org/pdf/2410.10738
• 代码: https://github.com/Robertwyq/Drivingdojo

DrivingDojo 的发布为自动驾驶世界模型研究提供了宝贵资源，有望推动该领域取得突破性进展。 它强调了在真实世界场景中，对智能体交互、环境知识和模型泛化能力的综合考量。

好了，本文到此结束，带大家了解了《18k个视频、专为自动驾驶世界模型设计，DrivingDojo数据集来了》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！