EO-Data1.5M

EO-Data-1.5M是一个大规模多模态具身推理数据集，包含150万个样本，源自210万个机器人情景。该数据集强调视觉、语言和动作模态之间的时间动态与因果关系，其数据内容涵盖视觉观测（单视图或多视图图像）、机器人动作序列、机器人状态信息以及多轮对话（问题和答案）。它细分为交错式操作数据（涉及自由对话、随机问答、时间推理、轨迹预测、视频字幕，均与动作关联）和具身推理问答数据（包括任务规划、情景描述、能力评估、过程验证、子任务问答、故障检测、物理常识等时间推理，以及轨迹问答、点定位、多视图理解、物体指代、关系推理等空间推理）。数据集采用混合标注方式，结合人工标注和视觉语言模型（VLM）生成标注，并通过视频过滤、VLM/人工引导字幕、问答生成和质量优化等四步流程进行策划，数据来源于AgiBot-World、Open X-Embodiment和RoboMIND等多个高质量机器人数据集，涵盖多种机器人平台。EO-Data-1.5M支持机器人学、视觉问答、视频文本到文本、图像文本到文本等任务，旨在训练通用机器人策略，适用于具身AI、机器人控制和具身推理，并采用Apache 2.0许可。