Voxel51/ABC-130k

ABC-130k是最大的开源双手机器人遥操作数据集，包含134,806个片段、195个任务和3,553小时的数据。每个片段从其.mcap文件原生渲染，提供同步的多摄像头视频，以及机器人手臂/末端执行器的遥测数据，这些数据与视频时间线相对应。该数据集专为FiftyOne平台重新打包，包含修改后的子集，支持多模态MCAP格式，适用于机器人学习、操作和遥操作任务。数据包括顶部和手腕摄像头的压缩视频流，以及机器人的状态和动作遥测信息，但不包含深度、LiDAR或点云数据。ABC-130k is the largest open-source bimanual robotic teleoperation dataset, which contains 134,806 episodes, 195 tasks, and 3,553 hours of recorded data. Each episode is natively rendered from its .mcap file, providing synchronized multi-camera video and telemetry data of the robotic arms/end-effectors, which aligns with the video timeline. This dataset has been repackaged specifically for the FiftyOne platform, includes modified subsets, and supports the multimodal MCAP format, making it suitable for robotic learning, manipulation, and teleoperation tasks. The data includes compressed video streams from the top and wrist-mounted cameras, as well as robotic state and action telemetry information, but does not include depth, LiDAR, or point cloud data.

搜集汇总

数据集介绍

构建方式

ABC-130k数据集是目前规模最大的开源双臂机器人遥操作数据集，囊括了134,806个操作片段、195个精细任务与高达3,553小时的操作时长。该数据集以MCAP格式原生存储每段操作序列，通过Foxglove协议封装了同步的多视角摄像头视频流与双臂及末端执行器的遥测数据。为了高效兼容FiftyOne可视化平台，每个操作片段被重新打包为`.fo.mcap`格式，并额外嵌入了将原始数组型遥测字段拆解为标量序列的JSON侧通道，从而支持交互式时间轴联动回放。此外，针对高帧率片段自动执行至30帧/秒的重编码处理，确保在FiftyOne中流畅渲染。

特点

本数据集的突出特点在于其多模态原生融合能力。每个操作样本均同时包含机器人状态、夹爪状态及其对应的动作指令，配合一个顶部与两个腕部摄像头输出的H.264压缩视频，构成了完整的行为克隆训练源。在FiftyOne的支撑下，用户可在单一界面中观看操作视频并同步查看关节位置、速度、力矩以及末端执行器位姿的实时曲线，极大简化了多模态数据的探索与质检流程。此外，数据集提供预设的验证子集，以任务多样性优先原则从每个任务中选取少数代表性片段，兼顾了平衡性与下载效率。

使用方法

借助FiftyOne的多模态扩展，加载ABC-130k数据集仅需简单两步骤：首先设置环境变量激活多模态支持，随后调用`fiftyone.utils.huggingface.load_from_hub`接口直接从HuggingFace拉取预设验证子集。对于需要完整数据集的研究者，可通过官方加载器脚本自定义下载策略，支持按任务数量、每个任务片段上限、总下载预算或文件大小阈值进行筛选，亦可选择跳过H.265编码的片段以避免兼容性问题。加载完成后，用户可通过FiftyOne的图形界面在样本详情页中添加Plot面板，选取任意遥测通道的标量序列，便能在视频播放过程中实时追踪机器人关节或末端执行器的运动轨迹。

背景与挑战

背景概述

ABC-130k数据集由Arthur Allshire、Himanshu Gaurav Singh等来自Amazon、UC Berkeley及MIT等顶尖机构的研究人员于2026年创建，旨在推动双臂机器人遥操作领域的行为克隆研究。作为目前公开最大的双臂机器人遥操作数据集，其包含134,806个episode、195个任务以及超过3,553小时的交互数据，核心研究问题聚焦于如何利用大规模、多模态的机器人操控数据提升行为克隆算法的泛化能力与可扩展性。该数据集通过提供同步的多视角视频与机械臂末端执行器遥测信息，为机器人学习社区构建了标准化的训练与评估基准，对双臂操控任务的研究范式产生了深远影响，被视为连接数据驱动策略与真实世界机器人应用的关键桥梁。

当前挑战

该数据集所解决的领域挑战在于，双臂机器人遥操作任务具有高维动作空间、复杂的双手协调以及多模态感知融合等特性，传统小规模数据集难以支持模型习得鲁棒的操控策略。在构建过程中，团队面临的主要挑战包括：1）海量异构数据的标准化处理，涉及不同传感器（Realsense、ZED-X）生成的H.264与H.265编码视频，以及高帧率（约60fps）episode带来的存储与回放瓶颈；2）遥测数据的高效可视化整合，需将原始的数组格式关节状态（位置、速度、扭矩）与末端执行器位姿矩阵转换为标量时间序列，以供FiftyOne等工具的原生实时绘图；3）数据集的大规模分发，尽管采用MCAP格式压缩，完整验证集仍达309GB，需设计轻量级子集策略以降低研究者获取门槛，如在验证集中按任务多样性采样约40个episode作为快速浏览版本。

常用场景

经典使用场景

ABC-130k数据集作为当前规模最大的开源双臂机器人遥操作数据集，囊括了134,806个操作片段、覆盖195种不同任务、累计时长超过3,553小时。其最经典的使用场景在于为模仿学习与行为克隆算法提供大规模、多模态的训练样本。研究者可利用该数据集中同步采集的多视角摄像头视频与机器人关节、末端执行器的运动学数据，训练机器人从人类示范中学习复杂操作技能，例如双臂协作装配、精细抓取与工具使用等任务，从而推动机器人泛化能力的提升。

衍生相关工作

基于ABC-130k数据集，衍生出了一系列具有影响力的研究工作。其原始论文《Scalable Behavior Cloning with Open Data, Training, and Evaluation》系统阐述了大规模行为克隆的训练与评估框架，并开源了配套的代码库。围绕该数据集，社区开发了如fiftyone-abc130k这样的加载器，实现了与FiftyOne可视化平台的原生集成，使得多模态传感器数据的探索与预处理更为便捷。这些衍生工作不仅降低了研究者使用该数据集的入门的门槛，也促进了机器人学习领域中数据标准化与可复现性文化的形成。

数据集最近研究

最新研究方向

ABC-130k数据集作为目前最大的开源双臂机器人遥操作数据集（涵盖134,806个回合、195项任务、总计3,553小时），正推动机器人学习领域的前沿研究转向大规模行为克隆与多模态表征学习。结合FiftyOne平台的原生多模态支持，该数据集通过同步多视角视频与机器人关节、末端执行器遥测数据的可视化分析，为双臂灵巧操作策略的泛化性研究提供了关键基础设施。近期热点聚焦于利用其多样性任务分布（如阀值采样策略与异构传感器融合）来验证训练算法的可扩展性，同时H.264/H.265混合编码兼容性问题也催生了自适应帧率转换与数据压缩优化方法。该数据集的Apache-2.0开源协议与标准化MCAP格式正在成为机器人领域数据共享的重要基准，显著降低了行为克隆研究中的复现门槛并加速了从仿真到真实场景的迁移学习突破。