ABC-130K

ABC-130K是由加州大学伯克利分校等机构联合创建的大规模开源机器人遥操作数据集，旨在为行为克隆研究提供高质量、多样化的真实世界交互数据。该数据集包含134,806条轨迹，总计3,553小时的双臂操作数据，覆盖195个任务，数据来源包括拾取放置、折叠、工具使用等多种操作原语，并附带遥操作元数据和子目标标注。数据集通过标准化硬件平台采集，经过优化处理以支持高效加载。其核心应用领域为机器人操作学习，特别是复杂技能的行为克隆模型训练，致力于解决开源数据规模不足、硬件依赖性强等瓶颈，推动机器人操作技术的可复现研究与社区协同发展。ABC-130K is a large-scale open-source robotic teleoperation dataset jointly created by the University of California, Berkeley and other institutions, aiming to provide high-quality, diverse real-world interaction data for behavioral cloning research. This dataset contains 134,806 trajectories, totaling 3,553 hours of dual-arm manipulation data covering 195 tasks, with various manipulation primitives such as pick-and-place, folding, and tool usage included in its data sources, and is accompanied by teleoperation metadata and sub-goal annotations. The dataset is collected on a standardized hardware platform and optimized to support efficient loading. Its core application fields are robotic manipulation learning, particularly the training of behavioral cloning models for complex skills, and it is dedicated to addressing bottlenecks such as insufficient scale of open-source data and strong hardware dependence, so as to promote reproducible research and collaborative community development of robotic manipulation technology.

原始信息汇总

数据集 ABC-130K 详情总结

• 核心发布：ABC 是一个用于双臂模仿学习的全开源技术栈，核心数据集为 ABC-130K。

• 数据集规模：

  • 总时长：3,553 小时。
  • 轨迹数量：134,806 条。
  • 任务数量：195 个任务，涵盖拾取与放置、折叠、交接、插入、工具使用和组装等操作。
  • 任务组织：分为 7 个原始类别，每个任务内物体和初始配置可变化。
  • 时长范围：约 7 秒至 469 秒。
  • 来源：真实世界交互数据（3.5K 小时）和仿真数据（400 小时，20 个仿真场景）。

• 训练模型：

  • ABC-DiT (2B 参数)：扩散变换器，搭配预训练视觉编码器（DINOv3，85.7M 参数），动作头为 1.93B 参数。
  • ABC-VLA (4.3B 参数)：视觉-语言-动作模型，使用 Gemma 3 4.3B 参数骨干，搭配 45M 参数动作头。
  • 两者均开源训练代码和检查点。

• 评估：

  • 真实世界评估：超过 100 小时 的物理机器人评估，每个任务 50 次试验，固定评分标准。
  • 仿真评估：使用 ABC Sim（MuJoCo 搭建）和 Blender 重渲染管线，仿真性能与真实性能强相关（严格成功任务相关系数 r=0.85，任务进度相关系数 r=0.91）。

• 基础设施与工具：

  • 开源硬件设置、训练/推理代码、仿真流水线。
  • 使用无源领导臂进行远程操作和 DAgger 干预收集。
  • 发布 abcdl 分布式数据加载器，优化视频帧编码以实现高效数据读取。
  • 推理速度：ABC-DiT 在单张 5090 上可达 27.6 Hz；ABC-VLA 可达 57.2 Hz。

• 引用： bibtex @article{abc2026, title = {Scalable Behavior Cloning with Open Data, Training, and Evaluation}, author = {Allshire, Arthur and Singh, Himanshu Gaurav and Singh, Ritvik and Rashid, Adam and Choi, Hongsuk and McAllister, David and Yu, Justin and Chen, Yiyuan and Huang, Huang and Abbeel, Pieter and Chen, Xi and Duan, Rocky and Isola, Phillip and Malik, Jitendra and Shentu, Fred and Shi, Guanya and Wu, Philipp and Kanazawa, Angjoo}, year = {2026}, journal = {arXiv preprint}, url = {https://abc.bot/}, }

• 下载与访问：

  • 数据集和评估日志可下载，访问地址：https://abc.bot/

搜集汇总

数据集介绍

构建方式

ABC-130K数据集由UC Berkeley、MIT、Amazon FAR等机构联合构建，依托低成本双臂YAM机器人平台，通过遥操作方式采集了超过3500小时的真实世界操作数据。数据集包含134,806个轨迹片段，覆盖195项多样化任务，如拾取与放置、折叠、插入、工具使用及组装等。数据以MP4视频与二进制状态文件格式存储，并配备高效数据加载器，支持分布式训练。

特点

ABC-130K是当前规模最大的开源遥操作数据集，其核心优势在于海量数据与任务多样性。数据集涵盖7类操作基元，每类任务包含丰富的对象与初始构型变化。此外，数据集提供遥操作员ID与采集时间戳等元数据，其中约1552小时的数据还附带子目标注释，为细粒度策略条件控制奠定基础，综合体现了规模、多样性与注释质量的平衡。

使用方法

ABC-130K适用于行为克隆的策略学习与评估。研究者可使用随数据集发布的训练基础设施与仿真管线（ABC-Sim），在模拟环境中迭代模型设计与超参数选择，借助强仿真-真实相关性降低实物测试成本。具体使用时，可基于扩散变换器（ABC-DiT）或视觉-语言-动作模型（ABC-VLA）进行多任务预训练，并针对下游高精度任务（如从钱包中取出信用卡）进行微调，或通过DAgger框架收集干预数据以优化复杂长周期操作。

背景与挑战

背景概述

ABC-130K数据集由加州大学伯克利分校、麻省理工学院、亚马逊FAR等机构的研究人员于2026年联合创建，旨在攻克机器人行为克隆领域数据规模与开源生态双重匮乏的瓶颈。该数据集聚焦于双臂灵巧操作，通过低成本YAM机器人平台收集了超过3500小时的真实遥操作数据，涵盖130,000条轨迹与195项多样化任务，包括抓取、折叠、工具使用等高精度操作。作为当前最大的开源遥操作数据集，ABC-130K不仅提供了海量训练样本，还配套开源了硬件方案、训练框架与仿真流水线，为机器人操作研究的可复现性与社区协作奠定了坚实基础，对推动行为克隆从实验室走向规模化应用具有里程碑意义。

当前挑战

该数据集面临的核心挑战源于机器人操作领域的复杂性与构建过程的艰巨性。一方面，行为克隆政策需在长时程、高精度任务中实现稳健执行，如折叠纸盒、从钱包取信用卡等灵巧操作，这要求模型能有效处理多模态观测与动作分布，克服单一视觉观测导致的阶段歧义（例如折叠衬衫时易误判任务阶段），同时平衡训练计算效率与策略泛化能力。另一方面，数据集构建过程中面临数据加载瓶颈——大规模视频流解码成为吞吐主导成本，需设计优化数据加载器；遥操作数据存在操作者风格差异与收集成本高昂问题，需通过子目标标注、DAgger干预等策略提升数据质量与策略适应性，而不同批次间的硬件一致性维持也为大规模采集增添了实际困难。

常用场景

经典使用场景

ABC-130K作为迄今为止规模最大的开源遥操作数据集，其核心应用场景在于为大规模行为克隆研究提供标准化的训练与评估基准。该数据集涵盖了3,500小时、超过13万个成功轨迹，横跨195项多样化任务，包括拾放、折叠、工具使用和高精度装配等操作原语。研究者和工程师借助ABC-130K，无需从头构建昂贵的硬件和数据采集系统，即可在统一的数据集上进行模型架构的横向比较与训练策略的优化，从而系统性地探索行为克隆的规模化特性。该数据集的推出，极大降低了机器人操作研究中数据获取的门槛，为社区提供了一个能够公平、高效评估不同行为克隆方法的开放平台。

解决学术问题

在行为克隆领域，学术界长期受困于数据规模不足、硬件平台昂贵且不统一、以及训练与评估流程不透明等问题。ABC-130K通过提供海量、高质量的双臂操作数据，有效解决了因数据集规模偏小导致的策略泛化性差和研究结果难以复现的困境。该数据集促进了研究者对扩散变换器（DiT）和视觉-语言-动作（VLA）模型在大规模数据下的架构选择、计算规模与性能之间关系的系统理解。此外，ABC-130K释放的仿真数据和离线评估指标，使得研究者能够在开展昂贵的真实世界实验之前，可靠地消融模型设计决策，从而加速了机器人操作领域从经验驱动向数据驱动研究范式的转变。

衍生相关工作

ABC-130K的发布催生了一系列具有影响力的衍生研究。一方面，围绕该数据集形成了ABC-Models、ABC-Sim和ABC-Eval生态，为研究者提供了从模型训练、仿真验证到真实世界评估的全链条工具。另一方面，基于数据集中的细粒度元数据（如操作者身份和子目标标注），研究者探索了策略条件控制方法，如操作者风格引导和子任务状态调节，显著提升了策略的灵活性和可控性。此外，利用DAgger干预数据收集框架和微调策略，衍生工作展示了如何从预训练基座模型高效适应高精度、长时域任务，为行为克隆在复杂操作场景中的实用化打开了新的方向。