AXIS Franka Dataset

AXIS Franka数据集是一个由社区驱动、可扩展的桌面机器人操作数据集，由Axis Robotics联合多所高校构建，包含207个多样化任务和超过5万条演示轨迹。该数据集通过浏览器遥操作收集原始数据，并经过标准化验证、轨迹平滑、重采样等处理流程，最终通过IsaacSim平台进行视觉与物理增强，生成超过6万种场景变体以提升数据多样性。数据集主要应用于机器人模仿学习和视觉语言动作模型训练，旨在解决大规模、高质量机器人演示数据收集难题，并通过版本化快照机制支持可控的扩展研究，推动机器人操作策略的泛化性与鲁棒性提升。The AXIS Franka Dataset is a community-driven, scalable desktop robotic manipulation dataset developed by Axis Robotics in collaboration with multiple universities. It encompasses 207 diverse tasks and over 50,000 demonstration trajectories. Raw data is collected via browser-based teleoperation, and then undergoes processing pipelines including standardized validation, trajectory smoothing, and resampling. Subsequently, visual and physical augmentation is performed on the dataset using the IsaacSim platform, generating more than 60,000 scene variants to boost data diversity. This dataset is primarily utilized for robotic imitation learning and vision-language action model training. Its objectives include addressing the challenge of collecting large-scale, high-quality robotic demonstration data, supporting controllable scalable research via the versioned snapshot mechanism, and promoting the improvement of generalization and robustness of robotic manipulation policies.

原始信息汇总

数据集概述：AXIS

• 名称: AXIS（A Growable Community-Driven Data Engine for Scalable Robot Manipulation）
• 发布机构: 由 Axis Robotics、加州大学伯克利分校、佐治亚理工学院、德州农工大学、约翰霍普金斯大学、宾夕法尼亚大学、密歇根大学、新加坡国立大学、南洋理工大学的研究人员共同发布。
• 相关论文: Zhao et al., “AXIS: A Growable Community-Driven Data Engine for Scalable Robot Manipulation”, arXiv:2607.21588.

核心目标

AXIS 是一个可增长的、社区驱动的数据引擎和基准，用于大规模机器人学习。它通过基于浏览器的遥操作实现大规模示范收集，自动生成和验证新的操作任务，并将社区收集的示范通过自动成功检查、质量过滤、轨迹平滑、视觉和物理增强等步骤，转化为可直接用于训练的数据。

数据集规模（实时统计）

• 轨迹数: 1,673,647
• 任务数: 1,947
• 轨迹总时长: 22,689 小时 20 分钟

数据集快照

• 任务数量: 207
• 轨迹数量: 50K+
• 任务/场景变体: 60K+
• 机器人平台: Franka Research 3（配备平行夹爪）
• 相机: 第三视角 RGB-D + 腕部 RGB-D
• 评估方式: 固定的留出协议（held-out protocol）

数据集内容

每个轨迹包含以下内容：

• 语言指令
• 任务资产
• 成功检查器
• 机器人状态
• 物体状态
• 机器人动作
• 第三视角 RGB-D 观测
• 腕部 RGB-D 观测
• 元数据
• 失败标签

数据引擎流程

1. 任务生成与资产标准化
2. 基于 Web 的 MuJoCo-WASM 遥操作
3. 成功检查与轨迹上传
4. 过滤、犹豫移除、平滑与重采样
5. IsaacSim 视觉与物理增强
6. VLA 训练、固定协议评估与现实世界部署

轨迹优化效果

数据版本	采样率	平均加速度	平均加加速度	回放成功率
原始遥操作	5.0 Hz	1.3539	11.5899	100.0%
平滑后	5.0 Hz	0.6382	2.9160	91.4%
平滑+重采样	20 Hz	0.4885	2.2243	86.2%

动态成长基准

AXIS 将训练数据组织为逐步增大的快照，以便进行缩放研究：

• AXIS-25%: 低数据量缩放点
• AXIS-50%: 中等规模任务覆盖
• AXIS-100%: 当前完整快照（NAXIS）
• AXIS-...: 未来可增长的发布

实验与结果

• 总体结果: π0.5 + AXIS-100% 在 LIBERO-Plus 上达到 88.8% 总体成功率，优于 π0.5 基线（83.9%）和 RoboCasa 预训练基线（57.5%）。
• 提升幅度: 在 AXIS 上进行持续预训练使 π0.5 总体成功率提升 5.8%，超过 RoboCasa365 预训练模型 37.3%。
• 按扰动维度的鲁棒性提升（AXIS-100% vs. π0.5 vanilla）:
  • 传感器噪声: +13.7
  • 相机: +11.3
  • 机器人位姿: +3.8
  • 背景: +3.7

引用格式

bibtex @article{zhao2026axis, title = {AXIS: A Growable Community-Driven Data Engine for Scalable Robot Manipulation}, author = {Mengfei Zhao and Dihong Huang and Yikai Tang and Peihao Li and Mingxuan Yan and Ruiqi Zhuang and Yanjia Huang and Jie Wang and Hai Zhai and Tony Zhou and Rui Zhang and Zhexi Luo and Yuchen Huang and Jianfei Yang and Jiachen Li}, journal = {arXiv preprint arXiv:2607.21588}, year = {2026}, url = {https://arxiv.org/abs/2607.21588} }

搜集汇总

数据集介绍

构建方式

AXIS Franka Dataset的构建依托于一个可生长的社区驱动数据引擎，通过浏览器端的MuJoCo-WASM遥操作界面，使广泛用户无需专用硬件即可贡献演示数据。系统自动生成多样化任务，涵盖拾取、放置、堆叠、倾倒等桌面操作行为，并利用大语言模型将高级指令转化为参数化场景。用户完成的轨迹经统一格式序列化后，通过后台验证、静态段去除、萨维茨基-戈莱滤波平滑及固定频率重采样进行净化，最后在IsaacSim引擎中重放以施加视觉与物理增强，从而生成超过5万条高质量轨迹与6万种场景变体。

使用方法

AXIS Franka Dataset适用于模仿学习与视觉-语言-动作模型的全流程训练与评估。用户可直接利用提供的轨迹格式进行策略预训练或微调，数据集被组织为渐进式增长的快照（如AXIS-25%/50%/100%），支持在固定留出协议下进行规模缩放实验。通过统一的轨迹表示与成功校验器，研究者能够跨不同策略家族进行公平比较，并利用IsaacSim增强管道生成的多样化场景测试策略的泛化能力与鲁棒性，从而推动可泛化机器人操作的发展。

背景与挑战

背景概述

AXIS Franka Dataset由Axis Robotics联合加州大学伯克利分校、佐治亚理工学院等多家顶尖学术机构于2026年构建，旨在解决机器人操作领域数据规模与多样性严重不足的核心困境。该数据集以Franka Research 3机械臂为硬件载体，通过创新的浏览器端MuJoCo-WASM遥操作平台，汇聚超过70,000名社区贡献者收集了50,000余条高质量轨迹，涵盖207种桌面操作任务。其核心研究问题在于探索一种可生长、社区驱动的数据引擎，突破传统数据集一次收集后即固定不变的局限。AXIS通过自动化任务生成、统一轨迹处理、IsaacSim视觉与物理增强等流水线，将原始演示转化为训练就绪数据。该数据集在LIBERO-Plus基准测试上展现出显著优势，使π0.5模型的整体成功率提升5.8%，较同等规模的RoboCasa365基线高出37.3%，为可扩展机器人学习提供了全新的数据范式。

当前挑战

AXIS数据集面临的领域挑战首先源于机器人操作数据收集的固有瓶颈：传统方法依赖专用硬件与专家操作员，导致数据规模增长远慢于模型能力提升。社区驱动的收集模式虽然降低了参与门槛，却引入了操作技能差异、运动抖动、轨迹中断等质量波动，需要在可扩展性与数据保真度之间精心权衡。构建过程中的具体挑战包括：第一，浏览器遥操作产生低频率（6-8Hz）和非均匀采样的原始轨迹，需借助Savitzky-Golay滤波与三次样条重采样至20Hz，同时保持操作语义完整性；第二，自动任务生成需将自然语言指令精准转化为参数化场景配置，并验证成功条件，涉及物体物理尺度归一化、空间布局合理性检查等复杂步骤；第三，数据增强需在保留任务语义的前提下，通过随机化视点、光照、纹理等产生超过60,000种场景变体，同时确保增强后轨迹仍满足物理可行性约束。

常用场景

经典使用场景

AXIS Franka Dataset的核心用途在于为机器人操作学习提供大规模、多样化且可持续增长的演示数据集。它通过浏览器遥操作收集人类演示，结合自动任务生成、轨迹验证与细化、以及基于物理引擎的视觉和动力学增强，为模仿学习和视觉-语言-动作模型提供高质量训练数据。该数据集涵盖207种桌面操作任务，包含超过5万条轨迹，适用于拾放、堆叠、推拉、倾倒、铰接物体操作及工具使用等典型场景，是研究可扩展机器人操作策略的标准化基准。

解决学术问题

该数据集解决了机器人学习领域数据规模受限、采集成本高昂和数据集静态化等核心问题。传统的机器人演示数据依赖专用硬件和集中式操作，难以持续扩展任务范围。AXIS通过社区驱动的数据引擎，实现了任务的自动生成和多样化采集，极大降低了数据收集门槛。它支持版本化快照和固定评估协议，使研究者能够系统研究数据规模对策略性能的影响，揭示了更大规模和更多样化的数据能显著提升策略在视觉扰动、物体布局变化和传感器噪声等分布偏移下的鲁棒性。

实际应用

在实际应用中，AXIS Franka Dataset为机器人操作策略的研发提供了一个从数据采集到模型部署的完整闭环。它通过基于浏览器的遥操作界面，使得非专业用户也能参与大规模演示数据贡献，这些数据经过自动化清洗和增强后可用于训练通用机器人策略。该数据集支持从仿真到真实机器人的迁移，已在Franka Research 3机械臂上展示了抓取、拾放等操作的可行策略执行。其可增长的设计允许根据实际部署中遇到的失败案例迭代扩充数据，持续提升机器人在复杂环境中的操作能力。

数据集最近研究

最新研究方向

当前，AXIS Franka Dataset 的研究前沿聚焦于构建可持续生长的社区驱动型数据引擎，以突破传统机器人操作数据采集的封闭性与规模瓶颈。该数据集通过浏览器端 MuJoCo-WASM 远程操控与自动化任务生成，汇聚超过207项操作任务与5万余条轨迹，并采用物理增强、视觉随机化与质量过滤的流水线处理范式，显著提升下游视觉-语言-动作（VLA）策略的鲁棒性与泛化能力。其核心意义在于，不仅为π0.5等基础模型在LIBERO-Plus基准上带来最高37.3%的成功率提升，更开创了随任务与数据量持续扩展的可复现基准评估体系，从而推动机器人操作学习从静态发布迈向动态迭代的新阶段。

相关研究论文

• AXIS: A Growable Community-Driven Data Engine for Scalable Robot Manipulation

  Axis Robotics; 加州大学伯克利分校; 佐治亚理工学院; 德克萨斯农工大学; 约翰斯霍普金斯大学; 宾夕法尼亚大学; 密歇根大学; 新加坡国立大学; 南洋理工大学 · 2026年