AutoBio

我们托管了论文中所有任务的数据集，包括由MuJoCo和Blender Cycles渲染的视频。数据集分为两种类型：MuJoCo数据集和Blender Cycles数据集，分别包含不同的任务视频。

We host all datasets for the tasks described in the paper, including videos rendered by MuJoCo and Blender Cycles. The dataset is divided into two types: the MuJoCo dataset and the Blender Cycles dataset, each containing different task videos.

原始信息汇总

AutoBio数据集概述

数据集基本信息

• 状态: 初步版本（Preliminary Version）
• 项目状态: 开发中，代码库正在进行结构性改进
• 相关论文: AutoBio: A Simulation and Benchmark for Robotic Automation in Digital Biology Laboratory

数据集内容

数据集集合

• MuJoCo渲染数据集: MuJoCo dataset collection

  • 关闭热循环仪盖子
  • 打开热循环仪盖子
  • 拿起离心管
  • 松开离心管盖子
  • 使用移液器吸取
  • 转移离心管
  • 拧紧离心管盖子
  • 操作热混合器面板
  • 加载离心机转子

• Blender Cycles渲染数据集: Blender Cycles dataset collection

  • 关闭热循环仪盖子
  • 打开热循环仪盖子
  • 拿起离心管
  • 松开离心管盖子
  • 使用移液器吸取
  • 转移离心管
  • 拧紧离心管盖子
  • 操作热混合器面板
  • 加载离心机转子

数据集格式

• 遵循LeRobot v2.0格式

• 目录结构:

  . ├── data │ └── chunk-000 │ ├── episode_000000.parquet │ └── ... ├── meta │ ├── episodes.jsonl │ ├── info.json │ ├── stats.json │ └── tasks.jsonl └── videos └── chunk-000 ├── image │ ├── episode_000000.mp4 │ └── ... └── ...

• 视频规格: 224x224@50fps

工作流程

环境设置

• 操作系统: Linux (Ubuntu 20.04/24.04推荐)
• 依赖环境: 需为openpi和RoboticsDiffusionTransformer创建独立环境

数据收集（可选）

1. 轨迹收集: 通过执行特定任务文件完成
2. 视频渲染:
   • MuJoCo渲染: 使用render.bash脚本
   • Blender渲染: 需要Blender (≥4.4)

数据转换

• 转换为LeRobot格式
• 计算归一化统计数据

训练

• 硬件要求: 1×80GiB GPU (如NVIDIA A100/H100/H800)
• 小显存GPU支持LoRA训练

评估

• 通过远程推理实现
• 可调整评估参数

搜集汇总

数据集介绍

构建方式

AutoBio数据集构建于数字生物学实验室自动化研究领域，采用多阶段仿真技术生成合成数据。该数据集通过MuJoCo和Blender Cycles两种物理引擎渲染实验操作视频，涵盖热循环仪操作、离心管处理等九类核心生物学实验任务。研究人员首先通过任务脚本生成原始轨迹数据，随后运用渲染管线转化为可视化素材，最终转换为标准化的LeRobot v2.0格式，确保与主流机器人学习框架兼容。数据采集过程中严格保持50fps的帧率与224x224分辨率，为时序动作分析提供稳定基础。

特点

该数据集最显著的特征在于其双模态呈现方式，同时提供基于物理仿真的MuJoCo数据和具备真实感渲染的Blender版本。每个任务包含完整的操作序列视频、元数据及统计信息，视频素材采用世界固定视角摄像头记录，便于动作轨迹分析。数据集严格遵循模块化存储结构，将数值数据、视频流和任务描述分离存储，通过JSONL文件实现高效元数据管理。特别值得注意的是，所有任务视频均保持统一的时间分辨率与空间尺寸，为跨任务对比研究创造有利条件。

使用方法

使用该数据集需先行配置Linux环境并安装指定依赖库。研究人员可通过HuggingFace平台直接下载预处理好的数据集，或按照提供的流程自行生成数据。数据集支持两种主要应用方式：作为独立基准测试集直接用于模型评估，或通过LeRobot接口整合至训练管线。典型使用流程包括数据加载、统计量归一化、模型训练及服务化部署四个阶段。评估环节提供远程推理支持，允许通过REST API方式测试模型性能，并生成标准化评估报告。对于计算资源受限的场景，数据集特别提供LoRA训练配置方案以降低硬件需求。

背景与挑战

背景概述

AutoBio数据集作为数字生物学实验室中机器人自动化的仿真与基准测试平台，由研究团队于2024年5月通过arXiv预印本首次公开。该数据集聚焦于生物实验室常见操作的自动化执行，涵盖离心管操作、移液器使用、热循环仪控制等九项核心任务，通过MuJoCo和Blender两种物理引擎生成高保真仿真数据。其创新性在于将机器人学习框架与生物实验流程深度融合，为跨模态策略学习提供了标准化评估体系，显著推动了实验室自动化领域从理论到应用的转化进程。

当前挑战

在解决生物实验室自动化这一领域问题时，AutoBio面临动作精细度要求高、多步骤操作时序依赖性强等固有挑战。数据集构建过程中，研究团队需克服仿真环境与真实场景的域差异问题，包括器械物理特性建模、光学渲染真实性优化等关键技术难点。两种渲染引擎并行的设计策略虽提升了数据多样性，但同步保持数据格式统一性与标注一致性仍存在工程复杂度。当前初步版本在任务覆盖广度与长周期操作样本均衡性方面仍有提升空间，这为后续迭代提出了数据分布优化与基准任务扩展的双重挑战。

常用场景

经典使用场景

在数字生物学实验室自动化领域，AutoBio数据集通过模拟多种实验操作场景，如热循环仪开关、离心管操作等，为机器人动作学习提供了丰富的训练素材。其经典使用场景在于通过MuJoCo和Blender渲染的高保真视频数据，帮助研究者构建和验证机器人执行复杂生物实验操作的算法模型。

解决学术问题

AutoBio数据集有效解决了机器人自动化在生物实验室中面临的精细操作难题，如器械交互的时序控制、多步骤任务规划等。通过提供标准化实验任务数据集，该工作填补了数字生物学与机器人学交叉领域的空白，为量化评估算法性能建立了统一基准。

衍生相关工作

基于AutoBio数据集衍生的经典工作包括OpenPI框架的适应性改进和RoboticsDiffusionTransformer的扩展应用。研究者通过整合该数据集，开发出适用于生物实验室场景的强化学习算法，并在LeRobot平台上构建了专门的评估体系，推动了实验室自动化领域的算法创新。