Tianqin_A2_place_the_paper_box

Tianqin_A2_place_the_paper_box数据集基于LeRobot扩展格式构建，与LeRobot完全兼容。该数据集使用Tianqin_A2机器人，代码库版本为v2.1，末端执行器类型为双指夹持器。数据集包括家庭场景，以及抓取、放置和拾取等原子动作。数据集包含236个场景，94841帧，708个视频，1个任务，1个数据块，数据块大小为1000，帧率为30，数据集大小为3.0GB。数据集包括丰富的注释，支持多种学习方法。数据集分为训练集和测试集。数据集结构遵循LeRobot格式，包含视频、状态数据、动作数据和元数据。数据集特征包括视觉观察、状态和动作、时间信息、注释、运动特征和夹持器特征。数据集元信息包含代码库版本、机器人类型、总场景数、总帧数、总任务数、总视频数、总数据块数、数据块大小、帧率、数据集分割、数据路径、视频路径和特征信息。数据集目录结构清晰，包括注释、数据、元数据和视频等目录。数据集以Apache-2.0许可证发布，可在GitHub上找到相关代码和文档。

The Tianqin_A2_place_the_paper_box dataset is constructed based on the LeRobot extended format and is fully compatible with LeRobot. It utilizes the Tianqin_A2 robot, with the codebase version being v2.1 and the end-effector being a two-finger gripper. The dataset encompasses home scenarios and atomic actions including grasping, placing, and picking. It consists of 236 scenarios, 94841 frames, 708 videos, 1 task, and 1 data chunk, with a data chunk size of 1000, a frame rate of 30, and a total dataset size of 3.0 GB. The dataset features rich annotations and supports multiple learning paradigms. It is divided into training and test sets. The dataset structure adheres to the LeRobot format, comprising videos, state data, action data, and metadata. Dataset features include visual observations, state and action data, temporal information, annotations, motion features, and gripper features. The dataset metadata contains codebase version, robot type, total number of scenarios, total frames, total tasks, total videos, total data chunks, data chunk size, frame rate, dataset split, data path, video path, and feature information. The dataset has a well-organized directory structure, including directories for annotations, data, metadata, and videos. The dataset is released under the Apache-2.0 license, and the associated code and documentation are available on GitHub.

原始信息汇总

Tianqin_A2_place_the_paper_box 数据集概述

基本信息

• 数据集名称: Tianqin_A2_place_the_paper_box
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN, LeRobot
• 帧数范围: 10K-100K

机器人配置

• 机器人类型: Tianqin_A2
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景与动作

• 场景类型: 家庭环境
• 原子动作: 抓取、放置、拾取

数据集统计

指标	数值
总片段数	236
总帧数	94,841
总任务数	1
总视频数	708
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	3.0GB

任务描述

• 主要任务: 拾取纸盒并将其放置到后方
• 子任务:
  1. 异常
  2. 结束
  3. 抓取数据线
  4. 抓取纸盒
  5. 空
  6. 将数据线放入另一个盒子
  7. 将纸盒放在桌子上

数据特征

视觉观测

• 3个摄像头视角：高清RGB、左手腕RGB、右手腕RGB
• 分辨率：480×640×3
• 编码格式：AV1
• 帧率：30 FPS

状态与动作

• 状态观测: 17维浮点数（关节位置、夹爪状态）
• 动作数据: 17维浮点数（关节控制、夹爪控制）

注释信息

• 子任务注释: 细粒度子任务分割和标注
• 场景注释: 语义场景分类和描述
• 末端执行器注释: 方向、速度、加速度分类
• 夹爪注释: 开合状态、活动状态

运动特征

• 末端执行器仿真姿态（6D位姿）
• 末端执行器方向、速度、加速度
• 夹爪开合尺度

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按摄像头视角组织
• 元数据: JSON格式，包含数据集信息

数据划分

• 训练集: 片段0-235

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术特性

• 基于LeRobot格式扩展，完全兼容LeRobot
• 包含丰富的机器人操作数据
• 支持多种学习方法的注释信息
• 提供仿真空间中的6D位姿信息

引用信息

如需在研究中引用此数据集，请使用提供的BibTeX条目。

搜集汇总

数据集介绍

构建方式

在机器人操作数据集构建领域，Tianqin_A2_place_the_paper_box数据集采用基于LeRobot框架的扩展格式进行系统化构建。该数据集通过天琴A2型双指夹爪机器人采集了236个完整操作序列，涵盖抓取、放置等基础动作，并以30帧率的多视角视频流同步记录机械臂关节状态与末端执行器运动轨迹。数据以分块存储机制组织为94841帧结构化观测，通过严格的时空对齐确保动作序列与视觉信息的完整性，为双臂协调操作研究提供高精度数据基础。

特点

该数据集在机器人操作数据领域展现出多维度的技术特征，其核心价值在于融合了三种不同视角的视觉观测与17维关节控制指令。数据集通过细分标注体系完整捕捉了末端执行器的六维位姿、运动方向及夹爪开合状态等动态参数，并创新性地将操作流程解构为7类语义子任务。每个操作片段均配备场景语义标注与运动学特征量化指标，这种细粒度标注机制为模仿学习与行为克隆算法提供了丰富的监督信号。

使用方法

研究者可通过标准化数据加载流程直接调用该数据集，其文件结构遵循LeRobot兼容格式，支持从parquet文件快速读取状态动作对与多模态观测数据。使用时应优先加载元数据配置文件，通过指定分块索引与片段编号访问对应的视频流与传感器读数。训练过程中可联合利用视觉观察、关节状态及动作指令构建端到端策略网络，同时结合运动学标注信息进行分层策略学习，最终在家庭环境下的物体摆放任务中验证算法性能。

背景与挑战

背景概述

机器人操作数据集在推动人工智能与物理世界交互方面具有关键作用。Tianqin_A2_place_the_paper_box数据集由RoboCOIN团队于2025年11月发布，作为RoboCOIN项目的重要组成部分，专注于双手机器人操作任务的系统性数据采集。该数据集基于LeRobot框架构建，采用天琴A2型机器人平台，针对家庭环境中的物体抓取与放置任务进行设计，核心研究问题在于解决复杂场景下机器人精细操作的行为建模与泛化能力。通过提供包含多视角视觉观测、关节状态数据及丰富运动标注的236个完整操作序列，该数据集为模仿学习与强化学习算法的发展提供了重要支撑，显著提升了机器人操作任务的实证研究水平。

当前挑战

在机器人操作领域，精确控制双手机器人完成物体转移任务面临多重挑战，包括动态环境下的抓取姿态优化、多模态传感信息融合以及操作轨迹的时空连续性建模。数据集构建过程中需克服高维度动作空间的数据同步难题，确保三路摄像头视频流与17维关节状态数据的毫秒级对齐。同时，细粒度标注工程要求对末端执行器运动方向、速度层级及夹爪开合状态进行精确分类，这涉及大量人工校验与语义一致性维护。数据规模的扩展亦受到硬件成本与存储效率的制约，需在3GB容量内平衡视频压缩质量与算法训练需求。

常用场景

经典使用场景

在机器人操作学习领域，Tianqin_A2_place_the_paper_box数据集通过记录双指夹爪抓取纸盒的完整操作序列，为模仿学习算法提供了标准化的训练范式。该数据集包含236个任务片段，涵盖抓取、放置等基础动作的连续执行过程，配合多视角视觉观测与末端执行器运动轨迹，能够有效支撑机器人从感知到控制的端到端策略学习。

解决学术问题

该数据集通过精细标注的末端执行器位姿、速度模态与夹爪状态，系统性地解决了机器人操作中动作分割与运动规划的耦合难题。其提供的多模态时序数据支持学术界研究动态环境下的操作策略泛化能力，特别是针对家居场景中物体抓取位置不确定性带来的控制挑战，为机器人精细操作的理论建模提供了实证基础。

衍生相关工作

基于该数据集衍生的研究已催生多项创新工作，包括结合LeRobot框架的层次化动作分解算法，以及利用多视角视觉特征的动作预测模型。相关成果在RoboCOIN项目中进一步发展出面向复杂操作任务的元学习框架，为双臂协调操作、动态物体抓取等前沿方向提供了基准数据集与方法论支撑。