TacRich-Manip
收藏资源简介：
TacRich-Manip LeRobot v3 — multi-task 是一个多模态真实机器人接触丰富操作数据集，采用LeRobot v3格式发布。数据集包含750个片段（episodes），共939,760帧，总时长约6.53小时，采样频率为40 Hz，包含14个任务标签。数据通过多种采集方法收集：遥操作（teleoperation）和UMI（一种基于视觉的操控方法）。遥操作任务包括：循环排列钢板（cyclically_arrange_steel_plate，含5个主要阶段标签）、直立瓶子（cyclically_standup_bottle 和 version2）、抓取物体（grasp_objects，含4个物体级标签：牛角包、香蕉片、黄色蛋糕卷、牛油果）、插销圆柱（insert_peg_cylinder）、测试（test，含10个小测试源）。UMI任务为设置钢板（set_the_steel_plate）。所有遥操作动作均为机器人基座坐标系下的绝对命令，而UMI动作使用片段局部TCP坐标系和下一观测动作目标。数据集包含多模态传感器数据：三个RGB相机（前、侧、鱼眼，640×480，MP4格式）、前视深度图（16位PNG，毫米单位）、触觉传感器（左右手指，32×58的校准响应）、7维关节位置（度）、末端执行器位姿（7维：位置+四元数）、夹爪距离（毫米），以及多种状态和动作向量。数据集还提供了姿态坐标变换、加载和可视化示例、文件布局和元数据（如任务标签、统计信息、源目录信息）。该数据集适用于机器人模仿学习、多模态/触觉表示学习、接触丰富操作研究、同步研究以及可复现格式转换。
TacRich-Manip LeRobot v3 — multi-task is a multimodal real robot contact-rich manipulation dataset released in LeRobot v3 format. The dataset contains 750 episodes, 939,760 frames, total duration of approximately 6.53 hours, sampling frequency 40 Hz, and 14 task labels. Data are collected via multiple methods: teleoperation and UMI (a vision-based manipulation method). Teleoperation tasks include: cyclically arrange steel plate (with 5 major stage labels), cyclically stand up bottle (version1 and version2), grasp objects (with 4 object-level labels: croissant, banana slice, yellow cake roll, avocado), insert peg cylinder, and test (with 10 small test sources). The UMI task is set the steel plate. All teleoperation actions are absolute commands in the robot base coordinate system, while UMI actions use episode-local TCP coordinate system and next-observation action target. The dataset includes multimodal sensor data: three RGB cameras (front, side, fisheye, 640×480, MP4 format), front depth image (16-bit PNG, millimeter units), tactile sensors (left and right fingers, 32×58 calibrated response), 7-dimensional joint positions (degrees), end-effector pose (7D: position + quaternion), gripper distance (mm), and various state and action vectors. The dataset also provides pose coordinate transformations, loading and visualization examples, file layout, and metadata (e.g., task labels, statistics, source directory information). This dataset is suitable for robot imitation learning, multimodal/tactile representation learning, contact-rich manipulation research, synchronization studies, and reproducible format conversion.
数据集概述
TacRich-Manip LeRobot v3 是一个多任务、多模态的真实机器人操作数据集，采用 LeRobot v3 标准格式发布，专注于基于夹爪的接触丰富型操作任务。其目标应用包括机器人模仿学习、多模态/触觉表征学习以及接触丰富型操作研究。
核心信息
| 属性 | 值 |
|---|---|
| 仓库 | Tachintech/TacRich-Manip |
| 采集方法 | 多方法（遥操作 + UMI） |
| 机器人 | rm75b-pika-tachin |
| 片段数 | 655 |
| 总帧数 | 617,565 |
| 时长 | 4.29 小时（ @40 Hz） |
| 标称频率 | 40 Hz |
| 任务标签数 | 8 |
| LeRobot 格式 | v3.0 |
| 许可证 | Apache-2.0 |
任务分类与采集方法
| 逻辑任务 | 采集方法 | 片段数 | 帧数 | 小时数 | 发布标签数 | 任务范围 |
|---|---|---|---|---|---|---|
cyclically_standup_bottle |
遥操作 | 181 | 133,682 | 0.93 | 1 | 反复抓取并使瓶子直立（首次采集） |
cyclically_standup_bottle_version2 |
遥操作 | 250 | 219,107 | 1.52 | 1 | 在版本2设置下的重复瓶子直立采集 |
grasp_objects |
遥操作 | 47 | 69,311 | 0.48 | 4 | 将羊角面包、香蕉块、黄色蛋糕卷和牛油果放回盘子，发布为四个物体级标签 |
insert_peg_cylinder |
遥操作 | 79 | 109,073 | 0.76 | 1 | 真实机器插销/圆柱插入演示 |
set_the_steel_plate |
UMI | 98 | 86,392 | 0.60 | 1 | UMI 采集的钢板放置轨迹，因其局部 TCP 状态/动作语义与遥操作不同而单独区分 |
所有遥操作动作均为机器人基座坐标系下的绝对机器人命令。UMI 任务使用片段局部 TCP 坐标和下一观测动作目标，两者为不同命名空间，不可混用。
测试数据
小型测试记录被统一归类为 teleoperation/test 类，包含以下 10 个来源（共 59 个片段，269,076 帧，约 1.869 小时）：
test-cyclically_arrange_steel_spoon：循环排列钢勺test-cyclically_standup_bottle：循环直立瓶子test-dining-table-arrangement：餐桌摆设test-grab_fruit：抓取水果test-pour_water：倒水test-set_the_tableware-version1：餐具放置（设置 v1）test-set_the_tableware-version2：餐具放置（设置 v2）test-stand_up_objects：直立物体test-wipe_the_blackboard：擦黑板test-write：书写
数据特征（Feature）清单
| 键 | 逻辑类型/存储 | 形状 | 内容与单位 |
|---|---|---|---|
observation.images.cam_front |
视频 / MP4 AV1 | [480,640,3] | 前置 RGB，HWC，当前帧 |
observation.images.cam_side |
视频 / MP4 AV1 | [480,640,3] | 侧置 RGB，HWC，当前帧 |
observation.images.cam_fisheye |
视频 / MP4 AV1 | [480,640,3] | 夹爪鱼眼 RGB，HWC，当前帧 |
observation.depth.cam_front |
图像 / 16-bit PNG | [480,640,1] | 前置深度，HW1，uint16 毫米，无损存储 |
observation.tactile |
float32 | [2,32,58] | [左指, 右指] + 传感器行/列；标定响应，非 SI 力 |
observation.joint_position |
float32 | [7] | 关节位置（度）；仅 UMI 时为零填充 |
observation.ee_pose |
float32 | [7] | 末端位姿 [x,y,z,qx,qy,qz,qw]；米和四元数（XYZW） |
observation.gripper_distance |
float32 标量 | [1] | 当前夹爪开度（毫米） |
observation.state |
float32 | [15] | 7 关节 + 法兰位置3 + 四元数4 + 夹爪1 |
observation.state_gripper |
float32 | [10] | 夹爪尖端位置3 + 旋转6D6 + 夹爪1 |
observation.timestamp |
float64 标量 | [1] | 对齐的源采集时间（Unix 秒） |
observation.source_timestamp_tactile |
float64 标量 | [1] | 原始触觉采样时间 |
observation.source_timestamp_proprio |
float64 标量 | [1] | 原始机器人状态采样时间 |
observation.source_timestamp_vision |
float64 标量 | [1] | 原始前置相机采样时间 |
action |
float32 | [8] | 绝对目标位置3 + 四元数4 + 目标夹爪1 |
action_gripper |
float32 | [10] | 夹爪尖端目标位置3 + 旋转6D6 + 目标夹爪1 |
timestamp |
float32 标量 | [1] | LeRobot 片段相对时间（frame_index / 40） |
frame_index |
int64 标量 | [1] | 片段内零基帧索引 |
episode_index |
int64 标量 | [1] | 数据集内零基片段标识 |
index |
int64 标量 | [1] | 跨所有片段的零基全局帧索引 |
task_index |
int64 标量 | [1] | 指向 meta/tasks.parquet 的外键 |
旋转 6D 表示是 3×3 旋转矩阵前两列的扁平化，即 [R[:,0], R[:,1]]，而非前两行。
坐标系
遥操作的 observation.state/action 使用机器人基座坐标系下的法兰位姿；相应的 *_gripper 键使用同一坐标系下的夹爪尖端位姿。固定变换为：
T_base_gripper = T_base_flange @ T_flange_gripper
T_flange_gripper = [[ 0.7660444431, -0.6427876097, 0, 0 ], [ 0.6427876097, 0.7660444431, 0, 0 ], [ 0, 0, 1, 0.2 ], [ 0, 0, 0, 1 ]]
即 p_base_gripper = p_base_flange + R_base_flange @ [0,0,0.2] 米，R_base_gripper = R_base_flange @ Rz(+40°)。UMI 通道的 TCP 位姿以当前片段的第一个有效 TCP 帧为参考，动作是下一观测到的局部 TCP 位姿。
文件布局
README.md, LICENSE, CITATION.cff, AUTHORS.md docs/DATASET_SCHEMA.md examples/load_lerobot_dataset.py examples/visualize_episode.py meta/info.json meta/stats.json meta/tasks.parquet meta/task_sources.parquet meta/episodes/chunk-/file-.parquet data/chunk-/file-.parquet videos/<camera-key>/chunk-/file-.mp4
质量、来源与局限
- 转换时校验了字段、形状、有限位姿值、单位四元数、任务/片段计数及所有元数据引用的分片。
- 遥操作动作来自迁移后的绝对
arm_target_*列；原始action_delta_*仅作来源记录，不被消费。 - RGB 视频为有损 AV1 编码；深度和低维字段除 float32 转换外无损。
- 传感流异步；应使用源时间戳衡量同步程度，而非假设同时曝光。
- 触觉值为标定响应而非牛顿力。
- 真实机器人轨迹可能包含遮挡、光照变化、接触瞬态、操作者差异和任务失败等。
预期用途与安全
预期用途包括机器人模仿学习、多模态/触觉表征学习、接触丰富型操作研究、同步研究及可复现格式转换。数据集不构成安全控制器或部署保证，进行真实世界执行前需验证工作区限制、动作缩放、坐标系及急停行为。
引用
bibtex @dataset{tacrich_manip_multi-task_2026, author = {{Qingzhu Robotics, TacRich-Manip Dataset Team}}, title = {{TacRich-Manip LeRobot v3: multiple tasks}}, year = {2026}, version = {0.2.0}, url = {https://huggingface.co/datasets/Tachintech/TacRich-Manip}, note = {Please also report the immutable Hub commit revision used.} }
