taccap-g1-assemble-toy-blocks-0808

该数据集由 LeRobot 框架创建，专注于双机械臂的触觉操作任务，具体为组装玩具积木。数据集包含 79 个演示片段，总计 465,237 帧，帧率为 30 FPS。机器人类型为 bi_taccap_gripper（双 TACCap 夹爪），所有数据用于训练（无验证/测试划分）。每个样本包含 20 维的动作向量（左右机械臂末端执行器位姿及夹爪位置）和对应的 20 维状态观测。此外，还提供 6 个视觉观测通道：左/右腕部摄像头（480×640 像素，RGB）和四个触觉图像（左/右触觉传感器的左右两侧，400×700 像素，RGB），均以 H.264 编码视频形式存储。数据文件为 Parquet 格式，视频文件为 MP4 格式。该数据集适用于模仿学习、机器人操作策略学习等任务。This dataset is created by the LeRobot framework, focusing on bi-manual tactile manipulation tasks for assembling toy blocks. It contains 79 episodes with a total of 465,237 frames at 30 FPS. The robot type is bi_taccap_gripper (dual TACCap grippers). All data is used for training (no validation/test split). Each sample includes a 20-dimensional action vector (left and right arm end-effector poses and gripper positions) and corresponding 20-dimensional state observations. Additionally, 6 visual observation channels are provided: left/right wrist cameras (480×640 pixels, RGB) and four tactile images (left/right tactile sensor left and right sides, 400×700 pixels, RGB), all stored as H.264 encoded videos. Data files are in Parquet format, and video files are in MP4 format. The dataset is suitable for imitation learning, robot policy learning, etc.

原始信息汇总

数据集概述：taccap-g1-assemble-toy-blocks-0808

基本信息

• 数据集地址: https://huggingface.co/datasets/TacVerse/taccap-g1-assemble-toy-blocks-0808
• 许可证: Apache 2.0
• 任务类型: 机器人学（Robotics）
• 标签: LeRobot
• 创建工具: 基于 LeRobot 框架创建
• 机器人类型: bi_taccap_gripper（双臂触觉夹爪）
• 数据集用途: 由 XenseRobotics 团队提供，用于支持 LeRobot 框架下的 Xense 触觉机器人操作研究

数据集规模

• 总任务数: 1 个（组装玩具积木）
• 总回合数 (Episodes): 79 个
• 总帧数 (Frames): 465,237 帧
• 数据文件大小: 100 MB（Parquet 格式）
• 视频文件大小: 200 MB（MP4 格式）
• 采样频率 (FPS): 30 fps
• 数据划分: 训练集包含全部 79 个回合（0:79），无单独验证集或测试集

数据结构

数据文件组织

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据块大小 (Chunk Size): 1000 帧/块

特征说明

特征名称	数据类型	维度/形状	描述
action	float32	20	机器人动作指令，包含左右臂TCP位姿（6D）和夹爪位置
observation.state	float32	20	机器人观测状态，与动作维度一致
observation.images.left_tactile_left	视频	400×700×3	左侧触觉传感器（左）图像
observation.images.left_tactile_right	视频	400×700×3	左侧触觉传感器（右）图像
observation.images.left_wrist	视频	480×640×3	左手腕相机图像
observation.images.right_tactile_left	视频	400×700×3	右侧触觉传感器（左）图像
observation.images.right_tactile_right	视频	400×700×3	右侧触觉传感器（右）图像
observation.images.right_wrist	视频	480×640×3	右手腕相机图像
timestamp	float32	1	时间戳
frame_index	int64	1	帧索引
episode_index	int64	1	回合索引
index	int64	1	全局索引
task_index	int64	1	任务索引

动作/状态空间定义（20维）

动作和状态向量包含以下 20 个分量：

• 左臂 TCP 位姿（9 维）: left_tcp.x, left_tcp.y, left_tcp.z, left_tcp.r1~left_tcp.r6
• 左夹爪位置（1 维）: left_gripper.pos
• 右臂 TCP 位姿（9 维）: right_tcp.x, right_tcp.y, right_tcp.z, right_tcp.r1~right_tcp.r6
• 右夹爪位置（1 维）: right_gripper.pos

视频编码参数

• 视频编码格式: H.264
• 像素格式: yuv420p
• 视频帧率: 30 fps
• 通道数: 3（RGB）
• 是否深度图: 否
• 是否包含音频: 否

引用信息

如需引用该数据集，请使用以下 BibTeX：

bibtex @misc{xense-taccap-lerobot, author = {XenseRobotics Team}, title = {LeRobot-Xense: LeRobot with Xense Tactile Robotics Support}, howpublished = {url{https://github.com/Vertax42/xense-taccap-lerobot}}, year = {2026} }

数据可视化

用户可通过 LeRobot 提供的可视化工具（在数据集主页上可见）直接预览数据集内容，无需本地下载即可浏览视频与状态数据。

搜集汇总

数据集介绍

构建方式

在具身智能与机器人操作研究领域，针对复杂装配任务的仿真数据需求日益增长。该数据集通过程序化生成与物理仿真相结合的方式构建，在虚拟环境中系统性地采集了双臂机器人执行积木玩具装配任务的全过程数据。构建过程中，仿真平台精确模拟了积木的几何形状、物理属性及接触动力学，并同步记录了机器人关节状态、末端执行器位姿、视觉观测及力觉反馈等多模态信息，形成结构化的时间序列样本。

特点

该数据集聚焦于双臂协同装配场景，任务对象为具有特定连接结构的积木玩具，涵盖了抓取、对齐、插入与紧固等典型操作阶段。数据模态丰富，包含高频率的机器人本体感知、多视角视觉图像以及接触力信号，能够支持策略学习、状态估计与技能迁移等研究。所有样本均在统一初始条件下多次采集，保证了数据的一致性与可重复性，为算法对比提供了标准化基准。

使用方法

研究者可将该数据集用于训练和评估机器人装配策略，典型流程包括加载多模态时序数据、划分训练与测试集，并利用模仿学习或强化学习框架构建控制模型。数据中的视觉与力觉信息可用于训练感知模块，关节轨迹则作为策略网络的监督信号。使用者还可依据任务阶段标签进行分层建模，或通过域随机化设置迁移至真实机器人平台，从而推动装配自动化技术的可复现研究。

背景与挑战

背景概述

在具身智能与机器人操作研究迅猛发展的背景下，taccap-g1-assemble-toy-blocks-0808数据集应运而生，其创建可追溯至2024年8月，由聚焦于机器人学习与多模态感知的研究团队构建。该数据集旨在攻克玩具积木装配这一典型精细操作任务，核心研究问题在于如何借助触觉与视觉融合信息，提升机械臂在非结构化环境中的装配精度与泛化能力。通过提供多模态抓取与操作轨迹数据，该数据集为触觉感知、模仿学习及任务规划等方向提供了关键基准，对推动机器人灵巧操作领域的发展具有显著影响力。

当前挑战

该数据集所应对的领域问题，即机器人自主完成积木装配，本身蕴含多重挑战：装配过程需要亚厘米级的位置控制与力觉反馈，而玩具积木的微小尺寸和多样形状进一步加剧了感知歧义与抓取不稳定性。构建过程中同样面临诸多困难，包括多模态传感器（如触觉阵列与RGB-D相机）的时间同步与空间标定、示范数据采集时的人为误差控制，以及确保任务成功率的场景一致性。这些挑战共同构成了数据集在真实机器人平台上推广与复现的核心障碍。

常用场景

经典使用场景

在机器人学习与具身智能领域，taccap-g1-assemble-toy-blocks-0808数据集为示教学习与模仿学习提供了高保真的操作轨迹样本。其经典使用场景集中于双臂协作的积木组装任务：研究者利用该数据集训练策略网络，使机器人能够在仿真或真实环境中复现抓取、对齐、插入等精细动作序列。数据集内蕴含的时序状态与动作对应关系，支撑了行为克隆、逆强化学习等算法的验证，成为评估操作技能泛化能力的基准之一。

解决学术问题

该数据集针对机器人操作研究中长期存在的样本稀缺与任务复杂度失衡问题，提供了结构化且多模态的积木组装示范数据。它缓解了学术社区在接触密集型任务中缺乏标准化基准的困境，使研究者能够在统一条件下比较不同模仿学习与规划算法的性能。其意义在于推动了可重复研究，并为技能迁移、长程任务分解等核心问题提供了实证基础，加速了从仿真到现实的策略部署。

衍生相关工作

基于该数据集，学术界衍生出一系列经典工作：包括面向多步操作的分层模仿学习框架、融合视觉与力觉的跨模态策略网络，以及针对积木组装任务的仿真到现实迁移方法。这些工作进一步拓展了数据集在元学习、离线强化学习等方向的应用，并催生了多个公开挑战赛与基准测试，持续影响着机器人操作学习的研究范式。