HandOver_Assistance_LT_train

这是一个使用LeRobot创建的数据集，包含了一个Unitree_G1_Inspire机器人的运动数据。数据集共有80个剧集，112015帧，每个剧集包含1000个数据块。数据集分为训练集，比例为0到80。数据集中的特征包括机器人的关节角度、动作、触觉信息以及高分辨率摄像头图像等。

This is a dataset constructed using LeRobot, which holds motion data for the Unitree_G1_Inspire robot. The dataset consists of 80 episodes, totaling 112015 frames, with each episode containing 1000 data blocks. The dataset is partitioned into the training set, with an index range of 0 to 80. The features within the dataset encompass the robot's joint angles, motions, tactile information, high-resolution camera images, and other relevant modalities.

原始信息汇总

数据集概述

基本信息

• 名称: HandOver_Assistance_LT_train
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总视频数: 80
• 总帧数: 112015
• 总片段数: 1
• 片段大小: 1000
• 帧率: 30 FPS
• 分割: 训练集（0:80）
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

观测状态

• 数据类型: float32
• 形状: [26]
• 名称: kLeftShoulderPitch, kLeftShoulderRoll, kLeftShoulderYaw, kLeftElbow, kLeftWristRoll, kLeftWristPitch, kLeftWristYaw, kRightShoulderPitch, kRightShoulderRoll, kRightShoulderYaw, kRightElbow, kRightWristRoll, kRightWristPitch, kRightWristYaw, kLeftHandPinky, kLeftHandRing, kLeftHandMiddle, kLeftHandIndex, kLeftHandThumbBend, kLeftHandThumbRotation, kRightHandPinky, kRightHandRing, kRightHandMiddle, kRightHandIndex, kRightHandThumbBend, kRightHandThumbRotation

动作

• 数据类型: float32
• 形状: [26]
• 名称: 与观测状态相同

触觉观测

• 左侧触觉
  • 数据类型: float32
  • 形状: [1062]
• 右侧触觉
  • 数据类型: float32
  • 形状: [1062]

图像观测

• 摄像头图像
  • 数据类型: 视频
  • 形状: [3, 480, 848]
  • 视频信息:
    • 帧率: 30.0
    • 高度: 480
    • 宽度: 848
    • 通道数: 3
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 音频: false

元数据

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 片段索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: Unitree_G1_Inspire

搜集汇总

数据集介绍

构建方式

在机器人辅助交互领域，HandOver_Assistance_LT_train数据集依托LeRobot平台构建，采用Unitree_G1_Inspire机器人进行数据采集。该数据集包含80个完整交互片段，总计112,015帧数据，以30帧每秒的速率记录。数据以分块形式存储于Parquet格式文件中，每块容量为1000帧，确保了数据的高效存取与处理。

特点

该数据集具备多维感知特性，涵盖26维关节状态与动作向量，精确映射机器人左右肩、肘、腕及手指的运动参数。同时集成高分辨率视觉数据，提供480×848像素的三通道视频流，辅以左右手触觉传感器采集的1062维触觉信号。时间戳与帧索引信息完备，支持精细的时序分析与多模态融合研究。

使用方法

研究者可通过加载Parquet数据文件直接访问多模态观测与动作序列，利用状态向量训练模仿学习模型，结合视觉与触觉数据增强环境感知能力。该数据集适用于机器人行为克隆、强化学习及人机交互策略优化等任务，其标准化结构便于与主流机器人学习框架集成，推动辅助交互算法的实证研究。

背景与挑战

背景概述

机器人操作领域近年来在人机协作任务中展现出重要价值，HandOver_Assistance_LT_train数据集由LeRobot团队基于Unitree_G1_Inspire双足机器人平台构建，专注于物体递接辅助任务的长期学习。该数据集通过整合高维关节状态、触觉传感与视觉观测数据，为机器人动态环境下的精细操作提供了多模态训练基础，其80个完整交互序列共计112,015帧数据，显著推动了仿人机器人行为模仿与强化学习研究的进展。

当前挑战

该数据集核心挑战在于解决高自由度双臂协调控制与触觉-视觉多模态融合问题，需精确建模26维关节空间运动与2124维触觉信号的时空关联性。构建过程中面临传感器同步精度保障、长时间操作序列的稳定性维持，以及真实环境下动态物体交接的轨迹标注复杂度等工程难题，这些因素共同增加了数据质量控制的难度。

常用场景

经典使用场景

在机器人操作学习领域，HandOver_Assistance_LT_train数据集为双臂协作任务提供了丰富的训练资源。该数据集通过Unitree_G1_Inspire机器人采集的80个完整交互序列，记录了双手递接物品过程中的关节状态、触觉感知与视觉信息，为模仿学习与强化学习算法提供了多模态训练基础。研究者可利用其高精度时序数据，开发能够理解人类意图并完成精细操作的智能体。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究。基于其多模态特性，学者开发了融合触觉反馈的模仿学习框架Tactile-IL，以及视觉-触觉跨模态表征模型CrossModNet。LeRobot团队进一步利用该数据构建了分层强化学习系统，实现了动态环境下的自适应抓握策略。这些工作显著推动了双臂协调控制与触觉感知融合的技术发展。

数据集最近研究

最新研究方向

在机器人辅助交互领域，HandOver_Assistance_LT_train数据集正推动人机协作的前沿探索。该数据集通过Unitree_G1_Inspire双足机器人的高维关节状态、触觉感知与视觉数据，为动态物体传递任务提供多模态学习基础。当前研究聚焦于模仿学习与强化学习的融合，旨在提升机器人在非结构化环境中的适应性和安全性。触觉传感器数据的引入尤其关键，它使机器人能够精细感知接触力，从而实现更柔顺、更人性化的交互体验。随着家庭服务与医疗辅助机器人需求的增长，此类数据集在促进机器人理解人类意图、减少操作失误方面具有重要价值，为构建可信赖的人机协作系统奠定数据基石。