home_handkerchief_folding_20260307

该数据集由LeRobot项目创建，主要用于机器人技术领域的研究和应用。数据集包含50个任务片段，总计21106帧数据，存储为parquet和视频文件格式，总数据量为100MB，视频文件为200MB。数据采集自双肩跟随型机器人（bi_so_follower），帧率为30fps。数据集包含丰富的特征信息，包括12维的动作状态和观测状态（涉及左右肩、肘、腕和夹持器的位置信息），以及来自左后和左侧摄像头的视频观测（分辨率480x640，RGB三通道）。此外，数据集还包含时间戳、帧索引、片段索引等元数据。所有数据按1000帧为一个块进行组织，适用于机器人控制、行为模仿等任务。数据采用Apache-2.0许可证发布。

原始信息汇总

数据集概述

基本信息

• 数据集名称: home_handkerchief_folding_20260307
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 50
• 总帧数: 21106
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 fps
• 数据分割: 训练集 (0:50)

数据文件与路径

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作特征

• 名称: action
• 数据类型: float32
• 形状: [12]
• 内容: 左右机械臂各关节位置，包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置。

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [12]
• 内容: 与动作特征相同的左右机械臂各关节位置。

图像观测

• 左后摄像头图像 (observation.images.left_rear)
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • 高度: 480 像素
    • 宽度: 640 像素
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30 fps
    • 通道数: 3
    • 无音频
• 左侧摄像头图像 (observation.images.left_side)
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息: 与左后摄像头图像相同。

索引与元数据特征

• 时间戳 (timestamp): float32, 形状 [1]
• 帧索引 (frame_index): int64, 形状 [1]
• 情节索引 (episode_index): int64, 形状 [1]
• 索引 (index): int64, 形状 [1]
• 任务索引 (task_index): int64, 形状 [1]

技术信息

• 代码库版本: v3.0
• 机器人类型: bi_so_follower

相关链接

• 数据集主页: https://huggingface.co/datasets/chocolat-nya/home_handkerchief_folding_20260307
• 可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=chocolat-nya/home_handkerchief_folding_20260307

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量的数据集对于模型训练至关重要。home_handkerchief_folding_20260307数据集依托LeRobot平台构建，专注于手帕折叠这一精细操作任务。该数据集通过双手机器人系统采集了50个完整操作片段，总计包含21106帧数据，以30帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块约1000帧，确保了高效的数据管理与读取。同步采集的还有来自左后与左侧视角的视频流，分辨率为640x480，采用AV1编码，为视觉感知研究提供了丰富的多模态信息。

特点

该数据集的核心特征在于其详尽的多模态记录与精细的结构化标注。数据集中包含了机器人双臂各六个关节的位置信息，涵盖肩部、肘部、腕部及夹爪，构成了12维的动作与状态向量，精确刻画了机械臂的运动轨迹。观测部分则提供了双视角的RGB视频流，从不同角度捕捉操作场景，增强了环境感知的鲁棒性。数据集采用分块存储与索引机制，通过帧索引、片段索引等元数据实现了数据的快速定位与高效访问，为时序建模与离线强化学习提供了理想的数据基础。

使用方法

研究者可利用该数据集进行机器人模仿学习与策略学习等相关实验。数据以标准化的Parquet格式存储，可通过LeRobot库或兼容的数据加载工具便捷读取。数据集已预设训练集划分，涵盖全部50个操作片段，用户可直接加载用于模型训练。在具体应用中，可联合利用关节状态、动作指令及双视角图像数据，构建端到端的控制模型或进行行为克隆。数据集的时序连贯性与多模态对齐特性，尤其适合用于训练需要理解长序列操作任务的深度神经网络模型。

背景与挑战

背景概述

在机器人操作领域，家庭环境下的精细物体操控一直是极具挑战性的研究方向。home_handkerchief_folding_20260307数据集于2024年3月由LeRobot团队创建，旨在推动机器人执行复杂家务任务的能力发展。该数据集聚焦于手帕折叠这一具体任务，通过双手机器人系统采集了包含动作指令、关节状态及多视角视觉观测的高维时序数据。其核心研究问题在于如何让机器人从真实世界交互数据中学习灵巧的双手协调策略，以应对非结构化环境中的物体形变与姿态估计难题，为模仿学习与强化学习算法提供了宝贵的真实世界基准。

当前挑战

该数据集致力于解决家庭服务机器人领域中的精细操作问题，其核心挑战在于如何从高维异构观测数据中提取有效的动作策略，以应对柔软物体的形变、自遮挡及动态状态估计。构建过程中的挑战则体现在数据采集的复杂性与一致性上：双手机器人系统的精确同步控制、多视角视频数据的时空对齐、以及长时间操作任务中动作轨迹的平滑性与可重复性均构成了显著障碍。此外，确保数据集的规模与多样性以覆盖操作过程中的各种意外状态，亦是提升模型泛化能力的关键难点。

常用场景

经典使用场景

在机器人操作学习领域，家庭环境下的精细物体操控任务常被视为关键挑战。该数据集聚焦于手帕折叠这一典型家务活动，通过记录双手机器人执行折叠动作的完整轨迹，包括关节位置、图像观测与时间戳，为模仿学习与强化学习算法提供了丰富的训练数据。研究者可借此模拟真实世界中的非结构化场景，推动机器人从感知到动作的端到端策略生成。

实际应用

面向家庭服务机器人的实际部署，该数据集可直接应用于家务自动化系统的开发。例如，在老年照护或智能家居场景中，机器人通过学习手帕折叠这类精细操作，可扩展至衣物整理、物品摆放等日常任务。数据集中包含的实时视觉反馈与机械臂控制信息，为降低机器人操作门槛、提升人机协作安全性提供了可靠的技术验证基础。

衍生相关工作

基于此类机器人操作数据集，学术界已衍生出多项经典研究工作。例如，结合LeRobot框架的视觉运动策略网络能够从多视角视频中提取动作特征，实现端到端的折叠技能迁移。此外，该数据格式启发了后续大规模家务任务数据集的构建，推动了分层强化学习与元学习在机器人操作中的创新应用，加速了开源机器人生态的发展。