so100_test_clothfold_1

该数据集是通过LeRobot创建的，包含机器人操作相关的数据。数据集结构包括10个总片段，7699帧，30个视频，1个任务。数据特征包括动作（12个浮点型数据，表示左右机械臂的各个关节角度和夹爪状态）、观察状态（同样12个浮点型数据）、三个摄像头（cam_high、cam_wrist_right、cam_wrist_left）的视频数据（分辨率480x640，3通道，30fps），以及时间戳、帧索引、片段索引等。

原始信息汇总

数据集概述

基本信息

• 名称: so100_test_clothfold_1
• 许可证: Apache-2.0
• 任务类别: 机器人学（robotics）
• 相关标签: LeRobot

数据集描述

• 创建工具: 使用LeRobot创建
• 主页: 无
• 论文: 无

数据集结构

• 数据文件格式: Parquet
• 配置文件路径: data/*/*.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.0
• 机器人类型: so100
• 总集数: 10
• 总帧数: 7699
• 总任务数: 1
• 总视频数: 30
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:10

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作（action）:
  • 数据类型: float32
  • 形状: [12]
  • 名称: 左右肩、肘、腕和夹持器的各个关节
• 观测状态（observation.state）:
  • 数据类型: float32
  • 形状: [12]
  • 名称: 同动作特征
• 观测图像（observation.images.cam_high, cam_wrist_right, cam_wrist_left）:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • 帧率: 30.0
    • 分辨率: 480x640
    • 通道: 3
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 音频: false
• 其他特征:
  • 时间戳（timestamp）: float32, [1]
  • 帧索引（frame_index）: int64, [1]
  • 集索引（episode_index）: int64, [1]
  • 索引（index）: int64, [1]
  • 任务索引（task_index）: int64, [1]

引用

• BibTeX: 无

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于算法训练与验证至关重要。so100_test_clothfold_1数据集依托LeRobot平台构建，通过记录双手机器人执行布料折叠任务的过程生成。该数据集包含10个完整的情节，总计7699帧数据，以30帧每秒的速率采集，并以Parquet格式分块存储，确保了数据的高效访问与完整性。构建过程中，系统同步捕获了机器人的关节状态、动作指令以及多视角视觉信息，为后续分析提供了多维度的时序记录。

特点

该数据集在机器人学习领域展现出鲜明的技术特色。其核心在于提供了丰富的多模态观测数据，包括来自高位摄像头、左右腕部摄像头的三路视频流，每路分辨率均为640x480，编码为AV1格式，视觉信息详实。同时，数据集精确记录了左右机械臂各6个自由度的关节角度与夹爪状态，动作与状态维度一致，便于模型进行对应学习。所有数据均带有精确的时间戳与帧索引，支持严格的时间对齐分析，且整体结构清晰，完全兼容LeRobot生态的数据处理流程。

使用方法

为有效利用该数据集进行机器人技能学习研究，使用者可遵循结构化流程。数据以分块Parquet文件组织，可通过指定路径模板加载特定情节的数据块。研究通常从读取元数据文件入手，了解整体结构与特征定义。随后，可提取观测图像序列、关节状态以及对应的动作向量，用于训练模仿学习或强化学习模型。数据已预设为训练集，可直接用于算法训练与验证。结合LeRobot提供的工具链，研究者能够便捷地进行数据可视化、预处理及模型集成，加速机器人折叠技能的开发与评估。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需高质量、结构化的真实世界交互数据集作为支撑。so100_test_clothfold_1数据集应运而生，它由HuggingFace的LeRobot项目创建，专注于双手机器人执行布料折叠这一具体任务。该数据集收录了10个完整交互片段，包含多视角视觉观测与精确的关节动作数据，旨在为机器人操作策略的泛化性与鲁棒性研究提供基准。其结构化设计体现了当前将大规模真实交互数据转化为可训练模型范式的趋势，对推动家庭服务机器人的实际应用具有潜在影响力。

当前挑战

该数据集致力于解决机器人灵巧操作中布料折叠这一经典难题，其挑战在于布料的高度形变、非刚性特性以及折叠动作的序列依赖性，要求模型具备对复杂物理状态的理解与长时程规划能力。在构建过程中，挑战同样显著：需确保多路高清视频流与高精度关节动作数据的严格时空同步；在真实物理环境中采集数据需克服硬件噪声、视角遮挡以及任务执行的一致性问题；同时，将原始传感器数据高效编码为紧凑、规范的格式以供机器学习模型使用，亦是一项重要的工程技术挑战。

常用场景

经典使用场景

在机器人操作学习领域，so100_test_clothfold_1数据集以其双灵巧臂操作和布料折叠任务的特性，为模仿学习与强化学习算法提供了宝贵的实验平台。该数据集通过记录机器人执行折叠动作时的多视角视觉观测与关节状态数据，使得研究者能够深入探索从高维感知到精确动作映射的复杂过程。其结构化的动作序列与同步视频流，为端到端策略学习模型的训练与验证奠定了坚实基础，尤其在处理柔性物体操作这类具有挑战性的任务上展现出独特价值。

衍生相关工作

围绕该数据集表征的布料操作范式，学术界已衍生出诸多经典研究工作。例如，基于视觉-动作对的大规模预训练方法利用此类数据学习通用的操作先验知识；分层强化学习框架则借助其时序结构分解长期折叠任务。同时，数据驱动的仿真到真实迁移研究常以此数据集为基准，验证模型在物理一致性上的表现。这些工作共同深化了对灵巧操作中感知-动作耦合机制的理解。

数据集最近研究

最新研究方向

在机器人操作学习领域，so100_test_clothfold_1数据集以其双手机器人折叠布料的任务场景，为模仿学习与视觉运动策略研究提供了宝贵资源。该数据集整合了多视角视觉观测与高维关节动作数据，契合当前基于Transformer架构的端到端策略模型训练趋势，旨在提升机器人对柔性物体操作的泛化能力。随着家庭服务机器人需求增长，此类精细操作数据集正推动着从仿真到真实世界的迁移学习研究，并促进开源机器人社区如LeRobot在数据驱动方法上的协作创新，对实现通用家务机器人具有重要奠基意义。