so101_pick_white_box

该数据集由 LeRobot 框架创建，用于机器人模仿学习。数据集包含 27 个演示片段（episode），总计 24180 帧，所有片段均对应同一个任务：拾取白色盒子（pick white box）。机器人类型为 so_follower（一种跟随机器人）。数据以 Parquet 文件和 MP4 视频文件形式存储，总大小约 300 MB（数据文件 100 MB，视频文件 200 MB）。每个时间步包含：6 维关节位置动作（action）、6 维关节位置状态观测（observation.state）、以及来自前视摄像头的视频帧（640×480 像素，30fps，AV1 编码）。此外，还记录了时间戳、帧索引、episode 索引、全局索引和任务索引。数据集可用于训练机器人操控策略，如行为克隆或强化学习。This dataset is created by the LeRobot framework for robot imitation learning. It contains 27 demonstration episodes with a total of 24,180 frames, all corresponding to the same task: pick white box. The robot type is so_follower. The data is stored in Parquet and MP4 video files, with a total size of approximately 300 MB (100 MB for data files and 200 MB for video files). Each time step includes: 6-dimensional joint position actions, 6-dimensional joint position state observations, and front-view camera video frames (640×480 pixels, 30fps, AV1 encoding). Additionally, timestamps, frame indices, episode indices, global indices, and task indices are recorded. The dataset can be used for training robot manipulation policies such as behavior cloning or reinforcement learning.

原始信息汇总

数据集概述：so101_pick_white_box

基本信息

• 数据集名称: so101_pick_white_box
• 许可证: Apache-2.0
• 任务类别: 机器人技术 (Robotics)
• 标签: LeRobot
• 创建工具: 该数据集使用 LeRobot 创建

数据规模

• 总轨迹数 (Episodes): 27
• 总帧数 (Frames): 24,180
• 任务数量: 1
• 分割方式: 全部27个轨迹用于训练集（train: 0:27）
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率 (FPS): 30

机器人配置

• 机器人类型: so_follower
• 代码库版本: v3.0
• 块大小 (Chunk Size): 1000

数据特征

动作 (Action) 与观测状态 (Observation State)

两者均包含6维关节位置信息：

• shoulder_pan.pos（肩部旋转位置）
• shoulder_lift.pos（肩部升降位置）
• elbow_flex.pos（肘部弯曲位置）
• wrist_flex.pos（腕部弯曲位置）
• wrist_roll.pos（腕部旋转位置）
• gripper.pos（夹爪位置）

数据类型均为 float32。

观测图像 (Observation Images)

• 相机视角: observation.images.front（前置摄像头）
• 分辨率: 480×640×3（高×宽×通道）
• 视频编码: AV1
• 像素格式: yuv420p
• 是否为深度图: 否
• 帧率: 30 FPS

其他特征

特征	数据类型	形状
timestamp（时间戳）	float32	[1]
frame_index（帧索引）	int64	[1]
episode_index（轨迹索引）	int64	[1]
index（索引）	int64	[1]
task_index（任务索引）	int64	[1]

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

该数据集适用于机器人操作任务（拾取白色盒子），可用于训练和评估机器人控制策略。

搜集汇总

数据集介绍

构建方式

该数据集源自于机器人操作领域，名为so101_pick_white_box，其构建依托于LeRobot框架，采用实际机器人so_follower执行拾取白色盒子的任务。数据采集过程包含27个示范片段，总计24180帧，覆盖单一操作任务。每个片段以30Hz的频率记录，通过parquet格式保存状态与动作数据，包含6维关节位置信息（shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper），同时以AV1编码的视频流捕获前方摄像头的视觉观察，分辨率为480x640，辅以时间戳、帧索引等元数据，构成完整的模仿学习数据集。

特点

该数据集结构精巧，专为模仿学习与机器人控制研究设计。数据以分块形式存储（chunk-000等），便于高效加载与流式处理，总数据量约100MB的parquet文件与200MB的视频文件，平衡了信息密度与存储开销。其独到之处在于将动作与状态观测对齐，且包含高帧率（30fps）的视觉信息，支持多模态学习。27个片段虽规模有限，但针对单一任务提供了充足的示范，适合验证小样本学习算法，同时其Apach-2.0许可确保了广泛适用性。

使用方法

使用该数据集时，研究者可借助LeRobot库进行加载与预处理。数据集已按9:1划分为训练与验证集（实际验证集未提及，但train:0:27表明全量用于训练），可通过meta/info.json中的特征定义解析各字段。典型应用包括训练视觉运动策略，输入为前方图像和机器人状态，输出为6维动作指令。建议利用内置的可视化工具（如HuggingFace空间）快速预览数据，并参考LeRobot的示例代码实现数据加载、批量采样与模型训练，从而推动机器人操作技能的泛化研究。

背景与挑战

背景概述

随着机器人学习领域的蓬勃发展，模仿学习作为一种高效获取技能的手段，日益受到研究者的青睐。so101_pick_white_box数据集由研究者利用LeRobot框架精心构建，旨在为机械臂抓取任务提供标准化的训练与评估资源。该数据集聚焦于单一任务——拾取白色箱子，通过SO-101型机械臂（即so_follower）的27个示范轨迹，记录了24180帧高频率（30Hz）的状态-动作对以及同步的前视视觉信息。数据的创建精准地捕捉了机械臂在操作过程中的关节配置与夹爪指令，为研究多模态表征学习与策略泛化提供了实证基础。该数据集的发布填补了小型、任务特定型机器人操作数据集的空白，为领域内研究者提供了便捷的基线资源，推动了低成本、可复现的机器人学习实验的进展，尤其对基于视觉的操控策略研究具有重要的促进意义。

当前挑战

该数据集虽聚焦于精细的抓取任务，但其构建和应用面临多重挑战。领域内，机械臂抓取属于高精度操控范畴，要求策略同时兼顾空间定位的准确度与力控的柔和性，而单一视觉输入下的多模态感知融合易受光照、遮挡等干扰。构建过程中，数据采集需协调机械臂的轨迹规划与人类示范的直观性，27个episode的规模虽足以支撑初始学习，却可能对泛化至未见过场景构成限制，且状态空间仅含6维关节角度，未涵盖力反馈等关键触觉信息，增加了策略学习对视觉特征的依赖。此外，数据以100MB的parquet格式存储，视频占200MB，虽高效但压缩与解码可能引入同步误差，影响后续建模精度。这些挑战暗示着在扩展数据集规模、丰富传感模态以及优化数据流程方面仍有提升空间，以实现更稳健的机器人操控模型。

常用场景

经典使用场景

so101_pick_white_box数据集是机器人操作领域中的一个重要资源，特别适用于模仿学习和强化学习研究。该数据集包含了在一台SO-101型关节臂机器人平台上执行拾取白色盒子的27个演示片段，总计超过2.4万帧的高频（30Hz）观测数据，涵盖了多视角视觉输入（前视彩色图像）和本体感觉状态信息。这些丰富的传感器数据流为训练端到端的机器人操作策略提供了高质量的基准，常用于评估模型在精细抓取任务中的效能，是验证视觉-运动控制算法闭环性能的经典实验场景。

解决学术问题

该数据集解决了机器人学习领域中长期存在的样本效率低下与现实迁移难的问题。通过对特定抓取任务的结构化数据采集，它支持了从像素到动作的直接映射学习，促进了元学习、多任务学习以及域随机化等范式的探索。其标准化的数据格式和任务定义，为对比不同算法在空间定位、速度控制和操作鲁棒性上的优劣提供了统一平台，推动了基于视觉的机器人操作从仿真环境向真实世界应用的实质性进展，对于研究触觉反馈在抓取中的作用亦具潜在价值。

衍生相关工作

基于so101_pick_white_box数据集，衍生了一系列具有影响力的研究工作。例如，利用LeRobot框架对该数据集的标准化处理，促进了模仿学习算法如ACT（Action Chunking with Transformers）和扩散策略的广泛应用与改进。研究者亦以此为基础探索了数据增强技术以提升策略泛化能力，并构建了跨本体、跨任务的预训练模型。此外，该数据集也被用于验证多模态融合框架，进而推动了具身智能领域中关于视觉-语言-动作模型的研究热点。