遇见数据集

so101_dice_box_v2_20261030_214125

收藏
Hugging Face2026-10-31 更新2026-11-01 收录
官方服务:

资源简介:

该数据集是由 LeRobot 创建的机器人数据集,许可证为 Apache-2.0,任务类别标注为 robotics,并带有 LeRobot 标签。数据以 HuggingFace 数据集配置 default 提供,数据文件组织为 data/*/*.parquet。根据 meta/info.json,数据集采用 codebase_version v3.0,帧率为 30 fps,机器人类型为 so_follower。数据规模包含 70 个 episode、29,457 帧和 1 个 task,训练集划分为 0:70。特征包括动作 action 和观测状态 observation.state,二者均为 6 维 float32 向量,维度名对应 shoulder_pan.pos、shoulder_lift.pos、elbow_flex.pos、wrist_flex.pos、wrist_roll.pos、gripper.pos;还包括两个视频观测 observation.images.front 和 observation.images.wrist,分辨率 480x640、3 通道,AV1 编码,yuv420p 像素格式,30 fps,无音频。此外包含 timestamp、frame_index、episode_index、index、task_index 等索引与时间字段。数据和视频分别按 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet 与 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 路径组织。README 未提供 homepage、paper 或引用信息,也未给出具体操作任务的文字说明;该数据集适用于机器人相关任务,并可通过 LeRobot 生态进行使用和可视化。

This dataset is a robotics dataset created by LeRobot, licensed under Apache-2.0, with the task category labeled as robotics and tagged with LeRobot. It is provided as a HuggingFace dataset configuration named default, with data files organized as data/*/*.parquet. According to meta/info.json, the dataset uses codebase_version v3.0, has a frame rate of 30 fps, and the robot type is so_follower. The dataset contains 70 episodes, 29,457 frames, and 1 task, with the training split as 0:70. Features include action and observation.state, both 6-dimensional float32 vectors, with dimension names corresponding to shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, and gripper.pos; it also includes two video observations, observation.images.front and observation.images.wrist, with resolution 480x640, 3 channels, AV1 encoding, yuv420p pixel format, 30 fps, and no audio. It further includes index and time fields such as timestamp, frame_index, episode_index, index, and task_index. Data and videos are organized under paths data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet and videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4, respectively. The README does not provide a homepage, paper, or citation information, nor does it give textual descriptions of specific manipulation tasks; the dataset is suitable for robotics-related tasks and can be used and visualized through the LeRobot ecosystem.

创建时间:
2026-10-31
原始信息汇总

数据集概述

  • 数据集名称:hrvojecukman/so101_dice_box_v2_20261030_214125
  • 数据集页面:https://huggingface.co/datasets/hrvojecukman/so101_dice_box_v2_20261030_214125
  • 许可证:apache-2.0
  • 任务类别:robotics
  • 标签:LeRobot
  • 创建工具:LeRobot,https://github.com/huggingface/lerobot
  • 可视化入口:https://huggingface.co/spaces/lerobot/visualize_dataset?path=hrvojecukman/so101_dice_box_v2_20261030_214125
  • 配置名称:default
  • 数据文件匹配模式:data/*/*.parquet

数据集描述

  • Homepage:More Information Needed
  • Paper:More Information Needed
  • License:apache-2.0
  • Citation BibTeX:More Information Needed

数据集结构

  • 元数据文件:https://huggingface.co/datasets/hrvojecukman/so101_dice_box_v2_20261030_214125/meta/info.json
  • codebase_version:v3.0
  • fps:30
  • total_episodes:100
  • total_frames:42567
  • total_tasks:1
  • chunks_size:1000
  • data_files_size_in_mb:100
  • video_files_size_in_mb:200
  • data_path:data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • video_path:videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
  • robot_type:so_follower
  • splits:train:0:100

特征定义

特征 dtype shape names / info
action float32 [6] shoulder_pan.pos、shoulder_lift.pos、elbow_flex.pos、wrist_flex.pos、wrist_roll.pos、gripper.pos
observation.state float32 [6] shoulder_pan.pos、shoulder_lift.pos、elbow_flex.pos、wrist_flex.pos、wrist_roll.pos、gripper.pos
observation.images.front video [480, 640, 3] names:height、width、channels;info:is_depth_map=false,video.height=480,video.width=640,video.codec=av1,video.pix_fmt=yuv420p,video.fps=30,video.channels=3,has_audio=false,video.g=2,video.crf=30,video.preset=12,video.fast_decode=0,video.video_backend=pyav,video.extra_options={}
observation.images.wrist video [480, 640, 3] names:height、width、channels;info:is_depth_map=false,video.height=480,video.width=640,video.codec=av1,video.pix_fmt=yuv420p,video.fps=30,video.channels=3,has_audio=false,video.g=2,video.crf=30,video.preset=12,video.fast_decode=0,video.video_backend=pyav,video.extra_options={}
timestamp float32 [1] names:null
frame_index int64 [1] names:null
episode_index int64 [1] names:null
index int64 [1] names:null
task_index int64 [1] names:null

引用

  • BibTeX:More Information Needed
搜集汇总
数据集介绍
so101_dice_box_v2_20261030_214125 数据集图片
构建方式
面向机器人操作技能获取与策略学习需求,该数据集依托LeRobot工具链完成构建,机器人平台标注为so_follower。其采集过程围绕单一任务展开,共形成100个回合、42567帧的时序样本,并以30帧/秒的频率同步记录动作、关节状态与前视、腕部两路视觉观测。动作与observation.state均采用六维关节位置表示,包括肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置。数据经元信息文件定义结构,按分块策略保存为Parquet数据文件和MP4视频文件,便于大规模机器人学习流程中的索引、读取与复现。
使用方法
服务于机器人策略训练、行为克隆与离线评估等用途,该数据集可通过LeRobot生态进行加载与解析。用户可依据meta/info.json中的特征定义读取action、observation.state、observation.images.front、observation.images.wrist以及timestamp、frame_index、episode_index、index和task_index等字段;数据文件以data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet路径组织,视频文件则位于videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4路径。训练划分覆盖全部100个回合,适合按回合或帧索引构建时序样本。借助Hugging Face Space中的可视化工具,可在下载前核查轨迹与视频内容。
背景与挑战
背景概述
在具身智能与机器人学习迅速演进之际,so101_dice_box_v2_20261030_214125 作为 LeRobot 生态中的机器人操作数据集,采用 Apache-2.0 许可,基于 SO-101 follower 机械臂采集。名称时间戳指向 2026 年 10 月 30 日,主要研究人员与机构在 README 中未予披露。数据集以 30 fps 同步记录前视与腕部视频,并保存六自由度关节位置及动作,含 100 条演示、42567 帧,核心研究问题在于为桌面骰子盒类操作提供视觉-动作示范,支撑模仿学习与策略训练。其标准化结构利于可复现实验,但单任务与有限规模制约领域影响力。
当前挑战
在机器人操作策略学习中,该数据集所涉领域问题集中于高维连续动作控制、接触丰富操作、双视角视觉表征与跨场景泛化,骰子盒任务要求应对物体位姿变化、遮挡、光照扰动及机械臂运动学约束。构建过程中,需保证前视与腕部视频、关节状态和动作指令在 30 fps 下严格同步,完成相机标定与 LeRobot v3.0 格式转换,并权衡 AV1 编码质量与存储开销。仅含 100 条 episode 和单一任务,场景与物体多样性不足,遥操作示范一致性亦难完全消除,这些因素共同限制策略迁移与鲁棒性评估。
常用场景
经典使用场景
在机器人模仿学习领域,示教数据构成连接视觉感知与关节控制的经验基底。so101_dice_box_v2_20261030_214125以LeRobot v3格式组织100条示教片段、42567帧,频率30Hz,涵盖前视与腕部双路RGB视频及六维关节位置和动作,机器人本体为so_follower。该数据集最经典的使用场景是训练端到端视觉运动策略,令模型从双视角图像与本体状态预测肩部、肘部、腕部及夹爪动作,完成骰子盒相关抓取与放置任务;同时可用于离线策略评估、动作分块和时序建模等研究。
解决学术问题
从学术研究视角看,真实机器人操作数据长期面临采集成本高、标注困难、跨本体迁移弱等瓶颈。该数据集以标准化LeRobot格式提供同步的多模态观测与动作序列,缓解了模仿学习对大规模真机轨迹的依赖,支持研究视觉-动作映射、多视角融合、长时程任务分割与策略泛化。其价值在于为复现实验提供统一基准,降低算法比较中的环境差异,推动低成本机械臂在真实桌面操作中的可复现研究,并为鲁棒性、样本效率和跨任务迁移提供检验场。
实际应用
落地至真实场景,该数据集面向SO系列低成本机械臂的桌面操作,可用于骰子、盒体等小物体的识别、抓取、移动与归置。实际应用中,经其训练的视觉运动策略能部署于教育科研、轻量装配、仓储分拣、实验室自动化及服务机器人桌面整理等任务,借助前视与腕部相机实现遮挡条件下的闭环控制。对于需要重复抓放、空间整理和柔性操作的场景,数据集提供的30Hz轨迹与关节动作可支持遥操作复现、策略微调和真机验证,缩短从数据到部署的工程路径。
数据集最近研究
最新研究方向
伴随具身智能与通用机器人操作模型持续升温,so101_dice_box_v2_20261030_214125所依托的SO-101 LeRobot平台正将低成本开源机械臂的模仿学习推向精细化操作前沿。该数据集以30帧每秒同步记录前视与腕部视觉、六维关节状态和动作指令,涵盖100个骰子盒操作回合,为视觉-语言-动作模型、扩散策略及动作分块Transformer提供真实桌面示范。当前研究聚焦小样本示范下的抓取、放置与遮挡泛化,并借LeRobot生态推进跨机构数据复用与可重复评测。其意义在于降低机器人学习门槛,支撑从仿真到真实世界的策略迁移,并为开放硬件与基础模型融合、世界模型预训练等热点提供数据基础。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务