SortToy_20260527_143413

该数据集使用LeRobot工具创建，是一个机器人学领域的演示数据集，适用于机器人控制或模仿学习任务。数据集包含81个episodes，总计48484帧数据，采样频率为30fps。数据以Parquet格式存储，总数据文件大小约为100MB，视频文件大小约为200MB。数据集记录了so_follower类型机器人的交互数据，主要特征包括：1) 动作：包含6个关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置指令。2) 观测状态：与动作对应的6个关节当前位置。3) 图像观测：包含两个视角（front和top）的RGB视频，分辨率为480x640。4) 元数据：时间戳、帧索引、episode索引、任务索引等。所有数据均用于训练分割。从数据集名称推断，可能涉及玩具排序任务。

原始信息汇总

数据集概述

• 数据集名称: SortToy_20260527_143413
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集结构

• 代码库版本: v3.0
• 帧率 (FPS): 30
• 机器人类型: so_follower
• 总片段数 (Total Episodes): 81
• 总帧数 (Total Frames): 48484
• 总任务数 (Total Tasks): 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据特征

• 动作 (action)

  • 数据类型: float32
  • 形状: (6,)
  • 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 观测状态 (observation.state)

  • 数据类型: float32
  • 形状: (6,)
  • 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 观测图像 - 前置摄像头 (observation.images.front)

  • 数据类型: video (视频)
  • 形状: (480, 640, 3) (高, 宽, 通道)
  • 视频编码: av1
  • 像素格式: yuv420p
  • 帧率: 30
  • 是否为深度图: 否
  • 是否有音频: 否

• 观测图像 - 顶部摄像头 (observation.images.top)

  • 数据类型: video (视频)
  • 形状: (480, 640, 3) (高, 宽, 通道)
  • 视频编码: av1
  • 像素格式: yuv420p
  • 帧率: 30
  • 是否为深度图: 否
  • 是否有音频: 否

• 时间戳 (timestamp): float32 类型，形状 (1,)

• 帧索引 (frame_index): int64 类型，形状 (1,)

• 片段索引 (episode_index): int64 类型，形状 (1,)

• 索引 (index): int64 类型，形状 (1,)

• 任务索引 (task_index): int64 类型，形状 (1,)

数据划分

• 训练集 (train): 片段索引 0 至 80（共 81 个片段）

数据路径

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• 主页: 暂无信息
• 论文: 暂无信息
• BibTeX: 暂无信息

搜集汇总

数据集介绍

构建方式

SortToy_20260527_143413 数据集基于 LeRobot 框架构建，旨在为机器人操作任务提供高质量的示教数据。数据集以 Parquet 格式存储结构化数据，包含 81 个 episodes，总计 48484 帧，覆盖单一任务类型。数据采集过程中，通过前视和顶视两个视角的摄像头以 30 FPS 的帧率录制视频，同时记录机器人关节状态及动作指令。所有数据以 chunk 形式组织，便于分布式处理和加载，并遵循统一的元数据结构，确保数据的一致性和可复现性。

特点

该数据集的核心特点在于其多模态数据融合与结构化设计。动作和状态数据以 6 维浮点向量形式呈现，涵盖 shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll 及 gripper 的关节位置信息。视觉观测包含两个 480×640 像素的 RGB 视频流，采用 AV1 编码压缩以平衡质量与存储效率。此外，数据集提供时间戳、帧索引和 episode 索引等辅助字段，便于时序分析和序列建模。数据总量为 300 MB，其中视频文件占 200 MB，适合中小规模机器人学习实验。

使用方法

使用该数据集时，可通过 LeRobot 库的 Dataset 类直接加载 Parquet 文件和关联视频。用户需指定数据集路径和 config 名称（如 default），即可访问 action、observation.state 及 observation.images 等键对应的数据。数据已预设训练集划分（0-80 个 episodes），可直接用于模仿学习或强化学习的模型训练。此外，Hugging Face 提供的可视化工具允许在线预览数据，辅助理解机器人操作轨迹与视觉场景的对应关系。推荐将数据与 LeRobot 的 DataLoader 结合，以支持 batch 采样和视频解码加速。

背景与挑战

背景概述

SortToy_20260527_143413数据集由研究者在LeRobot框架下创建，旨在为机器人操作任务提供标准化训练数据。该数据集专注于物体分拣场景，通过记录So_Follower机器人执行任务时的关节状态与多视角视觉信息（前视及俯视摄像头），为模仿学习与强化学习研究奠定基础。数据包含81个回合、48484帧高频率（30 FPS）的演示，涵盖了6自由度动作空间与完整状态观测，为机器人精准操作研究提供了结构化资源。作为开源数据集（Apache-2.0许可），它推动了机器人领域数据共享与可复现性发展，尤其在复杂分拣任务的离线策略学习方面具有显著影响力。

当前挑战

该数据集所解决的领域问题聚焦于机器人分拣操作的端到端学习，其核心挑战在于从高维视觉-运动数据中提取鲁棒的控制策略，以应对目标物体形态与位置的多样性。构建过程中，精准同步多个摄像头（480×640分辨率）与机器人关节状态（6自由度）的时间戳对齐成为技术难点，确保演示数据的一致性。此外，仅81个回合的有限样本规模要求模型具备高效泛化能力，避免过拟合；而视频数据（200 MB）与元数据（100 MB）的压缩编码（AV1格式）进一步提升了存储与读取效率的优化需求。

常用场景

经典使用场景

在机器人学习与模仿学习的璀璨星空中，SortToy_20260527_143413数据集如同一颗指引方向的启明星，专为基于视觉的机器人操控任务而设计。其最经典的使用场景在于训练机器人执行精细的物体分拣操作，通过记录机械臂六自由度关节动作与双视角视觉信号（前置与顶置摄像头），为构建端到端的策略网络提供了高质量的多模态训练数据。研究者可借助此数据驱动模型学习从视觉观测到连续动作的映射函数，尤其适用于需要在非结构化环境中完成类人灵巧操作的场景，为机器人自主决策系统的进化铺就了坚实的数据基石。

衍生相关工作

围绕SortToy_20260527_143413的数据构型，学术界已涌现出一系列富有启发性的衍生工作。研究者基于其多视角视觉特征，开发了融合注意力机制的跨相机特征对齐网络，显著提升了策略在遮挡环境下的鲁棒性。另有工作利用该数据集中的时序帧信息，构建了基于扩散模型的动作生成范式，实现了条件化操控轨迹的平滑预测。在模型压缩领域，该数据集亦被用于验证知识蒸馏技术在机器人策略网络中的有效性，衍生出的轻量化模型使得在边缘计算设备上实时运行复杂操控策略成为可能，从而拓宽了数据驱动机器人从实验室走向现实世界的通途。

数据集最近研究

最新研究方向

在机器人学习领域，SortToy_20260527_143413数据集通过LeRobot框架构建，聚焦于模仿学习中的精细化操作任务。该数据集收录了81个完整操作回合与近5万帧视觉-动作序列，采用双视角摄像（前景与俯视）和6维关节状态记录，为机械臂在物体分拣场景中的泛化能力研究提供了标准化基准。随着具身智能与大规模模仿学习范式的兴起，此类高保真、多模态数据集成为推动机器人从固定程序向数据驱动决策转型的关键枢纽。SortToy数据集的发布不仅填补了面向零样本任务迁移的高质量训练资源缺口，还通过Apache-2.0开源协议促进了学术与工业界的协同创新，成为连接物理世界与数字孪生模型的桥梁。