sort_paper

该数据集使用LeRobot框架创建，包含84个机器人（so101_follower类型）的交互片段，共计28,544帧。数据包括机器人的动作（如关节位置）和观测（如状态数据和顶部/侧面的图像）。数据集以parquet文件格式存储，并包含视频数据。元数据详细描述了数据类型、形状和视频规格。

This dataset was created using the LeRobot framework, containing interaction segments from 84 robots of the so101_follower type, with a total of 28,544 frames. The data includes robot motions such as joint positions, and observations such as state data as well as top-view and side-view images. The dataset is stored in Parquet file format and contains video data. The metadata provides detailed descriptions of the data types, shapes, and video specifications.

原始信息汇总

数据集概述

基本信息

• 数据集名称: sort_paper
• 托管平台: Hugging Face
• 创建工具: 使用 LeRobot 创建。
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 84
• 总帧数: 28544
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 数据格式: Parquet 文件
• 视频格式: MP4 文件
• 数据存储路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频存储路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据划分: 训练集 (0:84)

数据特征

数据集包含以下特征：

动作

• 数据类型: float32
• 形状: [6]
• 描述: 代表机器人关节位置，具体包括：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 描述: 代表机器人关节位置观测，具体包括：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测图像（顶部视角）

• 数据类型: video
• 形状: [480, 640, 3] (高度，宽度，通道)
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

观测图像（侧面视角）

• 数据类型: video
• 形状: [480, 640, 3] (高度，宽度，通道)
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

元数据

• 时间戳: 数据类型 float32，形状 [1]。
• 帧索引: 数据类型 int64，形状 [1]。
• 情节索引: 数据类型 int64，形状 [1]。
• 索引: 数据类型 int64，形状 [1]。
• 任务索引: 数据类型 int64，形状 [1]。

其他信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 主页: [More Information Needed]
• 论文: [More Information Needed]
• 引用信息: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实世界的物理交互记录。sort_paper数据集通过LeRobot平台采集，涵盖了84个完整任务片段，总计28544帧数据，以30帧每秒的速率捕捉。数据以分块形式存储于Parquet文件中，每块约1000帧，便于高效存取与处理。机器人状态与动作信息以浮点数组形式保存，同时包含顶部与侧方视角的双路视频流，视频编码采用AV1格式，确保了视觉数据的清晰度与压缩效率。

特点

该数据集的核心特征在于其多模态数据的深度融合。机器人关节位置与夹爪状态构成六维动作与状态向量，为控制策略提供了精确的动力学表征。视觉层面，双视角480x640分辨率RGB视频同步记录，丰富了环境感知维度。数据结构层次分明，通过时间戳、帧索引与片段索引实现时序对齐，支持端到端的模仿学习与强化学习研究。数据集规模适中，兼顾了训练效率与任务多样性，适用于机械臂操作任务的算法验证与模型训练。

使用方法

研究人员可通过HuggingFace平台直接加载数据集，利用LeRobot提供的工具链进行数据处理。数据按训练集划分，涵盖全部84个任务片段，可直接用于行为克隆或离线强化学习任务。每个数据块包含动作、状态、图像及元数据字段，用户可依据帧索引提取连续轨迹或单步样本。视频数据以MP4格式独立存储，可与状态数据同步解析，构建多模态输入管道。该数据集适用于机器人操作领域的算法基准测试，亦可用于跨模态表示学习的模型预训练。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界交互数据对于推动模仿学习与强化学习算法的发展至关重要。sort_paper数据集由LeRobot项目创建，该项目致力于构建开源机器人数据集与工具链，以降低机器人研究的门槛。该数据集聚焦于机械臂操作任务，具体涉及so101_follower型机器人，通过记录其关节状态、多视角视觉观测及动作指令，为研究端到端机器人控制策略提供了宝贵资源。其构建体现了社区对可复现、标准化机器人数据集的迫切需求，旨在加速机器人智能在复杂环境中的泛化能力研究。

当前挑战

该数据集旨在解决机器人操作任务中的模仿学习与策略泛化问题，其核心挑战在于如何从有限的任务演示中学习能够适应环境变化的鲁棒策略。构建过程中面临多重困难：真实机器人数据采集成本高昂，需协调硬件同步与数据流管理；多模态数据（如关节状态与高帧率视频）的精确对齐与高效存储构成技术瓶颈；此外，确保数据覆盖任务的多样性与动作的连贯性，以支持有效的策略学习，亦是数据集构建的关键难题。

常用场景

经典使用场景

在机器人学习领域，sort_paper数据集为机器人操作任务提供了丰富的多模态交互数据。该数据集通过LeRobot平台收集，包含84个完整任务片段，涵盖机械臂关节状态、视觉观测及时间序列信息。其经典应用场景在于训练端到端的机器人控制策略，研究者可利用数据集中的动作指令与视觉反馈，构建从感知到执行的映射模型，以模拟真实环境中的物体排序或抓取任务。

解决学术问题

该数据集有效应对了机器人模仿学习与强化学习中的数据稀缺挑战。通过提供结构化、高维度的状态-动作对，它支持研究者探索样本效率提升、多模态表示对齐以及长时程任务规划等核心学术议题。其意义在于为机器人控制算法的基准测试与验证提供了标准化数据源，推动了数据驱动方法在复杂操作任务中的可复现性与泛化能力研究。

衍生相关工作

围绕sort_paper数据集，已衍生出多项经典研究工作，主要集中在机器人行为克隆、视觉伺服控制以及跨模态预训练领域。例如，研究者利用该数据集开发了基于Transformer的序列预测模型，以提升动作生成的连贯性；亦有工作结合深度强化学习框架，探索从视觉输入到关节力矩的直接映射策略，推动了机器人学习算法在真实世界任务中的落地应用。