sock-sorter

该数据集由LeRobot创建，属于机器人技术类别。数据集结构包括41个episodes，33619帧，1个任务，数据文件大小为100MB，视频文件大小为500MB，帧率为30fps。数据集包含动作、观测状态、图像（前视和机器人视角）、时间戳、帧索引、episode索引、索引和任务索引等特征。机器人类型为so101_follower。

原始信息汇总

数据集概述

基本信息

• 数据集名称: sock-sorter
• 创建工具: 使用 LeRobot 创建。
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集规模与结构

• 总情节数: 41
• 总帧数: 33619
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 500 MB
• 帧率: 30 FPS
• 数据分割: 训练集包含所有情节（索引 0 至 41）。

数据格式与存储

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据特征

数据集包含以下特征：

动作

• 数据类型: float32
• 形状: [6]
• 描述: 包含6个关节的位置信息：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos。

观测状态

• 数据类型: float32
• 形状: [6]
• 描述: 包含6个关节的位置信息，与动作特征相同。

观测图像（前视）

• 数据类型: 视频
• 形状: [480, 640, 3] (高度，宽度，通道)
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

观测图像（机器人视角）

• 数据类型: 视频
• 形状: [480, 640, 3] (高度，宽度，通道)
• 视频信息: 与前视图像信息完全相同。

元数据

• 时间戳: 数据类型为 float32，形状为 [1]。
• 帧索引: 数据类型为 int64，形状为 [1]。
• 情节索引: 数据类型为 int64，形状为 [1]。
• 索引: 数据类型为 int64，形状为 [1]。
• 任务索引: 数据类型为 int64，形状为 [1]。

补充说明

• 主页: 信息缺失。
• 论文: 信息缺失。
• 引用: BibTeX 引用信息缺失。

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建方式直接影响算法的泛化能力。sock-sorter数据集依托LeRobot平台，通过so101_follower型机器人执行单一任务，采集了41个完整操作序列，共计33619帧数据。数据以分块形式存储，每块包含1000帧，采用Parquet格式高效组织，同时配套视频文件以AV1编码保存，帧率为30fps，确保了时序信息与视觉观测的同步记录。

特点

该数据集的特点体现在多模态信息的深度融合，不仅包含六自由度机械臂的关节位置作为动作与状态观测，还整合了前视与机器人视角的双路RGB视频流，分辨率均为640x480。数据结构设计严谨，通过时间戳、帧索引与回合索引实现精确对齐，支持端到端的模仿学习与强化学习研究。其紧凑的存储格式与清晰的层次划分，为大规模机器人操作数据的处理提供了范例。

使用方法

使用sock-sorter数据集时，研究者可通过LeRobot工具链直接加载数据，利用预定义的特征结构访问关节状态、视觉观测及元数据。数据集已划分为训练集，涵盖全部41个回合，适用于行为克隆、视觉运动策略学习等任务。视频数据可通过指定路径解码，与同步的关节动作配对，构建状态-动作对序列，为机器人抓取与操作算法的开发与验证提供坚实基础。

背景与挑战

背景概述

在机器人学领域，模仿学习作为实现机器人智能操作的关键范式，长期依赖于高质量、多模态的真实世界交互数据。sock-sorter数据集由LeRobot团队创建，旨在为机器人灵巧操作任务提供基准数据。该数据集聚焦于袜子分类这一具体家务场景，通过记录机械臂的关节状态、夹爪动作以及多视角视觉信息，构建了包含41个完整交互序列的示范数据。其核心研究问题在于如何利用多模态观测数据训练机器人执行精细的物品分拣任务，从而推动家庭服务机器人在非结构化环境中的实际应用能力。

当前挑战

该数据集致力于解决机器人模仿学习中灵巧操作任务的泛化性挑战，具体包括从高维视觉与状态观测中提取有效策略、应对真实环境中物品姿态与光照的多样性，以及实现动作序列的长期规划。在构建过程中，挑战主要源于数据采集的复杂性：需同步记录多路高清视频与精确的关节状态数据，确保时序对齐；同时，示范动作需覆盖任务执行的多种可能路径，以增强数据的多样性与完整性，这要求精心的实验设计与大量的手动操作。

常用场景

经典使用场景

在机器人操作领域，sock-sorter数据集为机械臂执行精细物体分类任务提供了宝贵的实验资源。该数据集通过记录SO101型机器人进行袜子分拣操作的全过程，包含多视角视频流与关节状态数据，使得研究人员能够深入分析机器人抓取、定位及分类动作的时序特征。经典使用场景聚焦于机器人模仿学习与行为克隆，通过观察人类演示或自主探索生成的轨迹，训练模型复现复杂分拣行为，从而推动机器人自主操作能力的提升。

实际应用

在实际工业与家庭服务场景中，sock-sorter数据集可直接应用于自动化分拣系统的开发与优化。基于该数据集训练的模型能够指导机器人完成衣物整理、物流分拣等任务，提升生产线效率与家庭服务机器人的实用性。数据集的多视角视觉与精确关节数据为系统鲁棒性测试提供了依据，助力机器人适应复杂非结构化环境，推动智能机器人从实验室走向实际应用。

衍生相关工作

围绕sock-sorter数据集，衍生出一系列机器人学习领域的经典研究工作。这些工作主要集中于视觉运动策略学习、多任务模仿学习框架构建以及跨模态表示学习等方面。研究人员利用该数据集验证了多种先进算法在真实机器人任务上的有效性，促进了LeRobot等开源平台的生态发展，并为后续大规模机器人数据集的构建提供了技术借鉴与标准参考。