so101_test

这是一个包含机器人（类型为so101）行为的机器人数据集，共有2个剧集，1729帧，1个任务，4个视频，1个片段，每个片段包含1000个数据点。数据集的帧率为30fps，并且提供了训练集的分割信息。数据集中的特征包括动作、状态、笔记本电脑和手机的图像信息等。

This is a robotic dataset that records the behaviors of robots of type so101. It includes 2 episodes, 1729 frames, 1 task, 4 videos and 1 segment, with each segment containing 1000 data points. The frame rate of the dataset is 30fps, and the split information of the training set is provided. The features contained in the dataset include actions, states, image information of laptops and mobile phones, etc.

原始信息汇总

数据集概述

基本信息

• 名称: shenjianliang/so101_test
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, so101, tutorial

数据集描述

• 创建工具: LeRobot
• 主页: [无信息]
• 论文: [无信息]

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 2
• 总帧数: 1729
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 数据分割:
  • 训练集: 0:2

数据路径

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images.laptop/phone):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否包含音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [无信息]

搜集汇总

数据集介绍

构建方式

so101_test数据集基于LeRobot框架构建，专注于机器人技术领域的数据采集与分析。该数据集通过记录so101型机器人的动作状态和观测数据，采用高效的数据分块存储策略，将1729帧数据划分为2个完整的情景片段。数据以Parquet格式存储，包含机器人关节角度、末端执行器状态等结构化信息，同时整合了多视角的视觉观测数据，帧率稳定在30fps以保证时序连贯性。

特点

该数据集最显著的特征在于其多维度的数据融合能力，不仅包含6自由度的机械臂关节控制指令，还同步采集了笔记本电脑和手机双视角的RGB视频流。所有动作和状态数据均以float32精度保存，视频数据采用AV1编码压缩，分辨率统一为640×480像素。数据集通过严格的索引系统实现快速检索，每个数据点均附带精确的时间戳和情景标识，为机器人行为分析提供完整的时空上下文。

使用方法

研究人员可通过解析Parquet文件直接获取结构化机器人数据，视频文件则按情景分目录存储便于调用。数据集已预设训练集划分，支持基于帧索引或情景索引的数据切片操作。典型应用场景包括机器人动作模仿学习、多模态感知融合算法开发等，建议配合LeRobot框架进行数据可视化和预处理，充分发挥其时空对齐的数据优势。

背景与挑战

背景概述

so101_test数据集是由LeRobot项目团队创建的一个机器人学领域数据集，旨在为机器人控制与行为学习提供高质量的多模态数据支持。该数据集采用了Apache-2.0开源许可协议，包含了机械臂控制相关的动作指令、状态观测以及多视角的视频数据。数据集的结构设计体现了对机器人任务执行过程的细致记录，包括6自由度机械臂的关节状态、夹持器状态以及来自笔记本电脑和手机摄像头的视觉观测。这些数据为研究机器人动作规划、视觉伺服控制等关键问题提供了丰富的实验素材。

当前挑战

该数据集面临的挑战主要体现在两个方面：在领域问题层面，如何从有限的训练样本（仅包含2个完整任务片段）中学习到泛化性强的机器人控制策略是一个关键难题，特别是在处理高维视觉观测与低维动作空间的复杂映射关系时。在构建过程层面，数据集需要解决多模态数据同步采集的技术挑战，包括机械臂状态数据与多路视频数据的时间对齐问题，以及高帧率（30fps）视频数据的存储与处理效率问题。此外，数据集中不同传感器数据的质量一致性保障也是一个需要克服的难点。

常用场景

经典使用场景

在机器人控制领域，so101_test数据集为研究人员提供了一个标准化的测试平台，用于验证和优化机械臂的运动控制算法。该数据集记录了机械臂在多种任务中的动作和状态数据，包括关节角度、末端执行器位置以及多视角的视觉信息。这些丰富的数据使得研究人员能够深入分析机械臂的运动特性，并开发出更加精确的控制策略。

实际应用

在实际应用中，so101_test数据集被广泛用于工业自动化和服务机器人领域。例如，在自动化生产线中，该数据集可以用于训练机械臂完成精确的装配任务；在服务机器人中，数据集中的视觉信息可以帮助机器人更好地理解环境并执行复杂的操作任务。这些应用显著提升了机器人的工作效率和适应性，为智能制造和服务自动化提供了有力支持。

衍生相关工作

基于so101_test数据集，研究人员开发了多项经典工作。例如，一些研究利用该数据集中的动作和状态数据，提出了新的运动规划算法，显著提升了机械臂的运动精度和效率；另一些研究则结合数据集中的视觉信息，开发了基于深度学习的视觉伺服控制系统，实现了机械臂在复杂环境中的高精度操作。这些工作进一步推动了机器人控制技术的发展。