eval_smolVLA_dual_so101

该数据集是基于LeRobot项目创建的，包含了双臂机器人的动作数据。数据集共有2个剧集，331帧，1个任务，6个视频和1个块，块大小为1000。数据集的帧率为30fps，仅包含训练分割。每个剧集包含的动作和观察状态特征包括双臂的肩膀、肘部、手腕和抓取器的位置信息。此外，还包括了 overhead、右腕和左腕的图像信息。

This dataset is developed based on the LeRobot project, containing action data for dual-arm robots. It comprises 2 episodes, 331 frames, 1 task, 6 videos, and 1 chunk with a size of 1000. The dataset has a frame rate of 30 fps and only includes the training split. Each episode includes action and observation state features covering the positional information of the shoulders, elbows, wrists, and grippers of both arms. Additionally, it also contains image data from the overhead, right wrist, and left wrist viewpoints.

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: dual_so101_follower

数据集结构

• 总集数: 2
• 总帧数: 331
• 总任务数: 1
• 总视频数: 6
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:2)

数据文件

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

动作 (action)

• 数据类型: float32
• 形状: [12]
• 名称:
  • left_shoulder_pan.pos
  • left_shoulder_lift.pos
  • left_elbow_flex.pos
  • left_wrist_flex.pos
  • left_wrist_roll.pos
  • left_gripper.pos
  • right_shoulder_pan.pos
  • right_shoulder_lift.pos
  • right_elbow_flex.pos
  • right_wrist_flex.pos
  • right_wrist_roll.pos
  • right_gripper.pos

观测状态 (observation.state)

• 数据类型: float32
• 形状: [12]
• 名称: 同动作特征

观测图像 (observation.images)

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30 fps
  • 通道数: 3
  • 是否有音频: false
• 图像类型:
  • overhead
  • rightWrist
  • leftWrist

其他特征

• timestamp: float32, shape [1]
• frame_index: int64, shape [1]
• episode_index: int64, shape [1]
• index: int64, shape [1]
• task_index: int64, shape [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，eval_smolVLA_dual_so101数据集通过LeRobot平台精心构建，采用先进的机器人控制与数据采集技术。该数据集以Apache-2.0许可证发布，包含2个完整的情节和331帧数据，涵盖了双机械臂系统的动作和状态信息。数据以高效的Parquet格式存储，并通过30帧每秒的视频记录机械臂的视觉反馈，确保数据的完整性和时效性。

特点

eval_smolVLA_dual_so101数据集以其多维度的数据采集而著称，不仅记录了12维度的机械臂关节位置信息，还提供了高分辨率的视觉数据，包括顶视和左右腕部视角的视频。数据集的结构设计科学，每个数据点均包含时间戳、帧索引和情节索引，便于研究者进行时间序列分析和任务分割。视频数据采用AV1编码，确保了数据的高效存储和传输。

使用方法

该数据集适用于机器人控制算法的训练与验证，研究者可通过加载Parquet文件获取机械臂的动作和状态数据，结合视频数据进一步分析机械臂的运动轨迹和环境交互。数据集的分割信息明确，训练集包含全部2个情节，便于直接用于模型训练。视频数据可通过指定路径访问，支持对机械臂操作的直观分析和可视化展示。

背景与挑战

背景概述

eval_smolVLA_dual_so101数据集是基于LeRobot框架构建的机器人控制领域专用数据集，专注于双机械臂协同操作任务的研究。该数据集由HuggingFace社区成员开发，采用Apache-2.0开源协议，主要记录双机械臂SO101跟随者的多模态操作数据，包含关节位置、视觉观察和时间序列等关键特征。通过30fps的高频采样，数据集精确捕捉了机械臂的12维关节空间运动轨迹，并同步采集了顶部视角与双腕部视角的RGB视频流，为机器人模仿学习与行为克隆研究提供了多传感器融合的基准数据。

当前挑战

该数据集面临的挑战主要体现在两个方面：在领域问题层面，双机械臂协同控制需要解决高维连续动作空间的策略优化问题，且多视角视觉观测与关节状态的时间对齐精度直接影响模仿学习效果；在构建过程层面，大规模机械臂操作数据的采集需要克服硬件同步、传感器标定和数据存储等工程难题，而当前数据集仅包含2个训练片段，样本多样性不足可能限制模型的泛化能力。此外，缺乏公开的论文说明和基准测试结果，也增加了数据集使用者的评估难度。

常用场景

经典使用场景

在机器人控制与行为学习领域，eval_smolVLA_dual_so101数据集为研究人员提供了丰富的双臂机器人操作数据。该数据集通过记录dual_so101_follower型机器人的关节位置、视觉观察和时间戳信息，成为训练和验证模仿学习、强化学习算法的理想选择。其多视角视频数据与精确的动作捕捉，使得研究者能够深入分析机器人在复杂环境下的行为模式。

衍生相关工作

该数据集已催生多项机器人学习领域的创新研究，包括基于多模态观察的动作预测模型、跨任务策略迁移框架等。部分工作利用其丰富的视频流数据，开发了视觉-动作联合嵌入表示方法。在模仿学习方向，数据集的双臂运动记录启发了新型双边动作映射算法的诞生。

数据集最近研究

最新研究方向

在机器人控制与多模态感知领域，eval_smolVLA_dual_so101数据集因其独特的双机械臂操作数据而备受关注。该数据集通过LeRobot平台采集，涵盖了高精度的关节位置信息、多视角视觉数据以及时序动作记录，为研究双臂协同控制、视觉伺服系统以及强化学习算法提供了丰富的实验素材。近年来，随着人机协作和工业自动化需求的增长，双臂机器人的灵活性和精确性成为研究热点。该数据集的应用前景广阔，尤其在复杂装配、精密操作等场景中展现出巨大潜力。其开源特性进一步促进了学术界和工业界的合作，推动了机器人智能控制技术的快速发展。