eval_swlejepsters

这个数据集是一个机器人任务数据集，包含了1个剧集，共380帧，1个任务，2个视频，分为1个块，每个块大小为1000。数据集的特征包括动作、状态、正面图像、手腕图像、时间戳、帧索引、剧集索引、索引和任务索引。所有数据采用Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证：Apache-2.0
• 任务类别：机器人学
• 标签：LeRobot
• 代码库版本：v2.1
• 机器人类型：so101_follower

数据集规模

• 总任务数：1
• 总片段数：1
• 总帧数：380
• 总视频数：2
• 块大小：1000
• 帧率：30 fps
• 训练集划分：0:1

数据结构

数据文件路径

• 数据路径：data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径：videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征字段

动作特征

• 名称：action
• 数据类型：float32
• 形状：[6]
• 维度名称：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

• 状态观测：

  • 名称：observation.state
  • 数据类型：float32
  • 形状：[6]
  • 维度名称与动作特征相同

• 前视图像观测：

  • 名称：observation.images.front
  • 数据类型：video
  • 形状：[480, 640, 3]
  • 维度名称：height, width, channels
  • 视频信息：
    • 高度：480像素
    • 宽度：640像素
    • 编解码器：av1
    • 像素格式：yuv420p
    • 非深度图
    • 帧率：30 fps
    • 通道数：3
    • 无音频

• 腕部图像观测：

  • 名称：observation.images.wrist
  • 数据类型：video
  • 形状：[480, 640, 3]
  • 维度名称和视频信息与前视图像观测相同

索引特征

• 时间戳：float32，形状[1]
• 帧索引：int64，形状[1]
• 片段索引：int64，形状[1]
• 全局索引：int64，形状[1]
• 任务索引：int64，形状[1]

数据来源

• 使用LeRobot（https://github.com/huggingface/lerobot）创建

搜集汇总

数据集介绍

构建方式

在机器人学习领域，eval_swlejepsters数据集依托LeRobot框架构建，采用高精度数据采集技术记录机械臂操作任务。数据以分块存储形式组织，包含380帧操作序列，每帧以30fps速率采集，涵盖关节位置、图像观测及时间戳等多模态信息，并通过parquet格式高效压缩存储，确保数据完整性与读取效率。

特点

该数据集显著特点在于其多模态观测结构，同时集成六维关节动作状态、前视与腕部双视角视频流，以及精确的时间同步索引。视频数据采用AV1编码，分辨率达640x480，兼顾视觉细节与存储经济性；动作与状态字段均以浮点型数值刻画机械臂运动轨迹，为模仿学习与强化学习提供丰富信号源。

使用方法

研究者可通过解析parquet文件直接访问多模态数据流，其中动作与观测字段支持端到端策略训练。视频路径按chunk与episode索引组织，便于分布式加载；特征字典明确标注数据类型与维度，兼容主流深度学习框架。该数据集适用于机械臂控制、行为克隆及跨模态表征学习等任务，需注意遵循Apache-2.0许可规范使用。

背景与挑战

背景概述

eval_swlejepsters数据集作为机器人学习领域的重要资源，由LeRobot研究团队基于Apache 2.0开源协议构建，专注于多模态机器人控制任务的实证研究。该数据集采用so101_follower型机器人平台，通过前端与腕部双视角视觉传感器同步采集480×640分辨率视频流，并结合六自由度机械臂的关节位置状态数据，构建了包含380帧样本的时序控制序列。其创新性在于实现了视觉观测与动作指令的精确时空对齐，为模仿学习与强化学习算法提供了高质量的训练基准，显著推动了具身智能系统在真实环境中的感知与决策能力发展。

当前挑战

该数据集核心挑战在于解决机器人端到端操控中的多模态感知与动作生成问题，需实现高维视觉输入与连续动作空间的精确映射。构建过程中面临多传感器时序同步的技术难题，包括双视角视频流与关节状态数据的毫秒级对齐要求，以及大规模视频数据压缩存储与高效检索的工程挑战。此外，机械臂动作轨迹的平滑性与任务成功率的高度耦合性，要求数据采集过程必须兼顾操作精度与场景覆盖度的平衡，这对机器人硬件稳定性与数据采集协议设计提出了极致要求。

常用场景

经典使用场景

在机器人学习领域，eval_swlejepsters数据集为模仿学习与强化学习算法提供了标准化的评估基准。该数据集通过记录六自由度机械臂的关节位置状态与双视角视觉观测，构建了完整的机器人动作-状态轨迹序列。研究人员可基于该数据集训练端到端的策略网络，验证模型在复杂操作任务中的泛化能力与运动控制精度。

解决学术问题

该数据集有效解决了机器人学习中的多模态感知融合、高维状态空间下的策略优化等核心学术问题。通过提供同步的关节传感器数据与视觉观测，支持研究者探索视觉-动作映射关系，突破传统控制方法的局限性。其标准化数据格式显著降低了不同算法对比的复杂度，为机器人学习领域的可复现研究奠定基础。

衍生相关工作

基于该数据集的特性，衍生出多项机器人学习领域的经典研究工作。包括基于时空注意力的多视角视觉特征融合架构、结合模仿学习与强化学习的混合训练范式，以及跨模态表示学习框架。这些工作显著推动了视觉运动策略网络的发展，为后续的机器人操作技能迁移与元学习研究提供了重要基础。