newiii_lift

该数据集是一个机器人数据集，包含50个剧集，每个剧集有不同数量的帧，总共14720帧。数据集包含一个任务，200个视频和1个数据块，每个数据块包含1000帧。数据集使用Apache-2.0许可。数据集中的特征包括机器人的动作和观察状态，以及多个视角的视频信息。

原始信息汇总

数据集概述

基本信息

• 名称: newiii_lift
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, so100, tutorial
• 创建工具: LeRobot

数据集结构

• 数据格式: Parquet
• 配置文件:
  • config_name: default
  • data_files: data//.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 50
• 总帧数: 14720
• 总任务数: 1
• 总视频数: 200
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 数据分割:
  • 训练集: 0:50

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作 (action)

• 数据类型: float32
• 形状: [6]
• 名称:
  • main_shoulder_pan
  • main_shoulder_lift
  • main_elbow_flex
  • main_wrist_flex
  • main_wrist_roll
  • main_gripper

观测状态 (observation.state)

• 数据类型: float32
• 形状: [6]
• 名称: 同动作特征

观测图像 (observation.images)

• base:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • fps: 30.0
    • 高度: 480
    • 宽度: 640
    • 通道: 3
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 音频: false
• base_right:
  • 数据类型: video
  • 形状: [480, 1280, 3]
  • 其他信息同 base
• arm:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 其他信息同 base
• gripper:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 其他信息同 base

其他特征

• timestamp: float32, 形状 [1]
• frame_index: int64, 形状 [1]
• episode_index: int64, 形状 [1]
• index: int64, 形状 [1]
• task_index: int64, 形状 [1]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，newiii_lift数据集通过LeRobot平台系统采集了50个完整操作片段，涵盖14720帧视觉与运动数据。数据以30fps的采样频率记录SO100型机械臂的六维关节动作与多视角图像流，采用分块存储架构将每个片段封装为标准化parquet格式，确保时序数据的完整性与高效存取。

特点

该数据集突出表现为多模态同步观测体系，集成四路高清视频流（基础视角、右视角、机械臂视角、夹爪视角）与六自由度关节状态数据。所有视觉数据均采用AV1编码的480p分辨率视频，动作空间精确映射机械臂的肩部平移、肩部抬升、肘部弯曲等核心运动维度，形成立体化操作态势记录。

使用方法

研究者可通过加载parquet文件直接获取时间对齐的多模态序列，利用frame_index和episode_index构建训练样本。视频数据遵循标准MP4封装规范，动作与状态数据以float32格式存储，支持端到端模仿学习或强化学习算法的开发，所有训练片段已预划分为完整训练集。

背景与挑战

背景概述

newiii_lift数据集作为机器人操作领域的重要数据资源，依托LeRobot开源框架构建，专注于机械臂控制与视觉感知的协同研究。该数据集采集自so100型机器人平台，包含50个完整操作序列、14720帧多视角视频数据及6自由度关节动作记录，为模仿学习与强化学习算法提供了高维度时空标注数据。其多模态特性融合了基座、机械臂、夹爪三个视角的视觉流与关节状态信息，推动了机器人精细操作任务的数据驱动研究范式发展。

当前挑战

该数据集核心挑战在于解决复杂环境下机械臂动态抓取任务的时空对齐问题，需同步处理多路高清视频流与关节运动数据的异构性。构建过程中面临传感器标定误差消除、多视角视觉数据帧级同步、以及长时间操作序列的数据压缩存储等技术难点。此外，6自由度动作空间的连续控制精度要求与真实物理系统延迟之间的建模差距，也对数据质量提出了更高标准。

常用场景

经典使用场景

在机器人操作学习领域，newiii_lift数据集作为LeRobot项目的重要组成部分，主要用于机械臂抓取与搬运任务的算法训练。该数据集通过记录SO100型机械臂执行单一任务时的多视角视频流与关节状态数据，为模仿学习与强化学习提供了丰富的交互轨迹。研究人员能够利用这些同步采集的视觉-动作配对数据，构建端到端的控制策略模型，模拟真实环境中的物体抓取过程。

实际应用

在工业自动化场景中，该数据集可直接用于训练机械臂的智能分拣系统。基于其多摄像头视角的视觉数据，能够开发适应复杂光照条件的抓取定位算法。物流仓储领域的包裹搬运、生产线上的零件装配等任务均可通过迁移学习快速适配，其关节级动作记录更为机器人技能模仿提供了精确的动力学参考。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在分层强化学习框架的构建。研究者利用其长时序任务数据开发了基于注意力机制的策略网络，实现了从原始像素到连续动作的端到端预测。另有研究通过提取关键帧状态构建动态模型，显著提升了样本效率。这些成果为后续的元学习、多任务学习等方向提供了方法论基础。