lift_bag

该数据集使用LeRobot创建，专注于机器人技术领域。数据集包含50个episodes，总计12276帧，涉及1个任务。数据以parquet文件格式存储，分为训练集（0:50）。数据集结构包括动作、观察状态、时间戳、episode索引、帧索引、任务索引、索引等字段，以及主摄像头和副摄像头的视频数据。视频分辨率为480x640，帧率为15fps。数据文件总大小为100MB，视频文件总大小为200MB。数据集适用于机器人控制、行为分析等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: lift_bag
• 托管平台: Hugging Face
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 50
• 总帧数: 12276
• 总任务数: 1
• 数据块大小: 1000
• 帧率: 15 FPS
• 数据分割: 训练集 (0:50)
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据格式与存储

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 视频编解码器: avc1
• 视频像素格式: yuv420p
• 视频不包含音频

数据特征

动作

• 数据类型: float32
• 形状: [7]
• 特征名称: motor_1, motor_2, motor_3, motor_4, motor_5, motor_6, x_secondary
• 帧率: 15 FPS

观测状态

• 数据类型: float32
• 形状: [7]
• 特征名称: motor_1, motor_2, motor_3, motor_4, motor_5, motor_6, x_secondary
• 帧率: 15 FPS

观测图像（主摄像头）

• 数据类型: 视频
• 形状: [480, 640, 3] (高度, 宽度, 通道)
• 帧率: 15 FPS
• 非深度图

观测图像（次要摄像头 0）

• 数据类型: 视频
• 形状: [480, 640, 3] (高度, 宽度, 通道)
• 帧率: 15 FPS
• 非深度图

元数据特征

• 时间戳: float32, 形状 [1], 15 FPS
• 情节索引: int64, 形状 [1], 15 FPS
• 帧索引: int64, 形状 [1], 15 FPS
• 任务索引: int64, 形状 [1], 15 FPS
• 索引: int64, 形状 [1], 15 FPS

机器人平台

• 机器人类型: so-100, unitree-go2
• 代码库版本: v3.0

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX 引用: 未提供

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建往往依赖于真实的硬件交互与系统化采集流程。lift_bag数据集通过LeRobot平台，利用so-100和unitree-go2两种机器人平台，在特定任务场景下进行数据收集。整个数据集包含50个完整的情节，总计12276帧，以每秒15帧的速率录制，数据以分块形式存储于Parquet文件中，每块约1000帧，确保了数据的高效组织与访问。视频数据则采用MP4格式保存，编码为avc1，分辨率统一为480x640，为机器人行为学习提供了丰富的视觉与状态信息基础。

特点

该数据集在机器人学习领域展现出鲜明的多模态特性，融合了高维动作空间与多视角视觉观察。动作与状态数据均以7维浮点向量表示，涵盖六个电机控制维度及一个辅助变量，精确记录了机器人的执行器反馈。视觉方面，数据集提供了主视角与辅助视角的双路RGB视频流，每帧图像均附带时间戳、情节索引及帧索引等元数据，支持时序对齐与上下文分析。数据规模适中，总数据量约300MB，便于在资源受限环境下进行模型训练与验证，为模仿学习与强化学习算法提供了结构化的基准测试平台。

使用方法

研究人员可通过HuggingFace数据集库直接加载lift_bag数据集，利用其预定义的数据分割进行模型训练与评估。数据集以标准化的Parquet格式存储，支持通过帧索引或情节索引快速检索特定片段，便于构建基于状态的策略网络或视觉-动作映射模型。视频数据可通过专用路径访问，结合动作与观察特征，可用于端到端的行为克隆或逆动力学建模。由于数据集已集成时间同步与元数据标注，用户可轻松提取连续轨迹或进行数据增强，以提升机器人控制算法的泛化能力与鲁棒性。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的实际应用至关重要。lift_bag数据集由HuggingFace的LeRobot项目创建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集聚焦于机器人执行具体物理任务的过程，通过整合来自SO-100和Unitree Go2等机器人平台的传感器观测与动作指令，记录了包括视觉图像、关节状态及时间戳在内的时序信息。其构建体现了当前研究界对于构建通用机器人智能体的迫切需求，通过开源共享此类数据，能够有效降低机器人学习的研究门槛，促进算法在复杂动态环境中的泛化能力探索。

当前挑战

lift_bag数据集所针对的核心领域挑战在于解决机器人操作任务中从演示到执行的策略学习问题，尤其是在非结构化环境中实现精准、鲁棒的动作泛化。具体而言，数据采集过程面临多传感器同步校准、高维连续动作空间的数据标注一致性以及长时序任务中累积误差控制等工程难题。此外，数据集的规模相对有限，仅包含50个任务片段，可能制约了复杂策略的充分学习；多视角视觉数据与低维状态特征的融合表征亦对模型设计提出了更高要求，需在保证实时性的同时处理异构数据流之间的对齐与互补关系。

常用场景

经典使用场景

在机器人学习领域，lift_bag数据集为模仿学习与强化学习算法的训练提供了关键支持。该数据集记录了机器人执行特定任务时的多模态观测数据，包括关节状态、图像序列及动作指令，使得研究者能够基于真实交互轨迹构建高效的策略模型。通过整合来自so-100和unitree-go2等机器人的操作记录，该数据集尤其适用于训练机器人完成精细的抓取或搬运任务，为算法验证提供了丰富的实验基础。

解决学术问题

lift_bag数据集主要针对机器人控制中的样本效率与泛化能力等核心挑战。它通过提供结构化的时序交互数据，帮助解决模仿学习中行为克隆的分布偏移问题，以及强化学习中稀疏奖励下的探索难题。该数据集支持多任务学习框架的开发，促进了跨场景策略迁移的研究，为提升机器人在动态环境中的自适应能力奠定了数据基础。

衍生相关工作

围绕lift_bag数据集，学术界衍生了一系列专注于机器人多模态学习的经典工作。这些研究通常利用数据集的时序动作与观测序列，开发端到端的视觉运动策略网络，或结合逆强化学习从示范中提取奖励函数。部分工作进一步扩展了数据集的用途，将其作为基准测试平台，用于评估不同算法在连续控制任务上的样本复杂度与泛化性能。