libero_ketchup

该数据集由LeRobot创建，采用Apache-2.0许可证发布，属于机器人学领域。数据集包含50个完整的情节，总计8006帧数据，涉及1个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为10fps。数据集结构包括训练集（0:50）。数据特征包括两个256x256x3的图像观测（image和image2）、8维的状态观测（float32）、7维的动作（float32）、时间戳（float32）、帧索引（int64）、情节索引（int64）、索引（int64）和任务索引（int64）。所有特征均以10fps的速率采集。数据文件路径为data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet，视频文件路径为videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

原始信息汇总

数据集概述

基本信息

• 数据集名称: libero_ketchup
• 托管平台: Hugging Face Datasets
• 数据集地址: https://huggingface.co/datasets/nsimonato25/libero_ketchup
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 相关标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集规模与结构

• 总任务数: 1
• 总情节数: 50
• 总帧数: 8006
• 数据分块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 10 FPS
• 数据分割: 仅包含训练集（索引 0 至 50）
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

数据集包含以下特征字段：

观测数据

1. observation.images.image

   • 数据类型: 图像
   • 形状: [256, 256, 3] (高度，宽度，通道)
   • 帧率: 10 FPS

2. observation.images.image2

   • 数据类型: 图像
   • 形状: [256, 256, 3] (高度，宽度，通道)
   • 帧率: 10 FPS

3. observation.state

   • 数据类型: float32
   • 形状: [8] (状态)
   • 帧率: 10 FPS

动作与元数据

1. action

   • 数据类型: float32
   • 形状: [7] (动作)
   • 帧率: 10 FPS

2. timestamp

   • 数据类型: float32
   • 形状: [1]

3. frame_index

   • 数据类型: int64
   • 形状: [1]

4. episode_index

   • 数据类型: int64
   • 形状: [1]

5. index

   • 数据类型: int64
   • 形状: [1]

6. task_index

   • 数据类型: int64
   • 形状: [1]

技术信息

• 代码库版本: v3.0
• 机器人类型: Panda

缺失信息

• 主页: 未提供
• 论文: 未提供
• 引用 BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作任务领域，高质量的数据集对于推动模仿学习与强化学习算法的发展至关重要。libero_ketchup数据集依托LeRobot开源平台构建，采用Franka Emika Panda机械臂执行单一任务，通过精心设计的实验流程采集了50条完整轨迹。数据以10帧每秒的频率同步记录双视角RGB图像、机器人末端状态以及七维动作指令，并以分块Parquet格式高效存储，确保了数据的一致性与可扩展性。

特点

该数据集在机器人感知与控制集成方面展现出显著特色，其核心在于提供了对齐的多模态观测流。数据集包含来自两个固定摄像头的256x256分辨率图像序列，与8维状态向量及7维动作向量在时间上严格同步。所有数据均附带精确的时间戳与索引信息，便于进行时序分析与离线训练。这种结构化的设计使得数据集特别适用于需要复杂视觉推理与状态估计的端到端策略学习研究。

使用方法

研究者可通过HuggingFace数据集库直接加载libero_ketchup，其标准化的接口支持按片段流式读取。数据已预分为训练集，用户可依据帧索引或回合索引提取图像、状态与动作序列，用于行为克隆、离线强化学习等算法的训练与验证。得益于Parquet格式与清晰的特征定义，数据能够便捷地转换为主流深度学习框架所需的张量格式，加速实验迭代过程。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。libero_ketchup数据集由Hugging Face的LeRobot项目团队创建，旨在为机器人操作任务提供结构化的示范数据。该数据集采集自Franka Emika Panda机械臂平台，包含50个完整交互序列，总计超过8000帧的多模态观测与动作记录，涵盖了图像、状态向量及时间戳等丰富特征。其核心研究问题聚焦于如何利用真实机器人数据提升策略学习的泛化能力与样本效率，为机器人自主执行复杂操作任务奠定了实证基础。

当前挑战

libero_ketchup数据集致力于解决机器人操作任务中的模仿学习与策略泛化挑战，其核心在于从有限的人类示范中学习鲁棒且可迁移的控制策略。构建过程中面临多重困难：真实机器人数据采集需克服硬件同步、传感器噪声以及环境干扰等问题，确保多模态数据在时间上的一致性；数据标注与序列分割需保持任务逻辑的完整性，避免分段误差影响学习效果；此外，数据规模受限与任务多样性不足可能制约模型在未见场景下的适应能力。这些挑战共同指向了机器人学习领域对高质量、大规模、多样化交互数据的迫切需求。

常用场景

经典使用场景

在机器人学习领域，libero_ketchup数据集以其丰富的视觉与状态观测数据，为模仿学习算法的训练提供了典型范例。该数据集记录了机器人执行特定任务（如抓取或操作物体）过程中的图像序列、机器人状态及动作指令，使得研究者能够基于真实交互数据构建端到端的策略模型。通过高频率的帧采样和多视角图像输入，数据集有效支持了从感知到动作的映射学习，成为评估机器人行为克隆和强化学习性能的重要基准。

衍生相关工作

围绕libero_ketchup数据集，已衍生出多项经典研究工作，特别是在机器人模仿学习与视觉运动控制领域。这些工作利用数据集的多模态特性，开发了基于深度学习的策略网络架构，如结合卷积神经网络与循环神经网络的端到端控制器。同时，一些研究专注于数据增强与跨任务迁移方法，以提升模型在未见场景中的泛化性能，进一步推动了机器人学习从仿真到真实世界的过渡。

数据集最近研究

最新研究方向

在机器人学习领域，视觉动作数据集正成为推动模仿学习与强化学习融合的关键资源。libero_ketchup数据集以其多视角图像观测与精确动作标注，为机器人操作任务的研究提供了高质量轨迹数据。当前前沿研究聚焦于利用此类数据集训练端到端视觉运动策略，探索跨任务泛化能力与样本效率提升。随着开源机器人社区如LeRobot的兴起，数据驱动的机器人技能学习正加速发展，该数据集支持的研究有望促进家庭服务机器人等现实场景的应用突破。