eval_chocolate_pickplace1

该数据集使用LeRobot工具创建，是一个机器人技术领域的数据集，专门用于so_follower类型机器人的研究。数据集包含机器人的动作指令、状态观测和多模态传感器数据。具体而言，数据集中每个样本记录包含：6维浮点动作向量（控制肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置），6维浮点观测状态向量（反映上述关节的实际位置），以及来自两个摄像头的RGB图像观测（分辨率均为480x640像素）。此外，数据集还提供时间戳、帧索引、回合索引和任务索引等元数据。数据以parquet文件格式存储，对应的视频数据以mp4格式存储，录制帧率为30fps。数据集结构按数据块组织，每个块包含1000个样本。该数据集适用于机器人模仿学习、强化学习、视觉伺服控制、多模态感知与动作生成等任务的研究与算法开发。This dataset is created using the LeRobot tool, and it is a robotics-specific dataset dedicated to research on 'so_follower' type robots. The dataset contains robot action instructions, state observations, and multimodal sensor data. Specifically, each sample record in the dataset includes: a 6-dimensional floating-point action vector (controlling shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation and gripper position), a 6-dimensional floating-point observation state vector (reflecting the actual positions of the aforementioned joints), and RGB image observations from two cameras (both with a resolution of 480x640 pixels). In addition, the dataset also provides metadata such as timestamps, frame indices, episode indices and task indices. The data is stored in Parquet file format, while the corresponding video data is stored in MP4 format, with a recording frame rate of 30 fps. The dataset is organized in data chunks, with each chunk containing 1000 samples. This dataset is suitable for research and algorithm development in tasks such as robot imitation learning, reinforcement learning, visual servo control, multimodal perception and action generation.

原始信息汇总

数据集概述

• 数据集名称: eval_chocolate_pickplace1
• 许可证: Apache-2.0
• 任务类别: 机器人（Robotics）
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集结构

• 机器人类型: so_follower
• 帧率 (FPS): 30
• 总集数 (episodes): 0
• 总帧数: 0
• 总任务数: 0
• 数据块大小 (chunks_size): 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征描述

特征名称	数据类型	形状	含义
action	float32	[6]	机器人动作，包含肩关节、肘关节、腕关节和夹爪位置
observation.state	float32	[6]	机器人状态，与动作维度一致
observation.images.camera1	video	[480, 640, 3]	摄像头1采集的RGB视频
observation.images.camera2	video	[480, 640, 3]	摄像头2采集的RGB视频
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据集配置

• 配置名称: default
• 数据文件: data//.parquet

引用信息

• BibTeX: [需要更多信息]

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，旨在为机器人操作领域提供高质量的演示数据。数据采集通过So_Follower机器人平台完成，专注于巧克力拾取与放置这一精细操作任务。数据集以每30帧每秒的速率记录，将每个操作演示划分为独立的情节（episode），并将原始数据以Parquet格式高效存储于分块文件中。多模态观测数据包括来自两台摄像头的同步视频流和机器人关节状态信息，其中动作与状态数据共同涵盖六维自由度，从而精确复现操控过程。

特点

该数据集的核心特点在于其多模态融合的设计理念，同时收录了视觉与本体感知数据，为模仿学习研究提供理想素材。视觉数据包含两个视角的高清视频，帧率为30fps，分辨率为480×640像素，覆盖了操作过程的丰富时空信息。动作与状态数据均为32位浮点格式，精确记录了肩部、肘部、腕部及夹爪的位姿变化。数据集采用分块存储，单个块容量约为100MB，便于分布式加载与内存管理。

使用方法

该数据集可与LeRobot框架无缝集成，用户通过加载Parquet文件即可直接获取带时间戳的序列化演示数据。典型的使用流程包括：读取分块文件以重构完整的轨迹序列，利用视频流数据训练视觉编码器，或借助动作状态信息进行策略网络的学习。数据集支持按情节索引进行切片，便于提取特定演示片段。此外，HuggingFace平台提供的可视化工具允许用户在线预览数据集内容，降低数据检查门槛。

背景与挑战

背景概述

在机器人操作领域，模仿学习与基于视觉的精细操控是当前研究的热点，尤其针对非结构化环境中的物体抓取与放置任务。eval_chocolate_pickplace1数据集由NIATphysicalAI团队创建，依托LeRobot框架构建，专为巧克力类易碎物品的抓取与放置操作设计。该数据集录入了so_follower机器人执行六自由度关节动作（包括肩部、肘部、腕部及夹爪）的时序数据，并同步采集了双视角RGB视频流（480×640分辨率），为研究机器人从视觉观测到动作映射的端到端策略提供了关键基准。尽管数据集目前标注为初始版本（含0个有效回合），但其面向的精细操作场景与多模态数据架构，有望推动机器人柔顺控制与实时决策领域的发展。

当前挑战

该数据集所解决的领域问题包括：1）精细操作中的力位混合控制难题，例如巧克力在抓取时易因夹持力不当而破损，要求机器人具备对接触力与滑移的实时感知与调整能力；2）从高维视觉输入到低维关节动作的跨模态映射，单靠双摄像头信息难以完整捕捉物体材质特性（如表面光滑度、易碎性）与动态物理交互。在数据构建过程中，挑战集中于：1）高质量演示数据的获取需依赖遥操作或动觉示教，操作者需同时协调双视角观测与多轴关节运动，导致数据采集效率低下；2）数据标注缺失任务标签与奖励函数，使得模仿学习算法难以有效区分成功与失败轨迹，增加了策略泛化的难度。

常用场景

经典使用场景

在机器人操作与模仿学习的研究领域中，eval_chocolate_pickplace1数据集以其精细化的任务设计，成为评估灵巧抓取与放置能力的经典基准。该数据集依托LeRobot框架构建，聚焦于‘巧克力拾取与放置’这一典型精细操作任务，通过so_follower机器人平台采集了包含6维关节动作序列及双视角视觉观测的高保真数据。研究者可借助该数据集训练机器人从视觉输入中学习精准的抓取策略，特别是在处理易碎、易变形物体时所需的柔顺控制与力反馈调节能力，从而复现或改进从感知到动作的端到端操作流程。

衍生相关工作

基于该数据集，研究者已衍生出多项突破性工作。例如，部分团队利用其双摄像头观测数据构建了跨视角特征对齐的隐式策略网络，显著提升了环境干扰下的操作稳定性；另一些工作则借助其高帧率动作记录，提出了基于Transformer的时序因果模型，实现了对长序列操作中失败模式的预测与避免。此外，该数据集还被用作基准来比较不同预训练视觉表征（如ResNet、ViT）在机器人细粒度操作任务中的迁移效果，并催生了专门针对巧克力类软质物体抓取的触觉-视觉融合推理框架。

数据集最近研究

最新研究方向

在具身智能与仿人机器人领域，'eval_chocolate_pickplace1'数据集聚焦于精细操作任务的模仿学习与泛化评估，其设计紧扣巧克力等易损物体的抓取与放置场景，为研究触觉与视觉融合的灵巧操控提供了标准化的训练与验证平台。结合LeRobot框架，该数据集通过多视角摄像头（camera1与camera2）与关节状态序列记录，支持从6维动作空间到观察空间的端到端策略学习，尤其助力于零样本迁移与域随机化技术的突破。随着生成式模型与机器人基础模型的兴起，此类任务导向的高保真数据集成为连接仿真预训练与现实部署的关键桥梁，推动了面向非结构化环境的自适应操控能力跃迁，在工业分拣与家庭服务机器人实用化进程中具有里程碑意义。