saipuneethgottam/pickplace_234cam_newdemos_20260526_161032_remapped

该数据集由LeRobot创建，用于机器人学任务，具体为机器人抓取放置操作。数据集包含100个训练episodes，总计53178帧数据，帧率为30fps。数据特征包括机器人的动作（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（与动作相同的关节位置），以及来自三个摄像头的图像观测：camera1和camera2提供1280x720分辨率、3通道的RGB视频，camera3提供640x480分辨率、3通道的RGB视频。数据以parquet文件格式存储，视频文件以mp4格式存储，总数据量约为100MB，视频文件大小约为200MB。数据集适用于机器人控制、模仿学习等研究。--- license: Apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- 本数据集由LeRobot构建，相关仓库链接为：[LeRobot](https://github.com/huggingface/lerobot)。 附带数据集可视化链接，其按钮图片适配明暗两种主题模式。 ## 数据集说明 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 `meta/info.json` 文件详细配置如下： json { "chunks_size": 1000, "codebase_version": "v3.0", "data_files_size_in_mb": 100, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "episode_index": { "dtype": "int64", "names": null, "shape": [ 1 ] }, "frame_index": { "dtype": "int64", "names": null, "shape": [ 1 ] }, "index": { "dtype": "int64", "names": null, "shape": [ 1 ] }, "observation.images.camera1": { "dtype": "video", "info": { "has_audio": false, "video.channels": 3, "video.codec": "av1", "video.crf": 30, "video.extra_options": {}, "video.fast_decode": 0, "video.fps": 30, "video.g": 2, "video.height": 720, "video.is_depth_map": false, "video.pix_fmt": "yuv420p", "video.preset": 12, "video.video_backend": "pyav", "video.width": 1280 }, "names": [ "height", "width", "channels" ], "shape": [ 720, 1280, 3 ] }, "observation.images.camera2": { "dtype": "video", "info": { "has_audio": false, "video.channels": 3, "video.codec": "av1", "video.crf": 30, "video.extra_options": {}, "video.fast_decode": 0, "video.fps": 30, "video.g": 2, "video.height": 720, "video.is_depth_map": false, "video.pix_fmt": "yuv420p", "video.preset": 12, "video.video_backend": "pyav", "video.width": 1280 }, "names": [ "height", "width", "channels" ], "shape": [ 720, 1280, 3 ] }, "observation.images.camera3": { "dtype": "video", "info": { "has_audio": false, "video.channels": 3, "video.codec": "av1", "video.crf": 30, "video.extra_options": {}, "video.fast_decode": 0, "video.fps": 30, "video.g": 2, "video.height": 480, "video.is_depth_map": false, "video.pix_fmt": "yuv420p", "video.preset": 12, "video.video_backend": "pyav", "video.width": 640 }, "names": [ "height", "width", "channels" ], "shape": [ 480, 640, 3 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "task_index": { "dtype": "int64", "names": null, "shape": [ 1 ] }, "timestamp": { "dtype": "float32", "names": null, "shape": [ 1 ] } }, "fps": 30, "robot_type": "so_follower", "splits": { "train": "0:100" }, "total_episodes": 100, "total_frames": 53178, "total_tasks": 1, "video_files_size_in_mb": 200, "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4" } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot机器人学习框架构建，采用遥操作演示范式，由SO-Follower机械臂在真实物理环境中执行拾取与放置任务，通过同步采集多路视觉观测与本体状态形成原始轨迹。采集完成后，各模态数据经统一时间戳对齐与重映射处理，动作空间与观测空间按v3.0数据规范重新编码，最终以分块Parquet与AV1视频文件双轨存储，形成一百条完整演示片段，涵盖五万余帧、三十帧每秒的时序记录。

特点

数据集面向机器人操作策略学习，兼具多视角视觉冗余与本体感知信息，三路相机分别以一千二百八十乘七百二十及六百四十乘四百八十分辨率并行记录，为空间位姿估计与操作意图识别提供互补线索。动作与状态向量共享六维关节语义，包括肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部滚转及夹爪开合，便于端到端策略建模。全部演示归入单一任务类别，轨迹连续且帧率恒定，适合模仿学习与视觉运动策略的基准测试。

使用方法

使用者可借助LeRobot工具链或HuggingFace数据集接口直接加载数据，按配置文件定位data与videos目录下的分块文件，读取动作、观测状态及多路视频流。针对模仿学习任务，可将前若干帧视觉与本体观测作为输入、对应动作作为监督信号，训练策略网络；亦可利用纪元索引与帧索引进行时序切片或采样。可视化页面支持在线浏览回放，便于检查轨迹质量与任务执行一致性。

背景与挑战

背景概述

机器人操作技能的学习长期依赖高质量的真实世界演示数据，而开源社区在这一方向上的资源相对匮乏。pickplace_234cam_newdemos_20260526_161032_remapped数据集依托LeRobot框架构建，于2026年发布，采用SO follower机械臂平台，通过三路摄像头（两路1280×720、一路640×480，30fps）采集了100条抓取放置任务的演示轨迹，累计53,178帧，动作与状态空间均为6自由度关节位置。该数据集面向机械臂抓放这一经典操作任务，为视觉-动作映射、多模态策略学习提供标准化基准，其多视角配置强化了空间感知研究价值。

当前挑战

抓取放置任务本身面临目标位姿估计、抓取点选择、运动规划与接触力控制等多重难点，物体多样性、光照变化与遮挡进一步加剧了策略泛化难度。构建过程中，三路异构摄像头的时空同步与标定精度直接影响观测一致性，30fps高帧率视频的存储与编解码对数据管道提出较高要求，遥操作演示中的动作抖动与任务一致性也需通过后处理加以规整。该数据集仅含单一任务与有限演示数量，如何据此训练出可迁移至新物体与新场景的策略，仍是具身智能领域亟待突破的挑战。

常用场景

经典使用场景

在机器人学习领域，抓取与放置任务构成了一项基础且极具代表性的操作技能。该数据集以三路摄像头同步采集视觉观测流，配合六自由度机械臂的关节位置与夹爪状态，构建了100条完整演示轨迹，总计逾五万帧的高频记录。其经典使用场景集中于模仿学习范式下的策略训练，研究者可借助这些多视角视觉-动作配对数据，训练端到端的视觉运动策略，使机械臂在感知目标物体空间位姿后自主完成抓取、搬运与放置的连续动作序列，尤其适用于验证多视角融合对空间定位精度的增益效果。

实际应用

在实际应用层面，该数据集所承载的抓取放置技能可直接服务于仓储物流中的货物分拣、产线上下料以及服务机器人日常物品整理等场景。三路摄像头配置模拟了真实工作空间中多传感器协同感知的部署形态，基于此数据训练的策略易于向实体机械臂迁移。LeRobot框架的标准化接口进一步降低了从数据到部署的工程门槛，开发者可借助该数据集快速验证算法在真实硬件上的可行性，缩短从研究原型到应用落地的迭代周期。

衍生相关工作

围绕该数据集衍生的工作主要沿着两条路径展开。其一是多视角视觉编码器的设计与融合策略研究，探索不同视角间的注意力分配与特征对齐机制。其二是基于LeRobot生态的策略训练与评测流水线构建，包括扩散策略、动作分块变换器等新兴方法在该数据集上的适配与验证。这些工作共同丰富了开源机器人学习社区的数据资源与方法工具箱，为后续研究提供了可扩展的起点。