zixinyenu/so100-pick-and-place-20_20260527_210159

该数据集是一个机器人操作数据集，专门用于拾取和放置任务。它包含20个完整的情节（episodes），总计11284帧数据。数据集中记录了机器人的动作信息，包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置等6个关节的位置数据。观测数据包括机器人的状态（与动作相同的关节位置）以及来自三个摄像头（camera1、camera2、camera3）的视频观测，每个视频分辨率为480x640，帧率为30fps，编码格式为av1。数据集还包含时间戳、帧索引、情节索引、任务索引等元数据。机器人类型为so_follower，数据以parquet文件（用于结构化数据）和mp4视频文件（用于视频数据）形式存储，总数据大小约为300MB。数据集适用于机器人学习、模仿学习或强化学习等研究领域。--- 许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 可点击此链接可视化本数据集：<a href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=zixinyenu/so100-pick-and-place-20_20260527_210159">可视化数据集</a> ## 数据集描述 - **主页**：[待补充更多信息] - **论文**：[待补充更多信息] - **许可证**：Apache-2.0 ## 数据集结构 元数据文件`meta/info.json`包含如下配置： json { "codebase_version": "v3.0", "fps": 30, "features": { "action": { "dtype": "float32", "names": [ "肩旋关节位置", "肩抬关节位置", "肘屈关节位置", "腕屈关节位置", "腕转关节位置", "夹爪位置" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "肩旋关节位置", "肩抬关节位置", "肘屈关节位置", "腕屈关节位置", "腕转关节位置", "夹爪位置" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "高度", "宽度", "通道数" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "高度", "宽度", "通道数" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera3": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "高度", "宽度", "通道数" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 20, "total_frames": 11284, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:20" } } ## 引用 **BibTeX格式引用**： bibtex [待补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计，聚焦于“拾取与放置”（pick-and-place）这一基础但关键的技能。通过so_follower型机器人执行20个演示片段，系统采集了共计11284帧数据，涵盖动作指令、观测状态及多模态视觉信息。每个片段以30帧每秒的速率记录，动作空间包含肩部转动、肘部屈伸、腕部偏转与夹爪开合等6个自由度，观测状态与其保持同构，确保行为克隆或模仿学习中的精确映射。

使用方法

本数据集可通过LeRobot工具直接加载，用户只需指定路径并调用标准API即可获取训练-测试划分（默认20个片段全量用于训练）。支持多任务场景，当前包含单一任务索引，但拓展性良好。使用方法简洁，研究者可快速将数据输入模仿学习或深度强化学习框架，例如利用‘action’字段指导策略输出，并配合‘observation.state’与视觉观测进行端到端训练。

背景与挑战

背景概述

so100-pick-and-place-20_20260527_210159数据集由LeRobot社区创建，依托于Hugging Face平台，旨在为机器人操作任务提供标准化训练数据。该数据集聚焦于“抓取与放置”这一基础但关键的机器人技能，记录了SO-100机械臂在30帧/秒下执行单一任务的20个完整回合，包含关节角度状态与多视角视觉观测。其发布标志着低成本机器人平台与开源数据生态的深度融合，为模仿学习、强化学习等算法提供了低门槛的验证基准，推动了机器人学习从实验室向普惠化应用过渡。

当前挑战

领域层面，机器人“抓取与放置”任务面临环境多变性与泛化性难题，如物体形状、光照条件及初始位置的差异对策略鲁棒性构成严峻考验。数据集自身构建中，确保多相机同步录制（480×640分辨率）与执行器状态（6维关节角度）的精准对齐是一大挑战；此外，仅20个回合、单任务的数据规模限制了模型对复杂场景的适应能力，远程遥操作采集的高成本也制约了数据集的快速扩容与多样性提升。

常用场景

经典使用场景

在机器人学习领域，so100-pick-and-place-20_20260527_210159数据集专为抓取与放置任务而设计，提供了20个完整演示的机械臂操控轨迹。每个片段以30帧每秒的速度记录，包含6维关节动作与状态信息，以及三视角同步视频流（480×640像素），覆盖目标物体从识别、抓取到精确放置的全过程。该数据集适用于训练基于模仿学习的策略，如行为克隆或扩散策略，使机器人能够从人类示范中习得精细的拾放技能。

解决学术问题

该数据集解决了机器人操作研究中从原始传感器信号到复杂动作映射的学术难题。它提供了高保真、多模态的演示数据，支持将视觉观测转化为低层级关节控制指令的端到端学习。通过标准化格式和公开的20个示范片段，研究者可系统性地探索模仿学习中的泛化能力、长时域动作规划以及多视角信息融合等关键问题，推动了数据驱动的灵巧操控方法从理论验证走向可复现的基准评估。

实际应用

在实际应用中，该数据集可作为训练工业或服务机器人拾放操作的基石，例如用于电子元器件装配或仓储分拣场景。基于其示范数据训练的策略，可使机器人从二维图像中理解三维空间位姿，并生成平滑且安全的六自由度轨迹。数据集采用Apache-2.0许可并兼容LeRobot框架，降低了从数据采集到模型部署的壁垒，加速了实验室操控算法向实际制造与物流机器人系统的转化。

数据集最近研究

最新研究方向

该数据集聚焦于机器人领域的模仿学习，特别是基于视觉与运动状态联合驱动的抓取与放置操作。在具身智能研究蓬勃发展的当下，数据集通过多视角视觉观测（camera1至camera3）与六自由度关节状态时间序列的同步记录，为端到端策略学习提供了丰富模态支撑。其特色在于采用标准化的so_follower机械臂构型，并依托LeRobot框架构建了从数据采集到模型部署的闭环生态，契合当前低样本模仿学习与跨任务泛化的前沿探索。20个示范轨迹与万余帧数据虽规模有限，却为细粒度操作策略的初版验证和微调迁移提供了轻量级但高质量的基准，其影响在于加速了机器人技能从仿真到真实环境的转化研究。