KS325/place-lower-r2-emp-val

该数据集是一个机器人技术数据集，专门针对so_follower类型的机器人，使用LeRobot工具创建。数据集包含8个episodes，总计5994帧，帧率为30fps。数据以parquet文件格式存储，视频文件为mp4格式。数据集包括机器人的动作数据（6个关节位置：肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置）和观测数据。观测数据由两部分组成：机器人状态（同样为6个关节位置）和来自两个摄像头（camera1和camera2）的图像数据，每个摄像头捕获480x640分辨率、RGB三通道的视频。数据集还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。该数据集适用于机器人控制、模仿学习或强化学习等研究任务。--- 许可证：Apache-2.0 任务类别： - 机器人学 数据集标签： - LeRobot 配置项： - 配置名称：default 数据文件路径：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/place-lower-r2-emp-val"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json]: json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 8, "total_frames": 5994, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:8" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向机器人操作任务中的放置行为采集需求。数据采集平台采用so_follower机器人，通过遥操作或预设策略驱动机械臂完成特定放置动作，同步记录多模态感知信息。构建过程中，以30帧每秒的频率采集关节位置与夹爪状态，形成动作与观测状态的六维浮点向量，并借助两台摄像头获取480×640分辨率的视频流。全部八条轨迹以分块方式存储为Parquet文件，辅以AV1编码的视频数据，依据时间戳、帧索引与任务索引进行结构化组织，确保时序对齐与可追溯性。

特点

该数据集聚焦于机器人放置任务，规模适中，涵盖八条完整轨迹与近六千帧样本，可为模仿学习与策略评估提供细粒度监督信号。其核心特点在于多视角视觉观测与本体状态的高度同步，两台摄像头从不同方位捕捉场景，配合六自由度关节及夹爪位置，构建了丰富的状态-动作对。数据以标准LeRobot格式封装，采用分块存储与高效视频编码，便于大规模读取与训练。任务类别单一而明确，有益于开展针对放置操作的专项研究，同时保留了可扩展的元信息接口。

使用方法

使用该数据集时，可借助LeRobot生态提供的工具链直接加载Parquet格式的状态与动作序列，并通过对应的视频路径读取多路视觉观测。研究人员可依据splits字段划分训练与验证子集，或通过可视化空间在线浏览轨迹回放。数据适用于行为克隆、离线强化学习及策略泛化评估等场景，使用时需注意对齐时间戳与帧索引，确保多模态输入的时序一致性。若需复现或扩展实验，可参考元信息中的特征定义与编码参数，并根据任务索引筛选特定放置任务。

背景与挑战

背景概述

在机器人学习领域，高质量的操作数据集是推动算法进步的核心资源。place-lower-r2-emp-val数据集基于LeRobot框架构建，由Hugging Face社区于近年发布，旨在为机器人放置任务提供标准化的验证基准。该数据集采用SO follower机械臂，包含8个回合共5994帧的视觉与状态数据，以30帧每秒的频率记录，聚焦于单一放置任务。其核心研究问题在于如何通过端到端学习实现精准的物体放置，对促进模仿学习与视觉运动策略的泛化研究具有积极意义，为相关领域提供了可复现的实验基础。

当前挑战

该数据集所应对的领域问题为机器人视觉运动放置任务，需在连续状态空间中实现精确控制，并克服视觉感知的噪声与不确定性。构建过程中面临的挑战包括：多相机同步采集与高帧率视频编码的稳定性，动作与观测状态在长时间序列中的精确对齐，以及确保有限回合下数据多样性与任务覆盖度。此外，该数据集仅包含单一任务与少量回合，可能限制模型泛化能力，且缺乏深度信息与力反馈，对复杂环境下的策略学习构成客观挑战。

常用场景

经典使用场景

在机器人学习领域，模仿学习与视觉-动作策略的联合建模长期依赖高质量的示教数据，place-lower-r2-emp-val数据集恰为这一需求提供了精细化的验证资源。该数据集由LeRobot框架生成，包含8个回合、近6000帧的机械臂操作记录，涵盖肩部旋转、肘部弯曲、腕部翻转及夹爪开合等六维动作空间，并同步采集双视角视觉观测。其最经典的使用场景在于，研究者可基于此数据对“放置-下压”类操作策略进行离线训练与在线评估，借助时空对齐的多模态序列，验证模型在真实机械臂上的泛化能力与执行精度。

实际应用

在实际应用层面，该数据集可服务于仓储物流中的抓取放置、家庭服务机器人的物品归置以及工业装配线上的精密操作等场景。基于双视角视觉与关节位置反馈，开发者能够训练机械臂完成从识别目标到精准下放的全流程控制，尤其适用于需要柔顺接触与位置微调的“放置-下压”任务。通过在该数据集上验证的策略，可直接迁移至so_follower等轻量级机械臂平台，降低真实部署中的调试成本与风险。

衍生相关工作

围绕place-lower-r2-emp-val数据集，已衍生出若干与LeRobot生态紧密相关的工作，包括基于视觉-语言-动作模型的策略预训练、多任务示教数据的统一表征学习，以及面向真实机械臂的离线强化学习评估协议。该数据集亦被用于验证模仿学习算法在低数据量条件下的鲁棒性，并促进了开源社区在机器人操作基准上的协作。这些工作共同拓展了LeRobot框架在学术与工业界的应用边界，为后续研究提供了可复用的数据基础与实验范式。