ETHrobotlearning/task2dataset

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=ETHrobotlearning/task2dataset"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 10, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 10, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 30, "total_frames": 5255, "total_tasks": 3, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:30" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics learning dataset created using LeRobot, containing 30 episodes and 5255 frames across 3 tasks. Features include actions (e.g., joint positions for shoulder, elbow, wrist), observation states (joint positions), front camera images (480x640 resolution, 10fps video), timestamps, frame indices, episode indices, and task indices. Data is stored in parquet format, with a robot type of so_follower, suitable for robotics control and research tasks.

搜集汇总

数据集介绍

构建方式

在具身智能与机器人操作数据日益依赖标准化采集管线的背景下，task2dataset由LeRobot工具链生成，并遵循apache-2.0许可。其构建以元数据文件meta/info.json为纲，将30个回合、合计5255帧的机器人操作轨迹组织为3类任务，采样频率为10帧每秒。动作与观测状态均记录为六维关节位置，涵盖肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置；前置视觉观测以480×640分辨率、AV1编码、yuv420p像素格式存为视频。数据文件按分块路径存储为parquet，视频文件按对应键与分块规则存为mp4，机器人类型标注为so_follower，训练划分覆盖0至30回合。

特点

面向机器人模仿学习与策略评估任务，task2dataset呈现出多模态、低频率与结构化并存的特性。数据集以10赫兹同步采样动作、状态、时间戳、帧索引、回合索引、全局索引与任务索引，为时序建模提供统一坐标。视觉通道仅包含前置摄像头，视频为480×640、三通道、AV1编码且无音频，可在有限码率下保留操作场景信息。三十个回合与五千二百五十五帧的体量兼顾小规模验证和快速迭代需求，三个任务类别则支持条件策略与多任务学习。元数据明确给出分块大小与文件路径模板，便于分布式读取与缓存，且机器人类型、特征命名与维度一致，降低跨回合对齐成本。

使用方法

在利用task2dataset开展机器人学习研究时，可依托LeRobot生态与Hugging Face数据集接口加载parquet格式的表格数据及对应mp4视频。元数据中的fps、特征名、形状与路径模板可用于构建数据加载器，按episode_index与frame_index切分时序样本，以observation.state和observation.images.front作为策略输入，以action作为监督或目标信号。研究可借助可视化空间在线查看数据集，或通过splits的train划分进行训练与验证。使用中需遵循apache-2.0许可，并注意该页面未提供论文、主页与引用信息，若需复现实验应补充确认数据采集协议与任务语义。加载视频时需按video_path模板解析AV1编码文件，并保持时间戳与帧索引的一致对齐。

背景与挑战

背景概述

在机器人学习迈向具身智能的进程中，模仿学习与视觉运动策略已成为连接示范数据与真实操作的关键范式。task2dataset 由 Hugging Face 命名空间 ETHrobotlearning 基于 LeRobot 框架构建，README 未载明创建时间与作者，机构线索仅体现于该命名空间；其机器人类型为 so_follower，包含30条轨迹、5255帧、3项任务、10 fps，状态与动作均为六维关节位置，并配有前视RGB视频。该数据集的核心问题在于为SO follower平台提供可复用的操作示范，进而支持行为克隆、多任务策略学习与基准评测，对LeRobot生态中的机器人学习研究具有补充性价值。

当前挑战

面向真实机器人操作策略的习得与泛化，该数据集所涉领域问题集中于视觉-动作映射、小样本多任务学习、跨场景泛化与示范效率。构建过程中，真实机械臂示范采集需保证关节状态、动作指令与视频帧的时序同步，并完成任务切分、编码压缩与LeRobot v3.0格式标准化。当前数据规模仅30条轨迹、3项任务、5255帧、10 fps，且仅含单前视RGB观测，缺少深度、力觉与多视角信息，任务和环境多样性有限，易导致过拟合；README亦未提供论文、主页与引用，元数据不足，复现与语义理解受限。

常用场景

经典使用场景

在具身智能与机器人模仿学习日益倚重真实示教数据的背景下，task2dataset 的经典使用场景集中于以视觉-运动策略为核心的行为克隆训练。该数据集包含三十个操作回合、五千二百五十五帧同步样本，动作与观测状态均为六维关节位置及夹爪开合，伴以十帧每秒的前视视频，可支持策略网络从多模态观测到连续控制指令的端到端映射。研究者常借助 LeRobot 工具链加载 parquet 与视频流，开展回合级划分、时序建模和离线评估，从而复现抓取、放置或简易装配等任务中的示教学习流程。

衍生相关工作

围绕 LeRobot 生态，task2dataset 衍生出策略训练脚本、数据集可视化空间、格式转换工具与基准复现实验等关联工作。与同类机器人示教数据形态相近的经典研究，如 ACT、Diffusion Policy 等模仿学习策略，常被用于该数据的训练与评测流程；同时，Hugging Face 的 visualize_dataset 应用亦将其作为可交互检查对象。这些工作共同推动标准化数据接口、可复现策略比较和机器人学习工具链的完善。

数据集最近研究

最新研究方向

在具身智能与机器人模仿学习快速迭代的背景下，task2dataset依托LeRobot标准化数据管线，正成为低成本SO follower机械臂视觉-动作策略研究的重要支点。该数据集以10Hz频率记录30个回合、5255帧、3类任务，涵盖六维关节位置、夹爪状态与前视RGB视频，其前沿方向集中于多任务行为克隆、视觉-语言-动作模型微调以及跨任务泛化评估。关联热点包括Hugging Face LeRobot生态推动的开源机器人数据规范、ACT与Diffusion Policy等模仿学习算法复现，以及低成本硬件上的数据高效学习。该数据集的意义在于降低具身智能研究的数据门槛，增强实验可复现性，并为多任务操作策略从仿真向真实场景迁移提供可验证基准。