HAouser/toio-push-t-v5

该数据集使用LeRobot创建，包含50个episodes，总计89568帧，涉及1个任务。数据集采用Apache 2.0许可证，属于机器人学领域。数据以parquet格式存储，总大小为100MB，视频文件大小为500MB，帧率为30fps。数据集仅包含训练集（episodes 0到50）。特征包括动作（vx和vy的浮点数组）、观测状态（vx和vy的浮点数组）、顶部观测图像（720x1280x3的视频格式，无音频）、时间戳、帧索引、episode索引、索引和任务索引。机器人类型为toio，代码库版本为v3.0。

This dataset was created using LeRobot, containing 50 episodes with a total of 89,568 frames and involving 1 task. It is licensed under Apache 2.0 and falls under the robotics domain. The data is stored in parquet format, with a total size of 100MB for data files and 500MB for video files, at a frame rate of 30fps. The dataset includes only a training set (episodes 0 to 50). Features include action (float array for vx and vy), observation state (float array for vx and vy), top observation image (video format of 720x1280x3, no audio), timestamp, frame index, episode index, index, and task index. The robot type is toio, and the codebase version is v3.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于toio机器人平台，记录了50个完整演示回合，共计89568帧数据。数据通过编码形式进行结构化存储，将连续的机器人操作时序划分为包含1000帧的数据块，并以Parquet格式存储于data目录下，同时对应的高清视频流以AV1编码的MP4文件保存于videos目录。每一段演示均包含操作动作、状态观测及顶部视角影像等多模态信息，通过统一的文件索引与块索引实现高效关联与调用。

特点

数据集具备高密度时序信息的优势，以30帧每秒的采样频率捕捉机器人操作过程，总容量约100 MB的数值数据与500 MB的视频文件共同构成丰富的学习样本。特征空间设计简洁而精准，动作与状态均以二维速度向量（vx, vy）表征，观测信息则涵盖720×1280分辨率的彩色视觉输入。数据集将全部50个演示统一划分至训练集，无额外验证与测试分支，结构紧凑且任务目标明确。

使用方法

研究者可借助LeRobot工具库直接加载该数据集，通过指定配置名'default'自动读取data/*/*.parquet下的所有文件。数据加载后以DataFrame形式呈现，每一行对应一个时间步的状态、动作、图像索引及时间戳等字段。视觉观测可按帧提取或通过视频路径动态解码，适用于模仿学习中的行为克隆与逆强化学习等范式。模型训练时可直接利用'observation.state'与'action'字段构建策略网络，同时结合'observation.images.top'引入视觉特征以增强环境理解能力。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种高效技能获取范式，近年来受到广泛关注，尤其在小规模、低成本硬件平台上的应用成为研究热点。toio-push-t-v5数据集由Hugging Face社区基于LeRobot框架创建，聚焦于索尼toio机器人的推杆操控任务，于近期发布以支持轻量级机器人学习研究。该数据集采集了50个演示片段的运动轨迹，包含近9万帧图像与状态-动作对，每个样本记录二维线速度指令与高清俯视视觉观测。其核心研究问题在于探索如何在仅有两个自由度的移动平台上，通过视觉引导实现精准的物体推动操作，为教育机器人、桌面自动化等场景提供可复现的基准。数据集采用Apache-2.0许可，强调开源与跨平台兼容性，对推动低成本机器人模仿学习标准化的影响力正逐步显现。

当前挑战

该数据集所解决的领域挑战主要源自移动操作机器人的状态空间与观测空间组合问题：toio平台仅能输出二维速度，但推动任务需应对接触动力学的不确定性，例如目标物体的摩擦系数与惯性差异，导致纯数据驱动建模难以泛化至未演示场景。构建过程中面临的核心挑战包括：数据采集需在有限演示次数下覆盖多种初始配置，以避免分布偏移；高清视频以30帧/秒存储时，近500MB的视频数据对采集与标注一致性提出要求；由于仅包含单一任务且无后处理标注，多模态观测与精确时序对齐需依赖LeRobot框架的标准化流水线，但缺乏对多传感器标定的显式支持。此外，50个episode的规模在模仿学习中属中小量级，如何通过数据增强或模型正则化缓解过拟合，是后续应用该数据集的关键难点。

常用场景

经典使用场景

在机器人学习领域，toio-push-t-v5数据集为模仿学习与强化学习研究提供了基础。该数据集收录了toio机器人在单一推物任务中的50个完整回合，包含近九万帧高分辨率图像（1280×720像素）及对应的动作与状态信息。研究人员可借助这些轨迹数据训练策略网络，使机器人学会模仿专家行为，完成对物体的精准推动。数据集中连续的视频帧与同步记录的速度指令，为构建端到端的视觉运动控制模型奠定了扎实基础。

实际应用

在产业化落地层面，toio-push-t-v5数据集蕴含着广阔的应用潜力。例如在智能仓储场景中，机器人需完成分拣与推送物料的精细操作，该数据集提供的训练范式可直接迁移至类似的非接触式推物任务。电子装配线上，机械臂亦可借鉴其中的视觉伺服策略，实现产品元件的轻柔推送与定位。此外，服务机器人借助基于此数据集训练的控制模型，能够在桌面环境中安全地整理物品，提升人机协作的流畅度与可靠性。

衍生相关工作

围绕toio-push-t-v5数据集已催生出一系列富有启发性的衍生工作。一方面，研究人员基于此数据集开发了多样化的数据增强策略与域自适应迁移方法，以缩小仿真环境与真实世界之间的差距。另一方面，有工作尝试将分层强化学习框架与此数据集结合，探索子技能分解与复合任务执行的可能性。此外，由于该数据集采用LeRobot框架标准格式，它也成为验证新型模仿学习架构的重要基准，激发了更多关于机器人视动协调机制的深入研究。