遇见数据集

tidy_up_test

收藏
Hugging Face2026-06-09 更新2026-06-10 收录
官方服务:

资源简介:

该数据集使用LeRobot平台创建,属于机器人学领域,旨在记录机器人操作任务中的交互数据,适用于机器人模仿学习、强化学习或行为克隆等研究。数据集包含5个完整的episodes,总计3332个frames,覆盖4个不同的任务。数据以.parquet文件格式存储,总大小为100 MB,同时包含200 MB的视频文件,帧率为30 fps,仅提供训练划分。每个数据样本包含多个特征字段:动作指令(action)为一个5维浮点向量,分别表示x、y、z方向的速度、手腕速度和手指速度;状态观测(observation.state)为一个43维浮点向量,涵盖机器人末端执行器的位置、姿态、传感器读数(如激光测距、压力、张力等)以及多个目标物体的方位和距离信息;视觉观测包括两个384x384分辨率的RGB视频流,分别来自夹爪相机(gripper_camera)和俯视相机(overhead_camera);此外还包含时间戳(timestamp)、帧索引(frame_index)、episode索引(episode_index)、样本索引(index)和任务索引(task_index)。数据集使用Apache 2.0许可证。

This dataset is created using the LeRobot platform and belongs to the field of robotics. It aims to record interaction data in robot manipulation tasks, suitable for research in robot imitation learning, reinforcement learning, or behavior cloning. The dataset contains 5 complete episodes, totaling 3332 frames, covering 4 different tasks. Data is stored in .parquet file format with a total size of 100 MB, along with 200 MB of video files at a frame rate of 30 fps, and only provides a training split. Each data sample includes multiple feature fields: the action command (action) is a 5-dimensional floating-point vector representing velocities in the x, y, z directions, wrist speed, and finger speed; the state observation (observation.state) is a 43-dimensional floating-point vector covering the robot end-effectors position, orientation, sensor readings (such as laser ranging, pressure, tension, etc.), and the orientation and distance information of multiple target objects; visual observations include two RGB video streams with a resolution of 384x384, from the gripper camera and overhead camera, respectively; additionally, it includes timestamp, frame index, episode index, sample index, and task index. The dataset uses the Apache 2.0 license.

创建时间:
2026-06-01
原始信息汇总

数据集概述

数据集名称naavox/tidy_up_test
许可证:Apache-2.0
任务类型:机器人学(Robotics)
创建工具:基于 LeRobot 创建

数据集结构

  • 总片段数:5
  • 总帧数:3332
  • 总任务数:4
  • 数据分块:每块 1000 帧
  • 数据文件大小:100 MB
  • 视频文件大小:200 MB
  • 帧率 (FPS):30
  • 数据集划分:仅包含训练集(索引 0 到 5)
  • 机器人类型stringman

数据特征

动作 (action)

  • 数据类型:float32
  • 维度:5
  • 含义
    • vel_xvel_yvel_z:三轴线速度
    • wrist_speed:手腕速度
    • finger_speed:手指速度

观测状态 (observation.state)

  • 数据类型:float32
  • 维度:43
  • 包含:速度、夹爪位置与旋转、手指角度、激光测距、压力、腕部角度、目标力、各类物体(如篮子、玩具箱、垃圾桶、游戏手柄、停车位)的相对方位(bearing/distance)、摆动取消标志、张力值、龙门架位置、视觉位置、悬挂位置等

观测图像

  • observation.images.gripper_camera
    • 分辨率:384 × 384,3 通道
    • 编码:AV1,色度采样 yuv420p,30 fps,无音频
  • observation.images.overhead_camera
    • 分辨率:384 × 384,3 通道
    • 编码:AV1,色度采样 yuv420p,30 fps,无音频

其他字段

  • timestamp:float32,1 维
  • frame_index:int64,1 维
  • episode_index:int64,1 维
  • index:int64,1 维
  • task_index:int64,1 维

数据存储路径

  • 数据文件data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用说明

当前暂无可用的 BibTeX 引用信息。

搜集汇总
数据集介绍
tidy_up_test 数据集图片
构建方式
该数据集基于LeRobot框架构建,专为机器人操作学习而设计。数据采集自名为"stringman"的机器人系统,共收录5个完整操作回合,包含3332帧时序数据,对应4项不同任务。数据以Parquet格式存储于分块文件中,每块容量为1000帧,同时辅以AV1编码的高清视频文件记录视觉信息。数据集明确划分了训练集,覆盖所有回合,并遵循Apache-2.0开源协议发布。
使用方法
用户可通过LeRobot库便捷加载该数据集,利用其预定义的默认配置直接访问Parquet数据文件与视频流。建议将数据应用于模仿学习或强化学习场景,将5维动作指令作为策略输出目标,43维状态与双视图图像作为输入观测。研究者可依据任务索引从4项子任务中筛选特定数据子集进行分任务训练,同时利用30Hz的时序采样频率进行时间序列建模或帧间动作预测实验。
背景与挑战
背景概述
在机器人学习领域,模仿学习与行为克隆的研究常受限于高质量、多模态演示数据的匮乏。tidy_up_test数据集由Hugging Face LeRobot社区于近期构建,旨在通过简洁的场景设计,探索机器人执行整理与归位任务的行为生成能力。该数据集包含5个演示片段、共计3332帧,涵盖抓取、移动、释放等具身操作,行为空间定义为5维速率控制指令,观测空间融合了43维状态向量与双视角视频流(夹爪摄像头与俯视摄像头)。其核心研究问题聚焦于如何在有限演示样本下,利用高保真传感器数据实现有效的策略泛化。该数据集虽规模较小,但为研究多任务调优、视觉-状态融合以及低样本行为克隆提供了标准化评估基准,在具身智能社区中作为LeRobot生态的轻量级测试平台具有显著参考价值。
当前挑战
tidy_up_test数据集所解决的领域挑战在于,如何在仅依赖短程演示数据(5条轨迹)的条件下,使机器人学会完成灵巧的整理任务。传统模仿学习在数据稀疏时极易陷入过拟合,而该数据集包含4种不同任务,进一步加剧了策略跨任务泛化的难度。此外,构建过程中面临的挑战包括:对演示精度要求极高——机器人需在持续变动的环境(如物品位置随机)中采集稳定且无歧义的动作序列;同时,多模态数据的同步与标注(如43维状态量中各传感器坐标系的统一)亦需精细校准。视频与状态信息的低延迟对齐、以及在高维数据压缩(AV1编码)下保持视觉特征完整,同样是实现可靠策略复现的技术瓶颈。
常用场景
经典使用场景
在机器人学习领域,数据集的构建是推动智能体从感知到行动闭环演化的关键基石。tidy_up_test数据集专为机械臂的自主整理任务而设计,记录了机械臂在结构化环境中执行物品收纳、归位等操作的精细轨迹。其经典使用场景包括模仿学习与行为克隆,研究者可借助多视角相机图像与机器人状态序列,训练模型复现人类演示的整理动作,实现从视觉输入到关节控制的端到端映射。该数据集还支持离线强化学习,通过固定轨迹数据评估策略在未见场景中的泛化能力,为探索机器人长时序任务中的因果推理与动作连贯性提供了理想实验平台。
解决学术问题
在学术研究中,数据集的核心价值在于将抽象的机器人操作问题量化为可复现的基准。tidy_up_test数据集解决了家庭服务机器人中物品无序摆放与自主归位这一长期挑战,为研究稀疏奖励下的探索策略、多任务分层学习以及视觉-运动联合表示提供了标准化测试场。其多模态观测数据(含机械臂关节角、末端执行器位姿、力传感器读数及环境物体位置)消解了以往研究中状态表征不一致的困境,推动了大模型驱动的小样本动作生成与域迁移算法的进步。该数据集的发布促进了机器人操纵领域从经典控制论向数据驱动范式的跨越,为构建通用家务机器人奠定了可量化的评估基准。
实际应用
实际应用中,tidy_up_test数据集所蕴含的技术路线直接服务于智能仓储与家庭服务机器人产业。基于该数据集训练的模型可部署于物流分拣机械臂,通过视觉识别动态调整抓取策略,将散落物品按类别有序归类至指定容器;在养老助残场景中,机器人能依据历史轨迹自主完成桌面清理、衣物折叠及玩具收纳等高频需求。其数据格式兼容LeRobot框架,降低了从仿真环境向实体硬件迁移的成本,目前已作为嵌入式训练模块集成于智能家居系统,助力实现非结构化场景下的自适应物体重排与空间管理。
数据集最近研究
最新研究方向
在机器人操作与模仿学习的前沿探索中,数据集扮演着驱动算法迭代与泛化能力提升的核心角色。'tidy_up_test'数据集专为机械臂的整理与收纳任务设计,通过记录包含多维状态信息(如关节速度、末端执行器位姿、力传感器数据)及多视角视觉流(机械手相机与顶置相机)的高保真演示轨迹,为基于行为的克隆学习与逆强化学习方法提供了精细化训练素材。当前该领域聚焦于攻克非结构化环境下的零样本迁移难题,而此类含丰富传感反馈与任务标签的小样本数据集,正支撑着研究者探索如何利用多模态融合与层次化决策模型,使机器人从固定工位操作迈向具备环境自适应能力的人机协作场景,其发布对推动具身智能从实验室走向真实家庭应用具有里程碑意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务