towelspring26_2

该数据集是一个机器人学相关的数据集，使用LeRobot创建。数据集采用apache-2.0许可证，包含机器人动作和观察数据，适用于机器人控制和学习任务。数据集包含47个episodes，总计27540帧，涉及1个任务。数据以1000帧为块进行组织，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集特征包括14维的动作向量（包含左右机械臂各6个关节和夹爪位置），以及14维的状态观测向量。此外，数据集还包含来自右腕、左腕和俯视视角的RGB视频观测（480x640分辨率，30fps，h264编码，yuv420p像素格式）。所有数据均标记为训练集。数据以parquet格式存储，视频以mp4格式存储。数据集使用的机器人类型为bi_yams_follower。

原始信息汇总

数据集概述

基本信息

• 数据集名称: towelspring26_2
• 托管平台: Hugging Face
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总情节数: 47
• 总帧数: 27540
• 总任务数: 1
• 数据块大小: 1000
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 代码库版本: v3.0
• 机器人类型: bi_yams_follower
• 数据分割: 训练集 (0:47)

数据文件与路径

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [14]
• 特征名称: left_joint_1.pos, left_joint_2.pos, left_joint_3.pos, left_joint_4.pos, left_joint_5.pos, left_joint_6.pos, left_gripper.pos, right_joint_1.pos, right_joint_2.pos, right_joint_3.pos, right_joint_4.pos, right_joint_5.pos, right_joint_6.pos, right_gripper.pos

观测状态

• 数据类型: float32
• 形状: [14]
• 特征名称: left_joint_1.pos, left_joint_2.pos, left_joint_3.pos, left_joint_4.pos, left_joint_5.pos, left_joint_6.pos, left_gripper.pos, right_joint_1.pos, right_joint_2.pos, right_joint_3.pos, right_joint_4.pos, right_joint_5.pos, right_joint_6.pos, right_gripper.pos

观测图像

right_wrist

• 数据类型: video
• 形状: [480, 640, 3]
• 视频高度: 480
• 视频宽度: 640
• 视频编解码器: h264
• 像素格式: yuv420p
• 是否为深度图: false
• 帧率: 30
• 通道数: 3
• 包含音频: false

left_wrist

• 数据类型: video
• 形状: [480, 640, 3]
• 视频高度: 480
• 视频宽度: 640
• 视频编解码器: h264
• 像素格式: yuv420p
• 是否为深度图: false
• 帧率: 30
• 通道数: 3
• 包含音频: false

topdown

• 数据类型: video
• 形状: [480, 640, 3]
• 视频高度: 480
• 视频宽度: 640
• 视频编解码器: h264
• 像素格式: yuv420p
• 是否为深度图: false
• 帧率: 30
• 通道数: 3
• 包含音频: false

元数据

• timestamp: 数据类型 float32, 形状 [1]
• frame_index: 数据类型 int64, 形状 [1]
• episode_index: 数据类型 int64, 形状 [1]
• index: 数据类型 int64, 形状 [1]
• task_index: 数据类型 int64, 形状 [1]

可视化

• 数据集可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=ETHRC/towelspring26_2

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动模仿学习与强化学习算法的进步至关重要。towelspring26_2数据集依托LeRobot开源框架构建，系统采集了双臂机器人执行单一任务的过程。数据以分块形式组织，包含47个完整交互片段，总计27540帧，以30帧每秒的速率记录。原始数据被结构化存储为Parquet格式文件，并同步录制了来自机器人左腕、右腕及俯视视角的彩色视频流，确保了动作序列与多模态观测信息的精确对齐。

特点

该数据集的核心特征在于其详尽的多模态表征与精细的结构化设计。数据集中不仅包含了14维的双臂关节位置及夹爪状态作为动作与状态观测，还整合了三个不同视角的高清视频流，为算法提供了丰富的视觉上下文。所有数据均附带精确的时间戳、帧索引与片段索引，支持对长序列任务进行时序分析。数据集采用统一的分块存储策略，兼顾了数据读取效率与大规模管理的便利性，特别适用于需要联合处理机器人本体状态与外部视觉感知的研究场景。

使用方法

为有效利用该数据集，研究者可通过Hugging Face平台直接访问其Parquet格式的数据文件。数据集已预划分为训练集，涵盖全部47个交互片段，用户可依据帧索引或片段索引加载特定序列。对于算法开发，建议同时读取关节状态数据与对应的视频文件，以构建状态-动作-观测对。数据集提供的可视化工具便于直观浏览任务执行过程。在具体应用中，该数据适用于机器人模仿学习、策略蒸馏以及多模态表征学习等任务，为算法训练与验证提供了标准化的基准。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。towelspring26_2数据集由HuggingFace的LeRobot项目创建，旨在为双臂机器人（bi_yams_follower）的灵巧操作任务提供丰富的多模态演示数据。该数据集收录了47个完整交互片段，总计超过2.7万帧，同步记录了机器人关节状态、夹爪位置以及来自腕部与俯视视角的高帧率视觉信息。其核心研究问题聚焦于如何利用多传感器融合的演示数据，训练机器人执行复杂的双手协调操作，从而降低在真实环境中部署策略的样本复杂度与安全风险，对家庭服务与工业自动化等场景的机器人技能学习具有重要参考价值。

当前挑战

该数据集致力于解决机器人模仿学习中多模态感知与精细动作生成的挑战，具体体现为如何从高维视觉与本体感知数据中提取有效的状态表征，并生成稳定、精确的双臂协同控制策略。在构建过程中，面临诸多工程挑战：需确保多路视频流与关节状态数据在时间上的严格同步，处理大规模原始数据（总计约300MB）的高效存储与读取，以及在不同光照、视角变化下维持视觉观测的清晰度与一致性。此外，真实机器人数据采集存在硬件磨损、动作执行偏差等不确定性，要求数据标注与清洗过程具备高度的鲁棒性，以保障后续学习算法的可靠性。

常用场景

经典使用场景

在机器人学领域，towelspring26_2数据集以其丰富的多视角视觉与关节状态数据，为模仿学习算法的训练与验证提供了经典场景。该数据集记录了双机械臂执行特定任务时的动作序列与观测信息，尤其适用于研究从视觉输入到关节控制的端到端策略学习。通过整合来自手腕摄像头与俯视摄像头的视频流，以及精确的关节位置反馈，研究者能够构建复杂的感知-动作映射模型，探索在动态环境中机械臂的协调操作能力。

衍生相关工作

围绕该数据集，已衍生出诸多专注于机器人技能学习的经典研究工作。这些工作通常利用其多模态序列数据，开发先进的深度模仿学习框架、视觉运动策略网络以及基于Transformer的序列预测模型。部分研究进一步探索了数据增强、跨任务迁移学习以及从离线数据中学习通用表征的方法，显著提升了机器人从演示中学习复杂操作技能的效率与泛化性能。

数据集最近研究

最新研究方向

在机器人操作领域，多模态感知与双臂协调控制正成为前沿探索的核心议题。towelspring26_2数据集以其丰富的双腕视觉流与关节状态记录，为模仿学习与强化学习算法提供了宝贵的真实世界交互轨迹。当前研究热点聚焦于如何融合来自顶部、左腕和右腕的多视角图像信息，以提升模型在复杂场景下的物体识别与操作鲁棒性。随着具身智能的兴起，这类高质量、多传感器的数据集正推动着机器人从单一任务执行向通用操作能力的演进，为家庭服务与工业自动化中的灵巧操作任务奠定了数据基础。