kurah/newah-s2-soft-v5_bh

该数据集是一个机器人学数据集，由LeRobot工具创建，专门用于newah机械臂（仅手臂部分）的控制任务。数据包含103个episodes，总计20397帧，帧率为30fps。数据集特征包括：观察状态（5个关节角度：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转）、动作（对应5个关节角度）、两个摄像头视频（工作空间和手腕视角，分辨率480x640，RGB三通道）、目标位置（2D坐标x和y），以及时间戳、帧索引、episode索引等元数据。数据以parquet文件格式存储，总大小约300MB（数据文件100MB，视频文件200MB），适用于机器人动作模仿或强化学习任务。This dataset is a robotics dataset created using the LeRobot tool, specifically designed for control tasks with the newah arm (arm only). It contains 103 episodes, totaling 20397 frames at 30 fps. Features include: observation state (5 joint angles: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll), action (corresponding 5 joint angles), two camera videos (workspace and wrist views, resolution 480x640, RGB three channels), target position (2D coordinates x and y), and metadata such as timestamp, frame index, episode index. The data is stored in parquet format, with a total size of approximately 300MB (data files 100MB, video files 200MB), suitable for robot imitation learning or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操控任务设计。数据采集自newah机械臂（So-Arm系列），以30帧每秒的采样频率记录机械臂的5维关节状态（肩关节旋转、肩关节俯仰、肘关节弯曲、腕关节俯仰与腕关节旋转）及对应的动作指令。同时，通过工作台视角与腕部视角的双路摄像头，采集分辨率达640×480像素的RGB视频流，为视觉-运动策略学习提供丰富的多模态信息。此外，数据集还包含二维目标位置（target_x与target_y）作为任务导向的监督信号。全部数据以Parquet格式存储结构化的时间序列，视频则采用AV1编码压缩，在保证画质的同时兼顾存储空间效率。

特点

数据集共包含103个完整演示片段，累计约20,397帧（约合11.3分钟）的密集连续轨迹，数据体积约100MB，视频文件约200MB，展现出中小规模但高度聚焦的精细操控特性。其核心特色在于同步记录5自由度关节状态与动作标签，并辅以双视角视觉输入，构成典型的状态-动作-图像三元组结构。特别引入的target监督信号赋予数据集明确的任务目标，便于评估策略在点到达等基础操控任务中的泛化能力。所有数据按序列索引与片段索引统一编排，并预先划分训练集，极大简化了模型训练中的数据加载流程。

使用方法

该数据集适用于基于模仿学习的行为克隆（BC）及以ACT为代表的基于Transformer的端到端策略训练。用户可借助LeRobot库中提供的Dataset接口直接加载Parquet文件与压缩视频，自动对齐状态、动作与图像序列，并通过episode_index和frame_index高效采样连续轨迹片段。在使用时，建议将observation.state与action向量作为策略网络的输入输出，同时将双路图像经预处理后注入视觉编码器，以构建空间感知的运动策略。数据集内仅包含单一任务，适合作为控制算法的初步验证基准，也可通过重采样与数据增强扩展为多任务学习的子集。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖高质量、低成本的数据集以驱动技能泛化。newah-s2-soft-v5_bh由研究团队kurah依托LeRobot平台创建，采用Apache-2.0许可，专为双臂协作任务设计。该数据集于2024年前后发布，聚焦于newah_arm_only机械臂的5自由度关节空间控制（肩部、肘部、腕部），通过30 FPS的RGB视频观测及目标位置信号，记录了103个演示片段共20,397帧。其构建旨在解决灵巧操作中数据采集成本高、复现性差的难题，为ACT（Action Chunking with Transformers）等算法提供标准化的训练与评估基准，推动机器人从预设编程向数据驱动策略的范式转变。

当前挑战

数据集面临的核心挑战：首先，领域问题层面，机械臂在非结构化环境中执行精准操作时，需要同时处理高维视觉-关节空间映射与长程时序依赖性，现有数据量（仅103个片段）可能不足以支撑复杂任务的泛化，且单任务设定限制了迁移学习能力。其次，构建过程中，数据采集依赖示教复现，面临硬件一致性保障（如关节零点偏移）、视点变化下的图像质量鲁棒性，以及parquet格式与视频编码（AV1）的大规模存储与实时处理优化等问题。此外，状态空间假设固定（5维关节角+2维目标），未涵盖动态障碍或力反馈信息，削弱了数据集在接触性任务中的适用性。

常用场景

经典使用场景

在机器人学习领域，newah-s2-soft-v5_bh数据集被广泛用于模仿学习算法的训练与评估。该数据集收录了通过遥操作采集的SO-ARM机械臂运动数据，包含5自由度的关节状态观测值、对应的控制动作以及来自工作台和腕部摄像头的视觉信息。研究者常利用此数据集训练基于行为克隆或ACT（Action Chunking with Transformers）的策略网络，使机械臂能够从演示中习得精确的末端执行器操控能力。数据集的单任务设定（总任务数为1）简化了学习问题的复杂性，而30Hz的高采样频率和超过两万帧的样本量，为动态动作预测模型的稳定性验证提供了坚实基础。

解决学术问题

该数据集为解决机器人领域中从示范数据学习操控策略的核心难题提供了标准化测试平台。具体而言，它有助于研究如何在有限演示数据下泛化到新目标位置（通过observation.target字段反映），以及如何融合视觉观测与低维状态信息以提升策略的鲁棒性。学术贡献在于，它填补了开源SO-ARM机械臂专用数据集的空白，推动了关于动作块编码（如ACT方法）在连续控制任务中有效性、视觉-运动表征解耦等前沿问题的量化分析。该数据集的出现助力评估了不同网络架构在真实硬件数据上的迁移性能，从而加速了可复现的机器人学习研究进程。

衍生相关工作

围绕该数据集衍生出一系列重要的研究工作，尤以动作块编码与视觉预训练方向的进展最为突出。例如，利用ACT（Action Chunking with Transformers）架构在该数据上进行的消融实验，揭示了时间序列预测长度对任务成功率的影响规律。同时，由于数据集包含了不同视角的视觉流，研究者将其作为视频预测模型与行为克隆结合的代表性案例，推动了Temporal Ensemble等集成策略在机器人领域的应用。此外，数据集的Parquet格式存储及与LeRobot库的无缝对接，催生了多项关于机器人数据标准化与高效加载的工程优化工作，至今仍是领域内数据共享范式的重要参考基准。