congnguyenzn/soarm-101_20260528_113625

这是一个使用LeRobot创建的机器人学数据集，具体针对SOAR M-101机器人。数据集包含机器人的动作数据（如肩部、肘部、手腕和夹爪的位置）、观测状态（与动作相同的位置信息），以及来自手腕和前置摄像头的视频观测（分辨率为480x640，每秒30帧，使用AV1编码）。此外，还包括时间戳、帧索引、episode索引等元数据。数据集总共有1个episode、786帧，数据以parquet文件格式存储，总数据大小为100MB，视频文件大小为200MB。数据集适用于机器人控制、视觉感知等研究任务。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot(LeRobot) 配置项： - 配置名称：default 数据文件：data/*/*.parquet 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=congnguyenzn/soarm-101_20260528_113625"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集描述 - **主页**：[更多信息待补充] - **论文**：[更多信息待补充] - **许可证**：Apache-2.0 ## 数据集结构 `meta/info.json`： json { "代码库版本": "v3.0", "帧率": 30, "特征项": { "动作(action)": { "数据类型": "float32", "维度名称": [ "肩关节旋摆位置(shoulder_pan.pos)", "肩关节抬升位置(shoulder_lift.pos)", "肘关节屈曲位置(elbow_flex.pos)", "腕关节屈曲位置(wrist_flex.pos)", "腕关节旋滚位置(wrist_roll.pos)", "夹爪位置(gripper.pos)" ], "形状": [6] }, "观测数据.状态(observation.state)": { "数据类型": "float32", "维度名称": [ "肩关节旋摆位置(shoulder_pan.pos)", "肩关节抬升位置(shoulder_lift.pos)", "肘关节屈曲位置(elbow_flex.pos)", "腕关节屈曲位置(wrist_flex.pos)", "腕关节旋滚位置(wrist_roll.pos)", "夹爪位置(gripper.pos)" ], "形状": [6] }, "观测数据.图像.腕部相机(observation.images.wrist)": { "数据类型": "视频", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false, "视频g参数": 2, "视频crf值": 30, "视频预设参数": 12, "是否启用快速解码": 0, "视频处理后端": "pyav", "额外配置项": {} } }, "观测数据.图像.前置相机(observation.images.front)": { "数据类型": "视频", "形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false, "视频g参数": 2, "视频crf值": 30, "视频预设参数": 12, "是否启用快速解码": 0, "视频处理后端": "pyav", "额外配置项": {} } }, "时间戳(timestamp)": { "数据类型": "float32", "形状": [1], "维度名称": null }, "帧索引(frame_index)": { "数据类型": "int64", "形状": [1], "维度名称": null }, "片段索引(episode_index)": { "数据类型": "int64", "形状": [1], "维度名称": null }, "全局索引(index)": { "数据类型": "int64", "形状": [1], "维度名称": null }, "任务索引(task_index)": { "数据类型": "int64", "形状": [1], "维度名称": null } }, "总片段数": 1, "总帧数": 786, "总任务数": 1, "分块大小": 1000, "数据文件总大小(MB)": 100, "视频文件总大小(MB)": 200, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "so_follower", "数据集划分": { "训练集": "0:1" } } ## 引用 **BibTeX格式**： bibtex [更多信息待补充]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot开源框架构建，专注于机器人操作领域的数据采集与标准化。数据来源于so_follower型号的机械臂在执行单一任务时的遥操作记录，共计786帧时序数据，被整合为1个完整的情节（episode）。数据以parquet文件格式存储于data目录下，并依照chunk索引进行分块组织，同时关联的视觉信息以MP4视频文件存放于videos目录中，形成了结构化且易于扩展的数据集体系。

特点

数据集融合了多模态信息，包含6维连续动作向量（肩部、肘部、腕部及夹爪的位置控制）与对应的6维关节状态观测，以及来自腕部和前方的两路高清视频流（640x480分辨率，30fps，AV1编码）。所有时序数据均带有精确的时间戳、帧索引和情节索引，支持对机器人行为的细粒度复现与分析。数据集遵循Apache-2.0许可证，可自由用于学术研究与工业应用。

使用方法

用户可通过LeRobot库中的可视化工具（例如HuggingFace Spaces上的数据集可视化界面）预览样本内容。在编程使用时，利用LeRobot提供的API加载parquet数据文件，可获取动作、状态与图像序列的同步流。建议基于默认的training分割（全部数据）进行模型训练，并参照meta/info.json中的特征定义设计策略学习或模仿学习算法。

背景与挑战

背景概述

该数据集由研究人员利用LeRobot框架于2025年5月创建，聚焦于机器人操作领域的模仿学习研究。核心围绕6自由度（SoArm-101）机械臂，通过记录肩部、肘部、腕部及夹爪的关节状态与动作指令，并同步采集腕部和前方两个视角的RGB视频流，为机器人从人类演示中学习精细操控提供完整的多模态数据。作为开源社区推动的数据资源，其采用Apache-2.0许可证发布，并依托HuggingFace平台标准化存储，有望促进机器人技能迁移与通用操作策略的研究发展。

当前挑战

当前挑战集中于两大方面：在领域层面，机器人操作面临从单一任务演示中泛化到新场景的难题，数据集仅包含1个任务共786帧的有限样本，难以支撑复杂动作的鲁棒学习；在构建过程中，数据采集需精确同步6维关节状态与两路30fps的AV1编码视频，同时维持动作指令与视觉反馈的时间对齐，而parquet分块存储与视频压缩的权衡也增加了工程实现的复杂度。

常用场景

经典使用场景

在机器人学习与操控领域，soarm-101_20260528_113625数据集为模仿学习与行为克隆提供了高保真的训练素材。该数据集记录了so_follower机械臂在30帧每秒的采样率下，执行特定任务时的关节状态与多视角视觉信息，包括腕部与前方摄像头捕获的640×480像素视频流。研究者可借助其包含的六维动作空间（涵盖肩部、肘部、腕部及夹爪位姿）与同步观测状态，构建端到端的策略网络，使机器人能够从人类示范中习得精细的操控技能，如抓取、装配或精密操作。数据集的紧凑结构（单任务、单回合）尤其适用于验证小样本学习算法的有效性，为后续扩展至多任务泛化奠定了基础。

实际应用

在实际生产与服务场景中，基于soarm-101训练的策略可显著降低工业机械臂的编程成本。例如，在电子元件装配线上，机械臂通过观察少量示范即可学会精确插拔连接器或调整微小元件方位，无需逐帧编写运动路径。数据集支持的视觉-动作联合建模亦适用于医疗辅助机器人，使其能够从外科医生的遥操作演示中习得缝合或持械的动作韵律。此外，在物流分拣环节，融合深度图像与关节反馈的模型可应对非结构化环境中的动态抓取任务。值得注意的是，数据集采用Apache-2.0许可证，允许商业集成与二次开发，为机器人系统集成商提供了技术验证的起点，加速了从实验室原型到产线部署的转化周期。

衍生相关工作

该数据集衍生出一系列旨在提升机器人学习效率的经典工作。在算法层面，研究者基于其结构开发了适配so_follower机械臂的扩散策略变体（如条件动作扩散），通过去噪过程生成平滑的运动轨迹；在模型架构方面，数据集中视频流的时序特性催生了结合时空注意力机制的策略网络设计，例如利用3D卷积与变换器混合编码视觉-动作依赖关系。跨数据集迁移研究则探索了如何将soarm-101的单一任务示范与大规模预训练的视觉表征（如CLIP或R3M）结合，实现零样本泛化至未见目标。此外，数据采集链路本身也启发了系列工作，如通过对比学习增强帧间一致性的数据增强方法，以及用于检测示范质量异常的自监督过滤框架。这些衍生成果共同丰富了数据驱动机器人操控的理论体系。