armed-picky-cleaned

Armed Picky - 针脚分拣数据集是一个用于训练SO-101机械臂将彩色针脚分拣到对应目标的数据集。该数据集的任务目标是将蓝色和绿色针脚分别放入圆形（胶带）和方形（盒子）目标中，并配有明确的语言指令。数据集包含50个 episodes，总计67,085帧，帧率为30 FPS，使用两台分辨率640x480的摄像头（正面和侧面）采集，视频编码为AV1。数据结构的动作部分包括6个自由度（shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper），观测部分包括6个关节位置的状态数据以及正面和侧面的摄像头图像。该数据集推荐使用SmolVLA进行训练，也支持ACT训练方法，并提供了在机器人上运行的指令。数据集是另一个数据集的清理版本，移除了1个不良episode并重新编号。许可证为MIT。

原始信息汇总

Armed Picky - Pin Sorting Dataset 概述

数据集基本信息

• 数据集名称: Armed Picky - Pin Sorting Dataset
• 托管地址: https://huggingface.co/datasets/chvainickas/armed-picky-cleaned
• 许可证: MIT
• 任务类别: 机器人学
• 相关标签: LeRobot, SO-101, 模仿学习, 拾取与放置, SmolVLA

任务描述

• 核心目标: 训练一个 SO-101 机械臂，将彩色图钉分类放入对应的目标区域。
• 具体任务: 将 2 个彩色图钉放入匹配的目标中。
  • 蓝色图钉 → 圆形目标（胶带标记）
  • 绿色图钉 → 方形目标（盒子）
• 语言指令: "Pick up the blue pin and place it in the circle. Pick up the green pin and place it in the square."

数据集详情

属性	值
机器人型号	SO-101 Follower
情节（Episodes）数量	50
总帧数	67,085
帧率（FPS）	30
相机数量	2（正面 + 侧面）
图像分辨率	640x480
视频编解码器	AV1

数据结构

动作（6自由度）

• shoulder_pan, shoulder_lift, elbow_flex
• wrist_flex, wrist_roll, gripper

观测数据

• observation.state: 6个关节位置。
• observation.images.front: 正面相机图像（640x480）。
• observation.images.side: 侧面相机图像（640x480）。

使用方法

加载数据集

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset dataset = LeRobotDataset("chvainickas/armed-picky-cleaned")

使用 SmolVLA 训练（推荐）

bash pip install -e ".[smolvla]" lerobot-train --policy.path=lerobot/smolvla_base --dataset.repo_id=chvainickas/armed-picky-cleaned --batch_size=32 --steps=20000 --output_dir=outputs/train/smolvla_armed_picky --policy.repo_id=chvainickas/smolvla-armed-picky --policy.device=cuda

使用 ACT 训练

bash lerobot-train --dataset.repo_id=chvainickas/armed-picky-cleaned --policy.type=act --output_dir=outputs/train/act_armed_picky --policy.repo_id=chvainickas/act-armed-picky --policy.device=cuda

在机器人上运行

bash lerobot-record --robot.type=so101_follower --robot.port=/dev/ttyACM0 --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, side: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" --dataset.single_task="Pick up the blue pin and place it in the circle. Pick up the green pin and place it in the square." --policy.path=chvainickas/smolvla-armed-picky

数据来源

此数据集是 Amirzon10/armed-picky 的清理版本，移除了1个无效的情节并重新编号了索引。

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据集构建领域，Armed Picky - Pin Sorting Dataset通过精心设计的实验流程采集而成。该数据集利用SO-101 Follower机器人手臂，在特定场景下执行颜色分类任务，即拾取蓝色和绿色两种颜色的插针并将其放置到对应的圆形与方形目标区域。数据采集过程包含50个完整操作片段，总计67,085帧图像数据，以每秒30帧的速率通过前置与侧置双摄像头同步记录，视频编码采用AV1格式，确保了视觉信息的完整性与高效存储。

特点

该数据集在机器人模仿学习领域展现出鲜明的技术特征。其观测数据包含六维关节位置状态以及双视角640x480分辨率的图像流，提供了丰富的空间与视觉信息。动作数据涵盖肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合六个自由度，精确刻画了机械臂的运动轨迹。数据集经过清洗处理，剔除了无效操作片段并重新编排索引，保证了数据质量与一致性，为颜色识别与精细操作任务提供了可靠的研究基础。

使用方法

研究人员可通过LeRobotDataset接口直接加载该数据集，便捷地获取结构化观测与动作序列。针对模型训练，推荐使用SmolVLA架构进行策略学习，通过指定数据集标识、批量大小与训练步数等参数即可启动训练流程；亦可选用ACT等替代算法进行对比实验。在实际机器人部署阶段，通过集成机器人控制端口与摄像头配置，能够将训练好的策略模型应用于真实SO-101机器人平台，实现语言指令驱动的在线任务执行与数据记录。

背景与挑战

背景概述

在机器人模仿学习领域，构建高质量的行为数据集是推动具身智能发展的关键基石。Armed Picky - Pin Sorting Dataset作为LeRobot项目的一部分，由研究人员chvainickas等人创建并发布，旨在为SO-101机械臂提供精准的拾取与放置任务演示数据。该数据集的核心研究问题聚焦于如何通过多模态观察数据与六自由度动作序列，训练机器人理解并执行基于自然语言指令的物体分拣操作。其50个演示片段、超过6.7万帧的双视角视觉数据，不仅为模仿学习与视觉语言动作模型提供了宝贵的训练资源，也促进了机器人任务泛化与指令跟随能力的研究进展。

当前挑战

该数据集致力于解决机器人模仿学习中复杂操作任务的泛化挑战，具体而言，是如何让机械臂在动态环境中准确理解颜色、形状对应的语言指令，并完成多步骤的精细分拣动作。构建过程中的挑战主要体现在数据采集与清洗环节：需要确保双摄像头视角的时空同步性，处理高维连续动作空间中的噪声与异常值，以及从原始演示中剔除无效或错误的操作片段以提升数据质量。此外，将原始视频编码为紧凑的AV1格式同时保持视觉细节，也对数据存储与传输效率提出了技术要求。

常用场景

经典使用场景

在机器人操作领域，模仿学习技术旨在通过观察人类演示来训练智能体执行复杂任务。Armed Picky - Pin Sorting Dataset 作为 LeRobot 生态系统的一部分，其经典使用场景聚焦于训练 SO-101 机械臂完成颜色分类的插销分拣任务。具体而言，该数据集通过提供 50 个演示片段，包含双视角视觉观测与六自由度动作数据，使模型能够学习如何根据自然语言指令“拾取蓝色插销放入圆形目标，拾取绿色插销放入方形目标”，精准地操控机械臂实现抓取与放置操作。这一场景典型地体现了视觉-语言-动作多模态融合在机器人精细操作中的核心价值。

衍生相关工作

围绕该数据集，已衍生出若干经典的算法与模型研究工作。例如，推荐使用的 SmolVLA 框架便是一种专为视觉-语言-动作任务设计的策略网络，它利用该数据集进行训练，实现了从多模态输入到机器人动作的端到端映射。同时，像 ACT 等模仿学习算法也在此数据集上进行了验证与优化，以提升其在多步骤操作任务中的性能。这些工作共同推动了机器人模仿学习领域的算法基准建立与性能评估，为后续研究如何整合更复杂的指令理解、长时程规划以及动态环境交互提供了重要的参考与起点。

数据集最近研究

最新研究方向

在机器人模仿学习领域，armed-picky-cleaned数据集凭借其精细标注的拾取放置任务，正推动视觉语言动作模型的前沿探索。当前研究聚焦于利用如SmolVLA等先进架构，将多视角视觉观测与自然语言指令深度融合，以提升模型在复杂场景下的泛化能力和动作精度。该数据集与SO-101机械臂的紧密结合，呼应了工业自动化中对柔性、可解释操作系统的迫切需求，为少样本学习与真实世界部署间的鸿沟搭建了关键桥梁，显著加速了具身智能从仿真到实际应用的转化进程。