ninjaoden/nmini_pick

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=ninjaoden/nmini_pick">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "nmini_follower",
"total_episodes": 50,
"total_frames": 22450,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:50"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"larm_joint0.pos",
"larm_joint1.pos",
"larm_joint2.pos",
"larm_joint3.pos",
"larm_joint4.pos",
"larm_joint5.pos",
"larm_finger_joint.pos"
],
"shape": [
7
]
},
"observation.state": {
"dtype": "float32",
"names": [
"larm_joint0.pos",
"larm_joint1.pos",
"larm_joint2.pos",
"larm_joint3.pos",
"larm_joint4.pos",
"larm_joint5.pos",
"larm_finger_joint.pos"
],
"shape": [
7
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动模仿学习与强化学习算法的进展至关重要。nmini_pick数据集依托LeRobot平台构建，通过nmini_follower机器人执行拾取任务，采集了50个完整交互片段，共计22450帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。同时，数据集配套了前视与腕部视角的双路视频，以30帧每秒的速率记录，为视觉感知研究提供了丰富的多模态信息。

使用方法

研究人员可利用该数据集进行机器人模仿学习或离线强化学习模型的训练与评估。数据以分块Parquet文件组织，便于通过LeRobot工具链直接加载与可视化。用户可依据帧索引或片段索引提取对应的关节状态、动作指令及同步视频帧，构建端到端的训练样本。数据集已预设训练划分，覆盖全部50个交互片段，可直接用于模型训练，并通过配套的视频文件进行定性分析验证。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的实际应用至关重要。nmini_pick数据集应运而生，它由Hugging Face的LeRobot项目创建，专门针对Nmini Follower型机器人手臂的拾取任务。该数据集收录了50个完整交互片段，包含超过两万帧的多模态观测数据，如关节状态、前视与腕部摄像头视频，旨在为机器人灵巧操作研究提供宝贵的真实环境演示数据。其构建依托开源社区力量，采用Apache 2.0许可，体现了开放科学精神，有望促进机器人行为克隆与策略学习模型的实证研究。

当前挑战

nmini_pick数据集致力于解决机器人模仿学习中拾取操作的泛化性与鲁棒性挑战，其核心问题在于如何从有限的真实演示中学习可迁移的抓取策略。数据构建过程面临多重困难：真实机械臂数据采集成本高昂，需确保动作轨迹的平滑性与安全性；多传感器时序对齐复杂，前视与腕部视觉信息需与关节状态精确同步；此外，演示数据的多样性与任务覆盖度有限，仅包含单一任务，可能制约模型应对环境变化的能力。这些挑战共同指向了真实世界机器人数据集的稀缺性与复杂性难题。

常用场景

经典使用场景

在机器人学习领域，nmini_pick数据集为模仿学习与强化学习算法的训练与验证提供了关键支持。该数据集通过记录nmini_follower机器人在执行拾取任务时的关节位置、图像观察及时间序列数据，构建了一个多模态交互环境。研究者可利用其丰富的动作与状态轨迹，训练端到端的控制策略，模拟真实世界中的物体操作过程，从而推动机器人自主抓取能力的发展。

解决学术问题

nmini_pick数据集有效应对了机器人学中样本效率低下与仿真到现实迁移的挑战。通过提供真实机器人采集的高质量多模态数据，该数据集支持算法在有限交互次数下学习复杂技能，减少了物理实验的成本与风险。其结构化的动作-观察对促进了模仿学习、逆强化学习等方法的进展，为解决动态环境下的灵巧操作问题奠定了数据基础。

实际应用

在实际工业与服务业场景中，nmini_pick数据集能够指导开发自动化分拣与装配系统。基于数据集训练的控制模型可部署于小型协作机器人，实现电子元件、轻量级零件的精准抓取与放置。这种数据驱动的方案提升了生产线的灵活性与适应性，为智能制造、物流仓储等领域的机器人应用提供了可靠的技术验证平台。

数据集最近研究

最新研究方向

在机器人操作领域，nmini_pick数据集作为LeRobot项目的一部分，聚焦于小型机械臂的抓取任务，其前沿研究方向主要围绕多模态学习与模仿学习的深度融合展开。该数据集整合了关节位置、视觉观测（前视与腕部摄像头）及时间序列信息，为研究视觉-动作映射、端到端策略学习提供了丰富资源。当前热点集中于利用此类数据训练通用机器人模型，以提升在动态环境中的泛化能力与样本效率，推动低成本机器人系统的自主操作能力发展，对工业自动化与家庭服务机器人具有重要实践意义。