AxonData/human-movement-pov-dataset-for-robotics

VLA第一人称视角视频数据集——100+小时的4K人类操作视频，包含100多个小时的真人第一人称视角（POV）视频，记录了真实人类执行日常生活手部任务的过程，用于训练视觉-语言-动作（VLA）模型、模仿学习策略和具身AI系统。视频为连续未剪辑的4K分辨率（30 FPS），涵盖维修、组装、缝纫、家务、户外工作、电子设备、园艺、自行车维护等多种任务，采用头戴式视角以匹配机器人传感器几何结构，并经过人工审核确保手部可见性和任务连续性。该数据集提供商业许可，适用于生产级机器学习训练、VLA预训练和基础模型训练。VLA Egocentric Video Dataset — 100+ Hours of 4K Human Manipulation, featuring 100+ hours of first-person (egocentric POV) video of real humans performing real-life hand tasks for training vision-language-action (VLA) models, imitation learning policies, and embodied AI systems. The videos are continuous, uncut 4K resolution (30 FPS) footage capturing full task arcs, recorded from head-mounted perspectives to better match robot sensor geometry, and cover diverse tasks such as repair, assembly, sewing, household chores, outdoor work, electronics, gardening, and bike maintenance. Each clip is manually verified for hand visibility and task continuity, and the dataset is available with a commercial license for production ML training, VLA pretraining, and foundation model training.

搜集汇总

数据集介绍

构建方式

该数据集由Axon Labs精心构建，通过头戴式与胸挂式Smile 5K相机以4K分辨率、30帧每秒的规格，真实录制人类在日常生活中执行大量手部任务的连续第一人称视角视频。录制过程完整保留了从准备、执行到结果的全任务弧线，每段时长5至60分钟且未经剪辑。所有视频片段均经过人工审核，以确保手部可见性、任务连续性与信号清晰度，为机器人的视觉-语言-动作模型训练提供了高质量、无人为中断的示范数据。

特点

数据集的核心优势在于其商用许可协议、4K超高清分辨率以及连续未剪辑的任务结构，使其显著区别于仅限学术研究的Ego4D与EgoDex等公开数据集。其涵盖维修、组装、缝纫、园艺、自行车保养等多样化的家庭与户外真实操作场景，突破了现有数据集局限于桌面的范式。该数据集遵循EgoMimic与EgoScale所揭示的规模法则，证明人类第一人称视频数据对机器人策略性能的提升具有可预测的线性增益，是生产级模仿学习与基础模型预训练的稀缺资源。

使用方法

该数据集专为多种机器人学习范式而设计，可直接用于视觉-语言-动作模型的大规模预训练，其每段视频均配有自然语言任务描述，契合RT-2与π0等前沿模型的训练框架。研究团队可将其应用于模仿学习与行为克隆，通过连续任务弧线为机器人策略提供完整的演示轨迹。同时，数据集亦适用于手-物交互研究、细粒度动作识别以及具身智能基础模型的训练，并且支持商用许可版本，可通过官方网站申请获取全部数据用于生产环境。

背景与挑战

背景概述

在具身智能与机器人学习领域，第一人称（自我中心）视频数据正逐渐成为训练视觉-语言-动作（VLA）模型与模仿学习策略的核心资源。由Axon Labs于近年创建并发布的human-movement-pov-dataset-for-robotics数据集，包含超过100小时的4K分辨率、未经剪辑的真实人类手部操作视频，覆盖维修、组装、缝纫、家务、园艺等多类任务。该数据集通过头戴式或胸戴式视角采集，其几何结构更贴近机器人腕部或头部传感器的部署方式，弥补了现有学术数据集（如Ego4D、EgoDex）在商用许可与任务连续性上的空白。基于EgoMimic与EgoScale等前沿工作，该数据集不仅验证了人类自我中心视频对机器人策略性能的显著提升，更推动了具身AI基础模型在大规模预训练中的产业化应用。

当前挑战

当前数据集的构建与应用面临多重挑战。首先，在领域问题层面，尽管VLA模型与模仿学习在受控环境中表现优异，但真实世界中的非结构化场景、工具多样性及人类操作的高自由度，仍对模型泛化能力构成严峻考验；任务从准备到完成的连续完整轨迹，对时间建模与细节捕捉提出了更高要求。其次，在构建过程中，获取高质量、商用许可、且内容多样的自我中心视频本身即是一大难点：需要确保视频清晰度（4K 30 FPS）、操作可见性（手动逐帧审核）及任务完整性（5至60分钟不连续录制），同时面对数据采集硬件协议的一致性、标注成本与隐私合规性等实际限制。这些挑战相互交织，共同制约着从数据到可部署机器人策略的有效转化。

常用场景

经典使用场景

在具身智能与机器人学习领域，human-movement-pov-dataset-for-robotics数据集的核心价值在于为视觉-语言-动作（VLA）模型提供大规模、高质量的第一人称视频预训练语料。该数据集收录了超过100小时、源自真实人类日常操作的4K连续无剪辑录像，涵盖维修、组装、园艺、家务、电子设备操作等多样化任务。研究者可将其用于模仿学习与行为克隆策略的训练，借助人类自然操作中的丰富手-物交互细节，显著提升机器人策略的泛化能力与操作精度。数据集的头部安装视角与机器人传感器几何结构高度一致，使其成为将人类演示知识迁移至机器人控制系统的理想桥梁。

解决学术问题

该数据集有效解决了具身智能研究中长期存在的两大瓶颈：高质量人类操作数据的匮乏与商业授权限制。相较于Ego4D、EgoDex等仅限研究用途的公开数据集，本数据集采用CC-BY-4.0商业许可证，填补了生产级VLA模型预训练对合法、大规模人机迁移数据的需求空白。学术上，它回应了EgoMimic与EgoScale等前沿工作揭示的核心问题——人类第一人称数据对策略性能提升的贡献度可超越同量机器人遥操作数据，且数据规模与下游任务性能之间存在对数线性缩放律。数据集提供了验证这一缩放律、构建通用操作基础模型的稀缺实验材料。

衍生相关工作

该数据集衍生了一系列推动具身智能发展的里程碑式工作。EgoMimic（CoRL 2024）首次揭示了人类第一人称数据在机器人策略学习中的压倒性优势，证明了单小时人类数据对性能的增益超过等量机器人遥操作数据。EgoDex（Apple, 2025）则基于人类演示定义了灵巧桌面操作的新基准，推动了手部精细操控研究的进展。NVIDIA的EgoScale（2026）进一步从统计学习视角建立了数据规模与任务性能之间的对数线性缩放律，为数据驱动的具身智能提供了理论指导。这些工作共同奠定了人类第一人称视频作为VLA模型核心训练输入的科学基础，而本数据集正是支撑这些学术突破落地的关键数据支柱。