livsynrobotics/livego-lite-hand-tracking

该数据集名为livego-lite-hand-tracking，是LeRobot Dataset v3.0版本，用于双掌姿势跟踪的同步视频数据集。数据集包含8个episodes，共1732帧，帧率为11.2356 FPS。数据集包括低维手部状态数据、两个视频流（原始视频和处理后的视频）以及元数据。手部状态数据包括左右手的位置和旋转信息，以16维浮点向量表示。数据集目录结构清晰，包含data、meta和videos三个主要文件夹。数据模式详细说明了数据表中的列和观察状态的顺序。此外，还提供了Python快速开始的代码示例。The dataset is named livego-lite-hand-tracking and is part of the LeRobot Dataset v3.0 for dual-hand palm pose tracking with synchronized videos. It includes 8 episodes, totaling 1732 frames at 11.2356 FPS. The dataset contains low-dimensional hand state data, two video streams (original and processed), and metadata. The hand state data includes position and rotation information for both hands, represented as a 16-dimensional float vector. The directory structure is well-organized with main folders for data, meta, and videos. The data schema details the columns in the main frame table and the order of observation states. Additionally, a Python quick start code example is provided.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot v3.0规范构建，专注于双掌姿态追踪任务。数据采集自livego-lite机器人平台，共包含8个演示片段（episodes），累计1732帧图像，帧率稳定在11.24 FPS。每一帧的低维手部状态信息被存储于Parquet格式文件中，同时每个片段同步录制了两路视频流：原始视频（observation.images.head）与经过处理的视频（observation.images.head_processed）。元数据目录中详细记录了任务信息、统计特征以及片段索引，便于后续数据检索与复用。

特点

数据集的核心特色在于提供了双手手掌的完整位姿信息。每一帧的手部状态为一个16维浮点向量，依次表征左手与右手的有效性标志、三维空间位置以及四元数旋转参数。源数据中的毫米单位已转换为米，欧拉角被转换为四元数形式，确保了物理量的标准性与数值稳定性。此外，数据集统一预设了训练集划分（0至8号片段），并附有全局归一化统计文件，为模型训练提供了便利的先验条件。

使用方法

使用者可通过Python的pandas库直接读取Parquet格式的主数据表与元数据表。加载数据集根目录后，调用pd.read_parquet即可获取帧级表格，其中包含图像路径、手部状态向量、时间戳及片段索引等关键字段。视频文件则以MP4格式存储于对应子目录下，可与状态数据按帧索引对齐。针对标准化需求，meta/stats.json文件中提供了均值与方差等全局统计量，方便在训练前对状态向量进行归一化处理。

背景与挑战

背景概述

在人机交互与机器人遥操作领域，实时且精确的双手掌心姿态追踪是实现灵巧操控与沉浸式体验的关键技术瓶颈。现有数据集多聚焦于单手或稀疏手势识别，缺乏面向轻量化设备且具备高帧率同步视频的双手联合姿态数据。为此，由LeRobot团队于近期发布的livego-lite-hand-tracking数据集（版本v3.0）应运而生，该数据集基于LiveGo Lite机器人平台采集，包含8个演示片段、1732帧图像与16维状态向量，同步记录了原始与处理后的双手掌心位置、旋转四元数及有效性标志。其核心研究问题在于建立一种低维、高效的双手追踪范式，为低成本遥操作系统的姿态估计与策略学习提供标准化基准，对推动机器人学习与增强现实中的手部交互研究具有奠基性意义。

当前挑战

该数据集首要应对的领域挑战在于：在仅依赖低维状态（16维）与有限视觉信息（两个视频流）的条件下，实现鲁棒的双手掌心追踪与姿态估计，这对缺乏深度或高分辨率输入的轻量化系统尤为棘手。建模过程中需处理手部自遮挡、左右手交叉时的歧义，以及将毫米级坐标与欧拉角精确转换为标准化四元数的数值稳定性问题。构建阶段的挑战则包括：在多源异构数据的低帧率同步（约11.24 FPS）中保证时间对齐精度，设计清晰的状态定义以区分左右手有效性标志，以及在小样本场景（仅8个片段）下维持数据质量与统计一致性。此外，当前仅提供训练集，缺失验证集与测试集，限制了模型泛化能力的系统性评估。

常用场景

经典使用场景

在机器人灵巧操作与人类行为理解的前沿领域，同步双掌姿态追踪数据的稀缺性长期制约着仿人手部运动学建模的发展。livego-lite-hand-tracking数据集通过提供8个示范片段、共计1732帧的低维手部状态与双视角同步视频，为研究双手协调运动中的位姿估计与状态推理奠定了基准。其核心使用场景聚焦于利用16维状态向量（包含左右手有效性标志、三维位置与四元数旋转）联合监督学习，结合头戴相机原始与处理后的双流视频，训练端到端的手部运动预测模型。该数据集尤其适用于构建时空一致性约束下的双手交互姿态重建任务，例如同时追踪双掌在三维空间中的平移与旋转轨迹，从而复现精细的抓取、交接等复杂操作模式。

衍生相关工作

围绕livego-lite-hand-tracking数据集的发布契机，衍生研究可聚焦于三方面创新：其一，利用其双流视频与16维状态真值训练视觉-运动联合编码器，生成适用于模仿学习的潜空间表示，从而推动跨视角的手部运动生成模型发展。其二，基于该数据集的时序标注结构，学术界已涌现出针对双手四元数旋转序列的变分自编码器与扩散先验模型，用以生成符合人体运动学约束的连续轨迹。其三，该数据集头部视角视频与标准化的parquet元数据格式，为多机器人本体间的手部状态对齐基准提供了参考框架，催生了像R3M、Voltron等预训练视觉表征在双手操作场景下的微调与评估实验，验证了从单臂到双臂迁移中的表征解耦能力。

数据集最近研究

最新研究方向

在具身智能与人机交互的前沿研究中，精确的双手掌心姿态追踪正成为突破性课题。livego-lite-hand-tracking数据集聚焦于低维手部状态的同步视频记录，通过双流视频（原始与处理后）和16维状态向量（包括位置、旋转四元数及有效性标志），为灵巧操作任务提供了标准化基准。其以Lerobot v3.0格式组织，支持端到端学习，尤其适用于遥操作与模仿学习中的手部运动解耦。随着人形机器人及虚拟现实中多模态控制需求激增，该数据集弥补了高保真手部数据稀缺的短板，推动了从静态手势识别到连续动态追踪的范式跃迁。其影响在于为模型泛化性、归一化统计及多视角融合提供了验证平台，有望加速具身智能体在精细操作任务中的落地应用。