SONIC-VLA-BonesSeed

SONIC-VLA-BonesSeed是一个专为Unitree G1人形机器人设计的小型LeRobot v2.1格式数据集，旨在验证“语言提示→运动令牌→全身控制”的视觉语言动作（VLA）处理流程。数据集通过仿真生成，将自然语言提示、机器人自我视角图像（480×640分辨率）和本体感知状态（43维）与NVIDIA GEAR-SONIC全身控制器输出的64维FSQ量化运动令牌配对。数据来源于GEAR-SONIC控制器对7个参考动作（舞蹈、macarena、踢腿、弓步、深蹲、单腿跳、行走与转身）的仿真执行记录，每个动作对应一个独立片段，总计7个片段，采样频率为50Hz。关键数据字段包括：`action.motion_token`（控制器直接消费的64维潜在表示）、`observation.state`（43维本体状态）、`observation.projected_gravity`（3维投影重力）、`observation.images.ego_view`（自我视角RGB图像）以及`annotation.human.task_description`（文本提示）。该数据集主要用于为下游模型`wsagi/GR00T-N1.7-G1-SONIC-BonesSeed`提供训练输入，并作为概念验证以确认提示到动作令牌再到控制器执行的管道可行性。其上游依赖包括`nvidia/GEAR-SONIC`（控制器和演示动作）及`bones-studio/seed`（人类动作捕捉语料库）。数据集明确限定为风险验证用途，规模小（<1K样本），未进行数据增强，不旨在覆盖新动作或训练通用策略。使用需遵循NVIDIA开放模型许可证。SONIC-VLA-BonesSeed is a small LeRobot v2.1 format dataset specifically designed for the Unitree G1 humanoid robot, aiming to validate the visual language action (VLA) processing pipeline of "language prompt → motion token → whole-body control". Generated via simulation, this dataset pairs natural language prompts, robot egocentric view images (480×640 resolution), and proprioceptive states (43-dimensional) with 64-dimensional FSQ-quantized motion tokens output by the NVIDIA GEAR-SONIC whole-body controller. The dataset is derived from simulation execution logs of 7 reference actions (dance, macarena, kick, lunge, squat, single-leg jump, walk and turn) generated by the GEAR-SONIC controller, where each action corresponds to an independent segment, totaling 7 segments, with a sampling frequency of 50Hz. Key data fields include: `action.motion_token` (64-dimensional latent representation directly consumed by the controller), `observation.state` (43-dimensional proprioceptive state), `observation.projected_gravity` (3-dimensional projected gravity), `observation.images.ego_view` (egocentric RGB images), and `annotation.human.task_description` (text prompts). This dataset is primarily used to provide training inputs for the downstream model `wsagi/GR00T-N1.7-G1-SONIC-BonesSeed`, and serves as a proof of concept to confirm the feasibility of the pipeline from prompt to motion token and then to controller execution. Its upstream dependencies include `nvidia/GEAR-SONIC` (controller and demonstration actions) and `bones-studio/seed` (human motion capture corpus). The dataset is explicitly limited to risk verification use cases, with a small scale (less than 1K samples), no data augmentation applied, and is not intended to cover new actions or train general-purpose policies. Its usage must comply with the NVIDIA Open Model License.

原始信息汇总

数据集概要

SONIC-VLA-BonesSeed 是一个用于 Unitree G1 人形机器人的小型 LeRobot v2.1 格式数据集，将 语言提示 + 第一人称视角图像 + 本体感知 映射为 64维 FSQ 量化运动令牌（motion_token），作为 GEAR-SONIC 全身控制器的输入。该数据集包含 7 种运动，每个运动仅有一个片段，主要用于验证 提示→令牌→全身控制 管线的可行性。

数据来源与谱系

• 直接上游： nvidia/GEAR-SONIC（提供全身控制器和 7 个参考运动）
• 间接上游： bones-studio/seed（GEAR-SONIC 训练所用的人类运动捕捉语料库）
• 生成方式： 在 Isaac Lab 仿真环境中，使用 GEAR-SONIC 全身控制器跟踪 7 个参考运动，记录每一步的运动令牌、第一人称 RGB 图像、本体感知和根四元数，再转换为 LeRobot v2.1 格式

数据集内容

属性	说明
格式	LeRobot v2.1（meta/info.json、meta/modality.json、parquet + mp4）
片段数	7（每运动一个）
机器人形态	unitree_g1_sonic（29 自由度 Unitree G1）
帧率	50 fps
关键特征	action.motion_token（64 维）、observation.state（43 维）、observation.projected_gravity（3 维）、observation.images.ego_view（480×640）、annotation.human.task_description（提示）

action.motion_token 是 GEAR-SONIC 控制器实际消耗的、经过 FSQ 量化的令牌。

运动提示（Prompts）

• dance
• dance the macarena
• kick
• do a forward lunge
• squat
• jump on one leg
• walk and turn around

范围与用途

• 仅包含 7 种运动，每运动 1 个片段
• 作为 风险缓解/概念验证 数据集，用于验证提示→令牌→全身控制管线
• 不适用于 训练通用策略，未包含数据增强或新运动覆盖

许可证与引用

• 基于 nvidia/GEAR-SONIC 发布，遵循 NVIDIA Open Model License 条款
• 建议引用 GEAR-SONIC 和 BONES-SEED 相关文献

搜集汇总

数据集介绍

构建方式

该数据集构建于仿真环境之中，并非从现有数据集直接抓取或手工修改而成。其生成链条始于BONES-SEED语料库中的142K人类运动数据，经G1人形机器人重定向后用于训练NVIDIA的GEAR-SONIC全身控制器。在此基础上，我们将GEAR-SONIC控制器在Isaac Lab模拟器中回放7个演示动作（涵盖跳舞、踢腿、深蹲、跳跃等），并在每一仿真步记录下64维FSQ量化的motion_token、第一人称视角RGB图像、本体感知信息以及根四元数，最终将原始数据转换为LeRobot v2.1格式的标准数据集。

特点

数据集的核心特色在于其将语言提示与运动令牌进行对齐的桥梁作用：每条数据包含一个自然语言任务描述（如'dance the macarena'）、对应时刻的ego-view图像、43维本体感知状态与3维投影重力向量，以及作为关键动作标签的64维FSQ量化motion_token。该token正是SONIC全身控制器在解码时实际消费的潜变量，因此数据集构建了从语义指令到高维运动表达的完整映射通道。作为概念验证，7个动作各仅包含1个片段，旨在验证prompt→token→全身控制管线的基本可行性。

使用方法

该数据集已封装为标准的LeRobot v2.1格式，包含meta/info.json与meta/modality.json元数据文件，以及parquet格式的时序数据与mp4格式的图像序列。使用者可通过LeRobot库的dataset = LeRobotDataset('wsagi/SONIC-VLA-BonesSeed')直接加载，获取每一时间步的action.motion_token、observation.state、observation.images.ego_view及annotation.human.task_description等字段。该数据集专为训练prompt条件化的GR00T→SONIC令牌生成模型而设计，是wsagi/GR00T-N1.7-G1-SONIC-BonesSeed模型的直接训练输入，亦可作为人形机器人语言驱动全身控制管线研究的参考基准。

背景与挑战

背景概述

SONIC-VLA-BonesSeed数据集由研究团队于2024年创建，依托NVIDIA的GEAR-SONIC全身控制器与骨骼种子（BONES-SEED）人体运动抓取语料库，旨在探索语言指令至人形机器人全身运动映射的可行性。该数据集以Unitree G1双足机器人为平台，通过仿真环境生成7种基本动作（如舞蹈、踢腿、跳跃等），配以自然语言提示词、第一人称视觉与本体感知信息，并以64维运动令牌（motion_token）作为动作表征。作为验证语言条件视觉-语言-动作（VLA）流水线的概念验证成果，它推动了人形机器人全身控制与自然语言交互的融合，为后续更通用策略的研发提供了基础范式。

当前挑战

该数据集面临的核心挑战在于解决语言指令到人形机器人复杂全身运动映射的领域难题。首先，从稀疏的语言提示中准确解析并泛化至多样化动态动作存在歧义性，尤其面对非结构化环境时，单一提示难以覆盖运动的多模态属性。其次，构建过程中需在仿真环境中精确同步视觉、本体感知与运动令牌的高频数据流，并保证机器人动态跟踪的物理合理性。此外，仅7个动作、单条轨迹的极小规模设计虽验证了流水线可行性，却严重限制了数据多样性，难以支撑对未见过运动或场景的鲁棒控制，面临过拟合风险。

常用场景

经典使用场景

在具身智能与仿人机器人运动控制领域，SONIC-VLA-BonesSeed数据集扮演着连接自然语言指令与全身运动控制的关键桥梁角色。该数据集专为Unitree G1仿人机器人设计，以LeRobot v2.1格式精心编排了7组基础运动演示，每一组数据都包含了语言提示、第一人称视角图像、本体感知状态以及由GEAR-SONIC全身控制器生成的64维FSQ运动令牌。其经典使用场景在于，研究者通过语言指令（如“dance”、“squat”）驱动视觉-语言-动作（VLA）模型，使之精准预测运动令牌，进而引导机器人完成连贯、平衡的全身动作，从而验证语言条件化运动生成范式的可行性。

衍生相关工作

围绕该数据集已衍生出一系列富有影响力的研究工作，其中最核心的是wsagi团队推出的GR00T-N1.7-G1-SONIC-BonesSeed模型，该模型采用条件化GR00T架构接收语言提示与视觉输入，并将其解码为SONIC运动令牌，实现了从语言到全身平衡运动的端到端映射。与此同时，GEAR-SONIC控制器作为运动令牌的生成源，其训练基础BONES-SEED大规模人体运动捕捉语料库为该数据集的运动多样性提供了底层支撑。此外，同源但运动来源不同的SONIC-VLA-LAFAN数据集正在开发中，旨在对比不同运动源下语言条件化运动生成的泛化能力，进一步丰富了该研究方向的实验生态与方法论积累。

数据集最近研究

最新研究方向

SONIC-VLA-BonesSeed数据集代表了人形机器人全身控制领域的前沿突破，其核心创新在于构建了一条从语言指令到运动令牌（motion_token）再到全身运动生成的完整流水线。该数据集依托NVIDIA的GEAR-SONIC全身控制器，将源自BONES-SEED人体动捕语料库的7种典型动作（如舞蹈、跳跃、行走）转化为64维精细标量量化（FSQ）令牌，并与语言提示、第一人称视觉和本体感知信息对齐，为视觉-语言-动作（VLA）模型提供了端到端的训练样本。这一工作紧密关联近期具身智能领域的热点事件——即通过预训练运动先验与语言指令的结合，实现人形机器人在非结构化环境中的泛化运动控制。SONIC-VLA-BonesSeed虽为概念验证性质的小型数据集（7个轨迹），但其验证的prompt→token→WBC范式为后续扩展至大规模运动库（如正在开发的LAFAN变体）奠定了方法论基础，对推动人形机器人从实验室演示走向真实场景应用具有重要的先导意义。