reachy-mini-generated-moves

该数据集名为“Reachy Mini - Generated Moves”，由Hugging Face Space（reachy-mini-text-to-motion）生成，旨在将自然语言描述转换为机器人运动。每个生成结果包含三个文件：一个标准Reachy Mini录制的运动JSON文件（50Hz采样率，可直接由SDK或守护进程播放），一个LLM编写的源文件（记录每个通道的曲线、缓动和振荡器信息），以及一个元数据文件（包含生成时使用的提示词、模型、时间戳和生成描述）。文件命名格式为<stamp>_<slug>。该数据集可用于文本到运动生成、机器人运动控制、多模态学习等任务。The dataset named Reachy Mini - Generated Moves is generated by Hugging Face Space (reachy-mini-text-to-motion) and aims to convert natural language descriptions into robot motions. Each generated result contains three files: a standard Reachy Mini recorded motion JSON file (50Hz sampling rate, directly playable by SDK or daemon), a source file written by LLM (recording the curve, easing, and oscillator information for each channel), and a metadata file (including the prompt, model, timestamp, and generation description used during generation). File naming format is <stamp>_<slug>. This dataset can be used for tasks such as text-to-motion generation, robot motion control, and multimodal learning.

原始信息汇总

Reachy Mini - 生成动作数据集

数据集概览

该数据集包含由 Reachy Mini 文本到动作（text-to-motion） 系统生成的动作数据，支持从自然语言描述转换为动作片段，并以 50Hz 频率记录为 JSON 格式。

数据集内容

每次动作生成会产生三个文件，存放于 moves/ 目录下：

文件	内容说明
<stamp>_<slug>.json	标准的 Reachy Mini 录制动作 JSON（50Hz），可通过 SDK 或守护进程播放
<stamp>_<slug>.clip.json	LLM 编写的动作来源：包含每个通道的曲线、缓动（easing）和振荡器（oscillators）
<stamp>_<slug>.meta.json	包含提示词（Prompt）、模型信息、时间戳及生成的动作描述

数据来源

动作由 Hugging Face Space 上的 reachy-mini-text-to-motion 应用生成，流程为：自然语言输入 → 动作片段 → 50Hz 录制动作 JSON。

技术标签

• 许可证：Apache-2.0
• 标签：reachy-mini、text-to-motion、generated（生成数据）

搜集汇总

数据集介绍

构建方式

本数据集由自然语言至运动生成技术构建，通过reachy-mini-text-to-motion空间将用户输入的自然语言描述转化为运动片段，并记录为50赫兹的JSON格式运动数据。每次生成过程产出三个文件：标准运动JSON，可直接由SDK或守护进程播放；包含逐通道曲线、缓动函数及振荡器的原始源文件，由大语言模型创作；以及包含提示词、模型信息、时间戳和生成描述的元数据文件，确保数据来源的可追溯性与完整性。

特点

该数据集的核心特色在于其多层次的架构与生成式特性。它不仅提供了可直接交互的标准运动数据，还保留了运动生成的中间表示及详尽元数据，为研究者剖析自然语言至运动映射的底层逻辑提供了便利。数据集的生成方式具备高度灵活性，能够响应多样化的描述性提示，生成相应的动作序列，展现了从语言到动作转换的创造性与适应性。此外，所有数据均遵循Apache 2.0许可，促进了开放科学和协作创新。

使用方法

用户可通过Reachy Mini SDK或守护进程加载标准运动JSON文件，实现对机器人动作的复现与执行。对于开发与调试，可解析clip文件以理解运动生成的内部机制，调整曲线参数以精炼动作效果。元数据文件则便于用户筛选、索引和记录生成条件，有助于构建定制化的动作库或进行后续的模型训练与评估。这一数据集为机器人行为设计、人机交互研究及文本驱动动画等领域提供了坚实的素材库与实验基础。

背景与挑战

背景概述

随着人形机器人技术与自然语言处理领域的深度融合，文本到动作生成成为具身智能研究的前沿方向。该数据集由法国初创公司Pollen Robotics于2024年创建，依托其研发的Reachy Mini教育机器人平台，核心研究团队致力于探索如何利用大型语言模型将自然语言描述直接转化为机器人可执行的运动序列。该数据集通过其HuggingFace Space应用'reachy-mini-text-to-motion'生成，包含了由LLM创作的动作片段，并以50Hz的采样率记录为标准JSON格式，供SDK及守护进程直接播放。此数据集的发布为文本到运动任务提供了基于真实机器人平台的标准化训练与评估资源，推动了人机交互中运动生成技术的规范化发展，对教育机器人及具身智能领域具有重要的开源贡献价值。

当前挑战

该数据集所应对的核心领域挑战在于弥合自然语言语义与机器人物理运动之间的鸿沟，实现从描述到精确关节控制的映射，这涉及动作时序、幅度及平滑度的复杂协调。构建过程中，首要挑战在于利用LLM生成的动作必须符合Reachy Mini的物理约束与运动学特性，确保生成的运动序列可直接执行而不损害硬件。其次，生成数据的多样性与真实性难以平衡，需通过精心设计的提示词和参数（如缓动、振荡器）来丰富运动表达。此外，数据标注的一致性、元数据的标准化以及从文本到动态表达的无损转换也是工程实现上的难点，这些均考验着数据生产管线的稳健性与生成效率。

常用场景

经典使用场景

在机器人运动生成与自然语言交互的交叉研究领域中，该数据集为文本到运动（text-to-motion）任务提供了珍贵的基准资源。它通过将自然语言指令转化为Reachy Mini人形机器人的标准化动作序列，以50Hz采样频率记录为JSON格式，使研究者能够系统性地探索语言描述与机器人动作映射的语义鸿沟。这一场景已成为评估多模态生成模型性能、验证动作编码表示有效性以及推动具身智能体语言指令跟随能力发展的关键起点，尤其在低自由度平台上的动作可控性与可复现性研究中扮演着不可替代的角色。

实际应用

在实际应用层面，该数据集促进了服务型与教育型人形机器人的交互范式革新。开发者可借助其标准化的recorded-move JSON接口，快速集成自然语言驱动的动作响应，从而应用于智能导览、肢体教学示范、康复陪护等场景中的动态意图表达。此外，由于数据源自LLM编排的曲线与振荡器，其生成机制亦为工业界构建低延迟、高表达力的动作编排引擎提供了参考蓝图，使非专业用户能以口语化指令间接驾驭机器人复杂行为，加速了人机协作在柔性制造与家庭服务领域的落地进程。

衍生相关工作

此数据集的发布催生了诸多衍生研究方向，包括但不仅限于开发适配Reachy Mini SDK的动作重定向方法，将生成的通用动作迁移至异构机器人平台；借鉴其三层文件结构（原始记录、LLM源码、元数据），构建可追溯的生成式运动数据管线；以及基于其元数据中的提示词与时间戳，训练逆运动学模型实现动作到语言的自动描述。这些工作共同构筑了围绕文本驱动机器人动作生成的技术生态，进一步拓展了其在具身智能、虚拟人动画及数字孪生等领域的应用边界。