harmony4d-flattened
收藏资源简介：
harmony4d-flattened 是一个基于 Harmony4D 多摄像头 3D 动捕数据构建的文本-动作对数据集。原始数据集中，用户侧描述缺少指令动词，且 VLM 生成的描述未使用结构化的 <caption> 标签。本数据集对其进行改进：1) 在类别句子后添加 <caption> 标签包裹 VLM 描述；2) 前向任务（文本→动作）使用 4 种指令动词模板之一（如“Create some actions for one of the agents that embodies this text: ...”），替代原有的裸描述；3) 新增反向任务（动作→文本），给定相同的 <agent> 动作令牌，用文字描述动作，使用 4 种指令池。数据集共 16,640 行（8,320 原始行 × 2 个任务），仅包含训练集分割，之前的测试集未保留。数据格式为 ChatML，每条记录包含用户输入和助手输出，其中动作令牌由 <agent>...</agent> 包裹。数据集特征包括：id（字符串）、source_id（字符串）、task（字符串，指示前向或反向任务）、tier（字符串，如 ChatML）、text（字符串，完整对话文本）。该数据集适用于指令微调多模态模型，特别是需要理解文本生成动作或从动作生成描述的任务。
harmony4d-flattened is a text-action pair dataset built from the Harmony4D multi-camera 3D motion capture data. In the original dataset, user-side descriptions lack instruction verbs, and VLM-generated descriptions do not use structured <caption> tags. This dataset improves upon it by: 1) adding <caption> tags wrapping VLM descriptions after category sentences; 2) using one of four instruction verb templates for the forward task (text→action), such as Create some actions for one of the agents that embodies this text: ..., replacing the original bare descriptions; 3) adding a reverse task (action→text), given the same <agent> action tokens, describing actions in words using four instruction pools. The dataset contains 16,640 rows (8,320 original rows × 2 tasks), only including the training split; the previous test set is not retained. The data format is ChatML, with each record containing user input and assistant output, where action tokens are wrapped by <agent>...</agent>. Dataset features include: id (string), source_id (string), task (string indicating forward or reverse task), tier (string, e.g., ChatML), text (string, complete conversation text). This dataset is suitable for instruction fine-tuning of multimodal models, especially tasks requiring understanding text to generate actions or generating descriptions from actions.
数据集概述：harmony4d-flattened
数据集标识
- 名称：harmony4d-flattened
- 发布机构：EmpathicRobotics
- 许可证：CC-BY-4.0
- 数据集主页：https://huggingface.co/datasets/EmpathicRobotics/harmony4d-flattened
数据集规模与结构
- 数据集大小：4,575,111,807 字节（约 4.58 GB）
- 下载大小：1,623,161,104 字节（约 1.62 GB）
- 样本总数：16,640 条（8,320 条源数据 × 2 个任务）
- 划分方式：仅包含
train划分，无测试集（此前的train/test划分已废弃，原测试集未保留）
数据特征（Features）
每条数据包含以下字段：
| 字段名 | 数据类型 | 说明 |
|---|---|---|
id |
string | 唯一标识符 |
source_id |
string | 源数据标识 |
task |
string | 任务类型（forward 或 reverse） |
tier |
string | ChatML 层级 |
text |
string | 完整对话文本（含指令、描述与动作令牌） |
数据集背景与设计动机
- 问题来源：早期版本中，用户侧仅包含无指令动词的纯描述，模型未被明确告知这是“文本→动作”任务；同时，真实 VLM 字幕被拼接在固定类别句子后，缺乏结构标记（如
<caption>标签），与其他数据源不一致。 - 改进目标：通过添加指令动词、引入
<caption>标签、新增反向任务，使数据更适合文本与动作之间的双向映射学习。
具体改动内容
<caption>包装：将类别描述与 VLM 字幕用<caption>标签包裹，格式为：{类别句子} <caption>{VLM字幕}</caption>。- 前向任务（
forward，文本→动作）增强：类别与字幕描述被封装进 4 种指令动词模板之一（按记录哈希选择），例如：“Create some actions for one of the agents that embodies this text: ...”。 - 新增反向任务（
reverse，动作→文本）：给定相同的<agent>动作令牌，要求用文字描述该动作，同样采用 4 种指令模板，例如：“Given these actions of a single agent, describe the action. ...”。此任务可行是因为<agent>具有确定性解码器（PCHIP 可精确重建 3D 姿态），与种子数据集中生成式重建不同，后者因不可验证而被拒绝。
数据格式示例（ChatML 层级）
前向任务（forward）：
<|im_start|>user Create some actions for one of the agents that embodies this text: Two people hugging each other. <caption>The two individuals are participating in a motion-capture session for a film or video production.</caption><|im_end|> <|im_start|>assistant <think> </think> <agent> ...tokens... </agent><|im_end|>
反向任务（reverse）：
<|im_start|>user Given these actions of a single agent, describe the action. <agent>...</agent><|im_end|> <|im_start|>assistant <think> </think> Two people hugging each other. <caption>...</caption><|im_end|>
底层数据来源
- Harmony4D：真实多相机 3D 动作捕捉数据。
- 动作令牌：由 MotionBERT/HRNet 生成。
- VLM 字幕：由 Qwen2.5-VL-3B 模型生成。
- 基础版本：此数据集为此前单任务版本（窗口=8，8,320 行，含 train/test 划分）的替代品，旧内容不再使用。
未尝试的扩展（明确声明）
- 多轮对话式问答
- 基于身体部位的动作推理
这两项因需要额外的 LLM 生成步骤而暂未实现，属于后续计划。
