Xspark-HumanTouch

# Xspark-HumanTouch Xspark-HumanTouch 是面向机器人操作学习的多模态人体示范数据集。数据采用 LeRobot v2.1 目录格式，以 60 FPS 同步记录多视角视频、人体位姿、手部骨架和双手触觉信号。 本仓库包含 `X001`–`X010` 共十个任务目录，主体数据已上传完成。十个子目录均可作为独立的 LeRobot 数据集读取。 ## 数据概览 以下统计来自本地正确数据的 `meta/info.json`。完整目录使用本地与远端文件的相对路径和字节大小逐项核验；仅在远端出现目录或元数据不代表上传完成。 | 目录 | 任务 | Episodes | Frames | 视频数 | 状态 | | :--- | :--- | ---: | ---: | ---: | :--- | | `X001` | 将任意物体放入篮子 | 2,217 | 3,832,214 | 6,651 | 可用（已核验） | | `X002` | 堆叠碗 | 3,836 | 2,733,581 | 11,508 | 可用（已重建并核验） | | `X003` | 插入试管 | 2,054 | 2,389,801 | 6,162 | 可用（已核验） | | `X004` | 将水果放到盘子上 | 1,853 | 2,677,193 | 5,559 | 可用（已核验） | | `X005` | 将手机装入盒子 | 722 | 2,333,104 | 2,166 | 可用（已核验） | | `X006` | 折叠衣物 | 1,362 | 3,420,213 | 4,086 | 可用（已核验） | | `X007` | 将瓶子丢入垃圾桶 | 1,313 | 2,345,109 | 3,939 | 可用（已核验） | | `X008` | 将螺母拧到螺栓上 | 744 | 2,763,774 | 2,232 | 可用（已核验） | | `X009` | 填装蛋托 | 1,897 | 3,454,211 | 5,691 | 可用（已核验） | | `X010` | 填装笔筒 | 1,610 | 2,725,658 | 4,830 | 可用（已核验） | 十个目录合计包含 17,608 个 episodes、27,674,858 帧和 52,824 个视频文件。 > [!IMPORTANT] > `X002` 的早期错误版本已经整目录删除。当前 `X002` 已使用本地正确的“堆叠碗”数据完整重建，并通过 19,187 个文件的路径和字节大小核验；旧的重复数据不再属于当前 `master`。 > [!NOTE] > 仓库采用 LFS 和分批提交方式维护。完整性状态以本表及逐文件核验结果为准。 ## 数据结构 每个完整子目录采用以下结构： ```text X001/ ├── data/ │ └── chunk-000/ │ └── episode_000001.parquet ├── meta/ │ ├── info.json │ ├── tasks.jsonl │ ├── episodes.jsonl │ ├── episodes_stats.jsonl │ └── humantouch/ └── videos/ └── chunk-000/ ├── observation.images.cam_head/ │ └── episode_000001.mp4 ├── observation.images.cam_left_wrist/ │ └── episode_000001.mp4 └── observation.images.cam_right_wrist/ └── episode_000001.mp4 ``` 路径模板定义在各目录的 `meta/info.json`： ```text data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4 ``` ## 数据字段 ### 视频 | 字段 | 分辨率 | 编码 | 帧率 | | :--- | :--- | :--- | ---: | | `observation.images.cam_head` | 1920 × 1080 | HEVC, yuv420p | 60 FPS | | `observation.images.cam_left_wrist` | 1280 × 960 | HEVC, yuv420p | 60 FPS | | `observation.images.cam_right_wrist` | 1280 × 960 | HEVC, yuv420p | 60 FPS | 视频不包含音频。 ### 人体动作 - `observation.human.pose.head`：头部位姿，7 维。 - `observation.human.pose.wrist_left`：左腕位姿，7 维。 - `observation.human.pose.wrist_right`：右腕位姿，7 维。 - `observation.human.pose.valid`：头部、左腕和右腕位姿有效标记。 - `observation.human.hand_skeleton.{left,right}.position`：每只手 25 个关键点的三维位置。 - `observation.human.hand_skeleton.{left,right}.orientation`：每只手 25 个关键点的四元数方向。 - `observation.human.hand_skeleton.{left,right}.valid`：手部关键点有效标记。 ### 触觉 - `observation.tactile.raw_left`：左手手掌原始触觉向量，共 460 维，其中 360 维为有效触觉数据。 - `observation.tactile.raw_right`：右手手掌原始触觉向量，共 460 维，其中 360 维为有效触觉数据。 - `observation.tactile.valid`：左右手触觉有效标记。 - `observation.tactile.patch_pressure`：双手掌及手指共 12 个区域的压力值。 - `observation.tactile.patch_pressure_valid`：区域压力有效标记。 ### 索引与语义 - `timestamp`：帧时间戳。 - `frame_index`：episode 内帧序号。 - `episode_index`：episode 序号。 - `task_index`：任务序号。 - `observation.semantic.subtask_index`：子任务序号。 - `observation.session_time_ns`：采集会话时间。 - `observation.source_valid`：数据源有效标记。 完整字段定义、数据类型和形状以各目录的 `meta/info.json` 为准。 ## 下载数据 安装 ModelScope： ```bash pip install -U modelscope ``` 下载整个数据集： ```python from modelscope.hub.snapshot_download import snapshot_download dataset_dir = snapshot_download( repo_id="chuqiaoLyu/Xspark-HumanTouch", repo_type="dataset", revision="master", local_dir="./Xspark-HumanTouch", ) print(dataset_dir) ``` 只下载一个子目录： ```python from modelscope.hub.snapshot_download import snapshot_download dataset_dir = snapshot_download( repo_id="chuqiaoLyu/Xspark-HumanTouch", repo_type="dataset", revision="master", allow_patterns=["X001/**"], local_dir="./Xspark-HumanTouch", ) print(dataset_dir) ``` ## 完整性检查 使用数据前，请检查： 1. 子目录包含 `data`、`meta` 和 `videos`。 2. `meta/info.json` 中的 `total_episodes` 与实际 episode 数一致。 3. 每个 episode 都包含一个 Parquet 文件和三路 MP4 视频。 4. 读取每帧时结合 `pose.valid`、`hand_skeleton.*.valid`、`tactile.valid` 和 `source_valid` 过滤无效信号。 5. 训练时按 episode 划分数据，避免同一 episode 的相邻帧同时出现在训练集和验证集。 ## 许可协议 本数据集采用 CC BY-NC 4.0 许可协议，仅限符合协议要求的非商业用途。使用者应遵守适用的隐私、数据保护和机器人安全规定。 ## 引用 如果本数据集支持了你的研究，请在论文或项目中引用本数据集页面。正式引用信息发布后，本节将补充 BibTeX。 ## 版本说明 - 数据格式：LeRobot v2.1 - 仓库分支：`master` - 当前文档依据：2026-08-13 的本地元信息、远端文件树与逐文件核验结果