acttrace-ego-home
收藏资源简介：
ActTrace Ego-Home v0.3是一个头戴iPhone（超广角RGB + LiDAR）采集的家庭操作第一视角数据集，专注于家庭环境中的真实操作任务。数据集包含13个episode，覆盖11种不同的家庭任务（如洗杯子、做饮料、叠衣服、切苹果等），总时长约18分钟。每个episode提供9个同步数据列：1920×1080 @60fps的RGB视频、320×180 @~29Hz的LiDAR深度（毫米级）、100Hz的头部IMU数据（包含姿态四元数、重力、用户加速度、旋转速率、磁场）、~29Hz的2D手部关键点（21个关键点+置信度）、通过标定外参和LiDAR深度提升的米制3D手部轨迹、米制尺度6自由度头部轨迹（30Hz，TUM格式，经IMU交叉验证）、每帧相机元数据、时钟同步文件、以及包含叙述、指令和人工确认的动作片段注释。v0.3版本的核心改进是为每个episode恢复了米制尺度（SLAM单位转换为米），并通过三个独立裁判的验收（深度搬运一致性残差中位1-5%，加速度计交叉验证，A4实物标定链审计±2%），绝对尺度不确定度为±5%。数据集适用于机器人学习中的操作任务训练、评估和校准，尤其适合需要精确米制尺度信息的场景。许可协议为CC BY-NC 4.0，免费用于研究和评估，商用需联系作者。
ActTrace Ego-Home v0.3 is a first-person perspective dataset of household manipulations collected with a head-mounted iPhone (ultra-wide RGB + LiDAR), focusing on real manipulation tasks in home environments. The dataset contains 13 episodes covering 11 different household tasks (e.g., washing cups, making drinks, folding clothes, cutting apples, etc.), with a total duration of about 18 minutes. Each episode provides 9 synchronized data columns: 1920×1080 @60fps RGB video, 320×180 @~29Hz LiDAR depth (millimeter-level), 100Hz head IMU data (including attitude quaternion, gravity, user acceleration, rotation rate, magnetic field), ~29Hz 2D hand keypoints (21 keypoints + confidence), metric 3D hand trajectories enhanced by calibrated extrinsics and LiDAR depth, metric-scale 6-DOF head trajectory (30Hz, TUM format, cross-validated with IMU), per-frame camera metadata, clock synchronization files, and action segment annotations with narration, instruction, and human verification. The key improvement of v0.3 is the restoration of metric scale for each episode (conversion of SLAM units to meters), with acceptance by three independent judges (median depth transport consistency residual 1-5%, accelerometer cross-validation, A4 physical calibration chain audit ±2%), and absolute scale uncertainty of ±5%. The dataset is suitable for training, evaluation, and calibration of manipulation tasks in robot learning, especially for scenarios requiring precise metric scale information. The license is CC BY-NC 4.0, free for research and evaluation, commercial use requires contacting the author.
ActTrace Ego-Home v0.3 数据集详情
数据集概述
ActTrace Ego-Home v0.3 是一个第一视角（egocentric）家庭操作数据集，包含13个片段（episodes）、11项家庭任务、总时长18分钟，数据采集自真实中国家庭环境中的头戴式iPhone（超广角RGB + LiDAR传感器）。数据集专为机器人学习设计，提供9列同步数据，并强调每条头部轨迹均经过IMU交叉验证（相关系数 r = 0.971–0.995），每个片段均附带经三位独立裁判验证的米制尺度。
版本更新（v0.3 亮点）
- 逐集米制尺度恢复：单目SLAM轨迹天然无单位，v0.3通过深度传递一致性从每集自身的LiDAR实测深度中恢复尺度因子s（SLAM单位→米），13/13集全部成功解出。
- 三重独立裁判验证：深度传递残差（中位1.0–4.8%，其中10集达1.0–2.4%传感器噪声底）、加速度计交叉验证、A4纸实物标定链审计（全部在真实尺寸297×210mm的±2%以内），验证结果完整发布于
verification/目录。 - 如实标注低置信片段：EP002（制作饮品）因平移量小导致尺度可观测性弱，其尺度因子被明确标记为低置信度，而非静默平均处理。
- 绝对尺度误差预算 ±5%：通过专用标定会话的敏感性分析测得，后续优化路线图（手部像素掩码、边缘滤波、亚像素采样、联合优化）瞄准±2%。
- 快速上手笔记本：
tools/quickstart.ipynb可5分钟内加载任意片段的视频帧、深度、IMU、关键点和缩放后的米制轨迹。
数据构成
每个片段以单个zip文件存放（EP{nnn}_{taskID}.zip），包含9列同步数据：
| 数据列 | 规格 | 说明 |
|---|---|---|
| RGB视频 | 1920×1080 @ 60fps, H.265, 超广角 | 提供卷帘快门读出时间 |
| LiDAR深度 | 320×180 @ ~29Hz, 16-bit PNG, 毫米单位 | 自带内参+畸变LUT，逐像素置信度 |
| 头部IMU | 100Hz: 姿态四元数、重力、用户加速度、角速度、磁场 | 恒定9.96ms间隔 |
| 手部关键点（2D） | ~29Hz, 2×21个关键点+逐点置信度 | 设备端原始估计，归一化坐标 |
| 手部轨迹（3D, 米制） | 经标定外参+LiDAR深度提升 | 自v0.2提供 |
| 头部轨迹（6-DoF, 米制尺度） | TUM格式, 30Hz, 逐集尺度s, IMU交叉验证 | v0.3新增尺度 |
| 逐帧相机元数据 | pts、曝光、ISO、白平衡、镜头位置、内参矩阵 | 每帧RGB均有 |
| 时钟同步 | 主机时钟↔单调时间戳锚点文件 | 所有流在同一时间基准 |
| 标注 | 旁白（逐字记录）+指令（机器生成英文，已披露）、任务级字段、人工确认动作片段（含左右手） | 151码词汇表 |
片段索引
| 片段 | 任务 | 时长(秒) | 片段数 | 头部轨迹r | 尺度s | 尺度等级 |
|---|---|---|---|---|---|---|
| EP001 | M01 洗杯子 | 93.2 | 23 | 0.979 | 0.47201 | B |
| EP002 | M02 制作饮品 | 57.6 | 8 | 0.995 | 1.11368 | C（低置信） |
| EP003 | M04 叠衣服 | 71.3 | 15 | 0.992 | 0.99461 | A |
| EP004 | M05 切苹果 | 110.9 | 23 | 0.992 | 0.91952 | B |
| EP005 | M07 打鸡蛋 | 70.9 | 16 | 0.987 | 0.02178 | A |
| EP006 | M22 洗盘子 | 81.4 | 17 | 0.978 | 0.04343 | B |
| EP007 | M25 烧水倒水 | 133.8 | 13 | 0.992 | 0.85659 | B |
| EP008 | M28 叠T恤 | 61.6 | 15 | 0.977 | 0.49444 | A |
| EP009 | M36 拆包裹 | 55.2 | 12 | 0.988 | 0.56517 | A |
| EP010 | M36 拆包裹 | 86.7 | 17 | 0.971 | 0.72888 | B |
| EP011 | M37 换垃圾袋 | 56.5 | 9 | 0.982 | 0.69458 | B |
| EP012 | M22 洗碗和筷子 | 108.6 | 23 | 0.982 | 0.58612 | B |
| EP013 | M06 餐后清理桌子 | 93.1 | 13 | 0.984 | 0.50514 | A |
质量控制
- 所有发布片段均通过自动化QC流水线+人工审查。
- 所有头部轨迹通过IMU交叉验证（r ≥ 0.97，对齐≤0.03秒）。
- 自v0.3起，每条轨迹的米制尺度在发布前必须通过三位裁判审计。
- 示例健康检查（片段...C5A260C8，任务M25，133.8秒）：8022帧视频0丢帧；13435个IMU样本0间隙；3851帧深度0%无效像素；操作阶段手部检测覆盖99.8%；四个流在启动时68毫秒内对齐同一时间基准且无漂移。
- 安装振动审计：20Hz以上陀螺仪频谱能量仅为自主头部运动能量的3–5%。
已知限制（训练前必读）
imu_200hz.json为遗留文件名，实际频率为100Hz。- Apple Vision手部左右手标记偶尔翻转，以每片段人工标注的
handUsed为基准。 - 头部轨迹尺度问题已在v0.3解决，但EP002的尺度为低置信度（平移弱），残余误差优化瞄准±2%。
- 片段开始/结束有约5秒的环视（采集协议所需），片段已标注可裁剪或保留。
- 检测到语音时音频被静音（隐私设计），静音区间已记录。
- 英文指令为机器生成（已披露），旁白为逐字人工语音。
- 指尖深度渗漏（已量化）：320×180深度分辨率下，约15%的高置信指尖采样继承背景深度（EP003审计：中位3D指节长度解剖学正确，约1.8–2.1cm，但约15%的指尖段超过5cm——物理上不可能）。缓解方法：5×5最小池化可将比例降至约11%；解剖学段长度一致性过滤器（拒绝/截断3D段超过5cm的指尖）可消除其余。手掌尺度关节（腕部、MCP）不受影响。
- 2026-08-13前录制的会话zip内缺少
device_camera_calibration.json（旧版应用构建），验证所用的设备常量外参包含在verification/中。
相关工具与集成
- LeRobot：
tools/actrace_to_lerobot.py可将片段转换为LeRobot v2.1格式。instruction映射到language_instruction；159维observation.state包含头部四元数/重力/加速度/角速度、双手21×(u,v,conf)、检测手数及实时片段索引。 - 快速入门：
tools/quickstart.ipynb提供五分钟上手体验（含4面板演示视频demo/ActTrace_demo_M05.mp4：RGB+手部骨架、LiDAR深度、100Hz IMU、实时动作片段时间线）。
与大型开放语料库的关系
大型开放第一人称语料库（Ego4D、Ego-Exo4D、EgoDex及近期十万小时级RGB数据集）适合预训练；本数据集占据不同定位：
- 实测而非重建：LiDAR飞行时间深度（毫米级）、手部姿态经标定光学和实测深度提升（而非RGB估计）。
- 验证而非批量生成：人工确认片段、轨迹须通过独立传感器交叉验证和三位裁判尺度审计，失败项被标记或剔除并公开记录。
- 可按规格定制采集：可按您的任务列表在中国真实家庭采集，同样格式、逐集健康与验证报告、完整文档化的同意与权属链。
隐私与同意
所有片段由数据集作者在自家录制。设备端实时人脸检测在检测到人脸时暂停录制；语音在源头静音；服务端QC经人工复核。已签署数据采集协议（版权转让+跨境传输同意，经法律顾问审查），同一套文书适用于未来多贡献者发布。
许可与商业使用
CC BY-NC 4.0 — 科研与评估免费。商业许可（训练商业模型、再分发、更大规模、定制任务列表、独家数据单元）请联系：contact@acttrace.cn。
引用
@misc{acttrace2026egohome, title = {ActTrace Ego-Home: Verified Egocentric Household Manipulation with Metric Depth and Metric-Scale IMU-Verified Trajectories}, author = {ActTrace}, year = {2026}, url = {https://huggingface.co/datasets/ActTrace/acttrace-ego-home} }
