egostation-iphone-lidar-household-v1
收藏资源简介：
Zen-O 家庭操作，iPhone LiDAR。8个第一人称视角的普通家庭工作记录，双手在三维空间中实时跟踪，以真实米为单位，采用LeRobot v2.1格式。
Zen-O household operations, iPhone LiDAR. 8 first-person perspective recordings of common household tasks, with real-time 3D tracking of both hands in meters, using LeRobot v2.1 format.
数据集概述
Zen-O Household Manipulation, iPhone LiDAR 是一个面向机器人操作研究的家用场景第一人称操作数据集，包含 8 段真实家庭日常工作的录制视频，以 LeRobot v2.1 格式组织。
基本信息
- 任务类型：机器人操作（robotics）
- 语言：英语
- 数据规模：小于 1K 条记录
- 许可协议：CC BY-NC 4.0（非商业用途）
- 数据量：8 个片段，共 128,833 帧，约 71.6 分钟，帧率 30 fps
数据内容
| 项目 | 说明 |
|---|---|
| 视频 | observation.images.head，分辨率 1920×1440 |
| 状态 | 7 个浮点数，相机位置与朝向 |
| 动作 | 20 个浮点数，包含双手腕部位置、方向及手部开合度 |
| 坐标系统 | ROS REP 103，X 向前、Y 向左、Z 向上，以米为单位 |
核心特点
- LiDAR 深度测量：数据由 iPhone 的 LiDAR 传感器记录，手部位置是真实米制单位，直接基于测量而非推断，可在不同录制间直接比较。
- 手部关键点追踪：使用 MediaPipe Hands 提取手部关键点，通过 LiDAR 深度图和 ARKit 相机位姿进行反投影，得到房间坐标系中的三维位置。
- 动作向量设计：每只手 10 个数值，包括手腕位置（3 个）、6D 旋转表示（6 个）和手部开合度（1 个）。6D 旋转表示是连续的，更适合神经网络回归。
- 手部开合度定义：大拇指到食指的距离除以手部跨度，统一的映射范围（0.12 为闭合，0.66 为张开），记录在
meta/info.json中。注意：该值表示手张开的程度，并非抓取状态标签。
质量控制
数据集经过四项自动检查：
| 检查项 | 目的 |
|---|---|
| 回访漂移 | 相机回到曾到位置时是否重合 |
| 骨骼长度 | 手指节长度在帧间是否恒定 |
| 速度 | 手和相机的运动速度是否符合人体正常速度 |
| 惯性一致性 | 手机运动传感器与位姿轨迹是否一致 |
未通过检查的录制会被保留但排除在数据集外，共有 2 个录制被排除。
使用说明
bash pip install lerobot
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
ds = LeRobotDataset("zeno-labs/egostation-iphone-lidar-household-v1") sample = ds[0]
sample["observation.state"] # [x, y, z, qx, qy, qz, qw] sample["action"] # 20 floats sample["observation.images.head"] # [C, H, W] uint8
注意事项
- 不含机器人：动作记录的是人手的位置，不是机器人关节指令，需要自行重定位到目标机械臂。
- 不包含身体姿态：仅包含手部和头部信息。
- 手部检测不完美：检测率在 94% 到 99% 之间，手离开画面、被遮挡或进入水中时会丢失。
- 可重复性：片段可能重新发布，如需严格复现请固定提交版本。
隐私与伦理
所有录制均由知晓并同意的人员参与完成，录制者获得报酬，协议覆盖研究和商业使用。录制进入处理流程前会移除面部及其他可识别身份的信息。
