everyday-manipulation-3d

每一帧都包含度量深度、6自由度相机位姿、MANO手部姿态、每手物体接触、手和物体分割以及时间对齐的语言，因此模型可以在不进行任何数据收集或标注的情况下，针对这些通道中的任何一个或全部进行测试。该数据集由iPhone Pro（ARKit LiDAR）录制，作为Everyday Manipulation 1（EM1）的一部分，由CaryX AI标注，打包为单个多片段LeRobot v3.0数据集。这是一个试点规模的研究语料库（32个片段、4个任务、2名参与者），用于方法开发和逐通道评估，而非用于广泛的泛化声明。Each frame contains metric depth, 6-DOF camera pose, MANO hand pose, per-hand object contact, hand and object segmentation, and temporally aligned language, allowing models to be tested on any or all of these channels without any additional data collection or annotation. The dataset was recorded using an iPhone Pro (ARKit LiDAR) as part of Everyday Manipulation 1 (EM1), annotated by CaryX AI, and packaged as a single multi-segment LeRobot v3.0 dataset. It is a pilot-scale research corpus (32 segments, 4 tasks, 2 participants) intended for method development and per-channel evaluation, rather than for broad generalization claims.

原始信息汇总

CaryX Everyday Manipulation 3D 数据集详情

概述

everyday-manipulation-3d 是由 CaryX AI 制作的自我中心（egocentric）人类操作三维数据集，专注于日常操控任务的机器人学习研究。该数据集为试用规模研究语料库，包含 32 个片段（episodes）、9161 帧、约 15 fps，涵盖 4 个任务、2 位参与者。数据通过 iPhone Pro（ARKit LiDAR）录制，并由 CaryX AI 进行标注，以 LeRobot v3.0 格式打包发布。

任务与分布

任务	片段数	帧数
fold_laundry（叠衣服）	9	2387
jar_open_close（开关罐子）	3	488
scoop_grain（舀取谷物）	11	4488
sweep（清扫）	9	1798

核心特性

每个帧均包含：

• 度量深度（metric depth）
• 6自由度相机位姿（6-DoF camera pose）
• MANO 手部姿态（MANO hand pose）
• 每手-物体接触信息（per-hand object contact）
• 手和物体分割掩码（hand and object segmentation）
• 时间对齐的语言标注（time-aligned language）

数据通道说明

以下数据形状为 numpy 形状（HWC，即高×宽×通道）：

键名	形状	说明
observation.images.ego	(512, 384, 3)	自我中心 RGB 帧，竖屏，原生 1440×1920 的均匀降采样（无纵横比失真）；恰好为深度网格的 2 倍尺寸
observation.images.depth	(256, 192, 1)	度量米制深度，原生 ARKit sceneDepth 网格，12-bit 对数 HEVC 量化，范围 [0.1, 5.0] 米
observation.state	(7,)	[x, y, z] 腕部位置 + [rx, ry, rz] 手部旋转（轴角）+ 抓握，度量世界坐标系；每帧跟踪一只手（有右手时优先右手）
observation.state_valid	(1,)	1.0 表示真实测量位姿；0.0 表示该帧无可推导手部姿态（占 2296/9161 帧）
observation.state_hand	(1,)	1.0 = 右手，0.0 = 左手，-1.0 = 无手
action	(7,)	世界坐标系位置增量 + 两帧间相对旋转轴角 + 抓握；仅当相邻帧 state_valid 和 state_hand 同时有效时才是真实增量
observation.camera_pose	(4, 4)	相机到世界的度量变换矩阵，已按重力验证
observation.contact	(2, 2)	左右手与物体槽位的接触强度，范围 [0, 1]
observation.contact_valid	(2, 2)	1.0 表示实际测量到的接触距离
observation.mano_joints	(2, 21, 3)	MANO/HaMeR 关节，以腕部为原点重新定位
observation.mano_params	(2, 58)	完整 MANO 参数化：global_orient(3) ⊕ pose(45) ⊕ betas(10)
observation.mano_valid	(2,)	1.0 表示该帧手部的 MANO 拟合有效
observation.images.object_mask	(512, 384, 3)	R = 物体槽 0，B = 槽 1（双物体片段），G 未使用；阈值 > 127
observation.images.hand_mask	(512, 384, 3)	R = 左手，B = 右手；经审核校正

片段侧车文件

每个片段目录 episodes/<capture_id>/ 下包含：

文件	适用范围	内容
openego_sidecar.json	全部	OpenEgo 标注的发布副本，包含生产者版本、模型来源等溯源信息
language_spans.json	全部	密集子步骤动作标签（秒级，与 timestamp 同钟），来源为 vlm 或 human
depth_geometry.json	全部	深度相机内参和外参
object_mask.npz	全部	精确全分辨率物体掩码
hand_mask.npz	全部	精确全分辨率手部掩码（审核校正通道）
hand_object_contact.npz	全部	完整归因接触数据：每手-物体距离、强度、抓握状态
object_object_contact.npz	多物体（12/32 片段）	对称的物体间接触
contact_corrections.npz	有审核判定的片段	审核员接触窗口判定
object_registry.json	多物体（12/32 片段）	物体 ID 到人类标签和掩码颜色槽的映射

时序特性

• timestamp 列为真实源时间，每 1/15 秒 tick 对应一帧（取最近源帧，不丢帧）
• 无手部姿态的帧以零状态和 state_valid = 0.0 输出，而非删除
• meta/foundry.json 中记录了每个片段对应的源视频帧索引和源帧率

官方划分

meta/splits.json 固定了按片段级别的训练/验证/测试划分，规则为按任务内捕获时间排序，最后一段为测试，倒数第二段为验证，其余为训练：

划分	片段数	帧数
train	24	7117
val	4	973
test	4	1071

保真度说明

通道	保真度
RGB	原生 1440×1920 均匀降采样至 384×512（无纵横比失真）
深度	原生 256×192 网格，12-bit 对数量化（[0.1, 5.0] m），量化误差低于 ~0.5 mm（p99）
掩码	视频通道有编解码损耗（约 0.03-0.04% 像素），精确掩码以 npz 文件提供
时序	15 fps 基于时间重采样，最坏时序抖动为半个源帧
状态	零相位平滑（位置和旋转），原始拟合可从 mano_params 恢复
统计	meta/stats.json 基于全语料库所有帧计算，非抽样

许可

• 数据集整体：CC-BY-NC-SA-4.0（非商业用途）
• MANO 衍生数据（observation.mano_joints、observation.mano_params 及 HaMeR 手部字段）受 MANO 许可证 约束

与原始数据的关联

原始全分辨率 RGB-D 片段单独发布为 CaryxAI/everyday-manipulation-3d-raw（CC BY 4.0，无标注）。

引用

bibtex @misc{caryx2026egocentric, title = {everyday-manipulation-3d: Egocentric Human Manipulation with Metric Depth, Contact, and MANO Hands}, author = {CaryX AI}, year = {2026}, publisher = {CaryX AI}, howpublished = {url{https://caryx.ai}}, url = {https://huggingface.co/datasets/CaryxAI/everyday-manipulation-3d}, note = {Dataset. Available at url{https://caryx.ai/data}} }