so101-sim-ego-v21
收藏资源简介：
数据集final_data由两个子集组成：sim_v21（仿真数据，50个episodes，16658帧，1个任务，9.3分钟）和ego_v21（真实数据，324个episodes，36442帧，89个任务，20.2分钟）。两者都是LeRobot v2.1格式，30fps，6自由度（肩部、肘部、腕部等），两个摄像头（前视和腕部），状态和动作都是6维浮点数，单位度。仿真数据来自ManiSkill，真实数据来自EgoDex通过重定向管道得到。两者在格式、速率、模式、自由度、关节顺序、单位和夹爪极性上兼容，但在图像来源（仿真渲染 vs 真实摄像头合成）、动作时间差（仿真动作是PD设定点，领先状态5帧；真实动作是下一帧目标）和夹爪占用（仿真夹爪更紧，真实夹爪更松）上存在差异。
The dataset final_data consists of two subsets: sim_v21 (simulated data, 50 episodes, 16658 frames, 1 task, 9.3 minutes) and ego_v21 (real data, 324 episodes, 36442 frames, 89 tasks, 20.2 minutes). Both are in LeRobot v2.1 format, 30fps, with 6 degrees of freedom (shoulder, elbow, wrist, etc.), two cameras (front and wrist), and state/action are 6D floating-point numbers in degrees. The simulated data is from ManiSkill, and the real data is from EgoDex via a retargeting pipeline. They are compatible in format, rate, mode, degrees of freedom, joint order, units, and gripper polarity, but differ in image source (simulated rendering vs. real camera composite), action timing offset (simulated actions are PD setpoints leading state by 5 frames; real actions are next-frame targets), and gripper occupancy (simulated gripper is tighter, real gripper is looser).
数据集概述：so101-sim-ego-v21
基本信息
- 许可证：Apache 2.0
- 任务类别：机器人学（Robotics）
- 标签：LeRobot、SO-101、仿真到现实迁移、第一人称视角、重定向
- 数据规模：10K < n < 100K
数据集构成
该数据集包含两个子集：
| 子集 | 片段数 | 帧数 | 任务数 | 时长 | 磁盘大小 |
|---|---|---|---|---|---|
sim_v21（仿真） |
50 | 16,658 | 1 | 9.3 分钟 | 132 MB |
ego_v21（真实第一人称重定向） |
324 | 36,442 | 89 | 20.2 分钟 | 335 MB |
数据来源：
sim_v21：来自 ManiSkill 的 SO-101 仿真任务，由 LeRobot v3.0 转换为 v2.1ego_v21：来自 EgoDex（第一人称人类操作数据），通过 DT-pipeline 第 6 阶段运行 F 进行重定向
数据模式（Schema）
两个子集共享完全相同的特征模式（LeRobot v2.1，字节级一致）：
| 特征 | 数据类型 | 形状 | 描述 |
|---|---|---|---|
observation.state |
float32 | (6,) | 关节角度（度）：肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪 |
action |
float32 | (6,) | 动作（与状态同名、同单位） |
observation.images.front |
video | 480×640×3 | H.264，yuv420p，30 fps |
observation.images.wrist |
video | 480×640×3 | H.264，yuv420p，30 fps |
另包含标准字段：timestamp、frame_index、episode_index、index、task_index。
技术校验结果
- 两个子集均以 30 Hz 采样、30 fps 视频，相机帧数与状态行数完全一致（100%）
- 时间戳抖动极小（小于 3e-07 秒），为精确的 1/30 秒网格
- 视频编码与分辨率一致：H.264，640×480
- 每个子集内部片段间无变体差异
关键差异与注意事项
1. 动作语义差异
sim_v21：动作为 PD 设定点，领先自身状态约 5 帧ego_v21：动作为下一帧的绝对目标位置，精确到最大绝对差为 0.0（L=1）
2. 视觉域差距
sim_v21：渲染的仿真相机（机器人手臂）ego_v21：来自单个第一人称相机的人手，两个视角均为裁剪而来，wrist视角并非真实的夹爪安装相机
3. 关节饱和问题
ego_v21 在多个关节上存在大量帧数触及物理限位（URDF 停止位置）：
| 关节 | sim_v21 限位帧占比 | ego_v21 限位帧占比 |
|---|---|---|
| 肩部旋转 | 0.0% | 12.5% |
| 肩部抬升 | 0.0% | 33.4% |
| 肘部弯曲 | 14.0% | 42.3% |
| 腕部弯曲 | 0.0% | 38.8% |
| 腕部旋转 | 0.0% | 18.0% |
| 夹爪 | 0.0% | 0.0% |
此运行的平均 IK 位置误差为 12.39 厘米。
4. 夹爪状态分布差异
- 夹爪编码均为“值越大 = 张开越开”，极性一致
sim_v21夹爪通常静止于闭合位置（0.107），典型开合幅度为 0.107→0.389ego_v21夹爪通常静止于中间位置（0.227），典型开合幅度为 0.154→0.447- 两个子集分布形状相似（单峰向上倾斜），但 ego 整体偏右
5. 仿真数据集的已知缺陷
有 5 个仿真片段（第 39、41、44、47、49 个）的视频长度比对应的数据表长 49–213 帧，额外帧为演示后的静态保持帧。
数据构建细节
ego_v21 构建过程
- 每个重定向片段对应一个 episode，仅导出主动手臂（261 个右手 / 63 个左手）
- 进行了列顺序重排（URDF 为远端到近端顺序，已按关节名称映射）和单位转换（弧度 → 度）
action[t] = state[t+1]，最后一帧重复- 第二相机（
wrist）为合成视图：从原生 1920×1080 第一人称相机中裁剪 640×480 窗口，跟踪手的抓取点（基于拇指尖、食指尖、中指尖的加权投影）
sim_v21 构建过程
- 从 v3.0 格式按片段边界切片，视频重新编码（libx264，crf 20）
- 修正了原
info.json中错误的编解码器标记（实际为 H.264，原标记为 AV1） - 修正了像素对齐检查中硬编码 20 fps 的错误
验证建议
使用提供的 verify_final.py 脚本验证数据结构完整性，包括：数据表行数一致性、视频时间戳网格、索引连续性、编码器声明与实际匹配等。两个子集均零失败通过验证，模式差异为空。
