shuju11

# Universal 6D Digital Twin Dataset (shuju11) 大规模机器人操作模仿学习数据集，基于 Panda 7-DOF 机械臂仿真，覆盖 **10 个应用领域 x 5000 真实物理小时**，用于 6D Diffusion Policy 训练。 ## 数据集概览 | 领域 | 文件 | demos | 物理时长 | 大小 | |---|---|---|---|---| | 抓取任务 | vla_dataset_6d_dt.hdf5 | 1,812 | 50h | 50 MB | | 舞蹈任务 | vla_dataset_6d_dt_dance.hdf5 | 1,812 | 50h | 50 MB | | 家庭清理 | vla_dataset_6d_dt_cleanup.hdf5 | 3,020 | 84h | 91 MB | | 高级操作 | vla_dataset_6d_dt_advanced.hdf5 | 4,832 | 666h | 1,056 MB | | 工业制造 | vla_dataset_6d_dt_industrial.hdf5 | 4,832 | 1,000h | 1,059 MB | | 多宇宙综合 | vla_dataset_6d_dt_multiverse.hdf5 | 2,720 | 10,000h | 595 MB | | 制造业 5000h | manufacturing_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 家庭服务 5000h | household_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 医疗医护 5000h | medical_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 农业食品 5000h | agriculture_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 物流仓储 5000h | logistics_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 建筑施工 5000h | construction_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 零售服务 5000h | retail_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 户外巡检 5000h | inspection_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 教育娱乐 5000h | education_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | | 应急救援 5000h | emergency_part0~23.hdf5 | 360,000 | 5,000h | ~60 GB | 总计约 3,600,000 demos / 60,000+ 真实物理小时 / ~600 GB（未压缩） ## 每个 Demo 的数据结构 ``` demo/ actions # (T, 7) tanh 归一化关节速度 dones # (T,) 终止标志 rewards # (T,) 稠密 reward states # (T, 14) [qpos(7), qvel(7)] obs/ robot0_proprio-state # (T, 14) 本体感知 object-state # (T, 10) [pos(3), quat(4), vel(3)] robot0_eef-pos # (T, 3) 末端位置 robot0_eef-quat # (T, 4) 末端四元数 attrs: scene # 场景标签 instruction # 自然语言指令 task_genome # 8 维任务基因向量 constraint # 约束类型 demo_idx # 全局索引 ``` ## 物理仿真参数 | 参数 | 值 | |---|---| | 机器人 | Franka Panda 7-DOF | | 控制频率 | 20 Hz (dt=0.05s) | | 每 demo 步数 | 100 或 1000 步 | | action 空间 | tanh(qvel / 5.0) 归一化到 [-1, 1] | | FK 模型 | 简化 4 关节正向运动学 | ## 10 大领域场景 | 领域 | 子场景数 | 示例 | 约束类型 | |---|---|---|---| | 工业制造 | 8 | 焊接、装配、喷涂、检测 | contact_constraint | | 家庭服务 | 8 | 烹饪、清洁、折叠、洗碗 | position_constraint | | 医疗医护 | 8 | 手术、配药、护理、采样 | precision_assembly | | 农业食品 | 8 | 采摘、种植、分拣、包装 | perception_heavy | | 物流仓储 | 8 | 拣选、码垛、搬运、装车 | path_planning | | 建筑施工 | 8 | 砌墙、粉刷、钻孔、浇筑 | force_control | | 零售服务 | 8 | 上架、收银、补货、盘点 | position_constraint | | 户外巡检 | 8 | 电力线、管道、桥梁、铁路 | perception_heavy | | 教育娱乐 | 8 | 跳舞、表演、教学、演奏 | free_motion | | 应急救援 | 8 | 灭火、搜救、排爆、医疗后送 | multi_agent_coordination | ## 质量保证（6 项修复） - **修复 1**：action 空间统一为 tanh 归一化 - **修复 2**：稠密 reward 曲线（proximity + grasp + progress + terminal bonus） - **修复 3**：object-state 使用 smoothstep 驱动 + 正弦扰动（非零运动） - **修复 4**：机器人位置速度基于真实物理仿真 - **修复 5**：1000 帧任务加随机振幅调制 + 停顿帧（避免周期性抽筋） - **修复 6**：train/val mask 键与 data 键完全匹配 ## 使用方法 ```python import h5py f = h5py.File('vla_dataset_6d_dt.hdf5', 'r') # 列出所有 demo demos = list(f['data'].keys()) # 读取单个 demo demo = f['data']['demo_00001_grasp_lift'] actions = demo['actions'][:] # (T, 7) states = demo['states'][:] # (T, 14) obj_state = demo['obs']['object-state'][:] # (T, 10) # 读取训练/验证划分 train_keys = [k.decode() for k in f['mask']['train'][:]] val_keys = [k.decode() for k in f['mask']['valid'][:]] # 读取元信息 scene = demo.attrs['scene'] instruction = demo.attrs['instruction'] genome = demo.attrs['task_genome'] f.close() ``` ## 引用 ``` @dataset{universal_6d_dt_2026, title={Universal 6D Digital Twin Dataset}, author={LuojieLLMService}, year={2026}, url={https://www.modelscope.cn/models/LuojieLLMService/shuju11} } ```