visuo-tactile

<div style="display: flex; justify-content: space-between; align-items: center; width: 100%;"> <div> <a href="https://www.modelscope.cn/datasets/OpenLoong-Community/visuo-tactile"> <img height="30" src="https://img.shields.io/badge/ModelScope-333333?style=for-the-badge&logo=modelscope&labelColor=624AFF" alt="Modelscope"> </a> <a href="https://ai.atomgit.com/openloong/visuo-tactile"> <img height="30" src="https://img.shields.io/badge/AtomGit-333333?style=for-the-badge&logo=gitcode&labelColor=E91E3F" alt="Gitcode"> </a> </div> </div> # 白虎-VTouch 数据集 白虎-VTouch 数据集是一个跨本体视触觉多模态的机器人操作数据集，针对多平台系统构建。 ## 主要特点✨ * 数据集涵盖多个模态，包含视触觉传感器数据、RGB-D数据、关节位姿数据等 * 涵盖了多款机器人本体，包括国地中心青龙、国地中心轮臂、手持式pika夹爪。这些平台涵盖了全尺寸人形机器人、类人形轮式机器人以及手持式智能终端多种本体构型，展现了其广泛适用性。 * 使用“矩阵式”任务构建方法，围绕家居家政、餐饮服务、工业制造、特种作业四大类真实场景，涵盖100+原子技能，全面覆盖机器人在现实生活和生产中的关键应用领域 ## 数据格式 白虎-VTouch 数据集按照 {任务名称}/${机器人构型}/${唯一episode\_id}.h5 结构来存储，基本存储格式为HDF5格式文件。 <div style="text-align: center; max-width: 1200px; margin: 0 auto;"> <table style="margin: 0 auto;"> <tr> <td width="33%" align="center"><b>左手相机</b></td> <td width="33%" align="center"><b>头部相机</b></td> <td width="33%" align="center"><b>右手相机</b></td> </tr> <tr> <td align="center"><img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/hand_left.gif" width="100%"></td> <td align="center"><img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/head.gif" width="100%"></td> <td align="center"><img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/hand_right.gif" width="100%"></td> </tr> </table> <table style="margin: 0 auto; width: 80%; max-width: 1000px;"> <tr> <td width="25%" align="center"><b>左手触觉传感器（左）</b></td> <td width="25%" align="center"><b>左手触觉传感器（右）</b></td> <td width="25%" align="center"><b>右手触觉传感器（左）</b></td> <td width="25%" align="center"><b>右手触觉传感器（右）</b></td> </tr> <tr> <td align="center"><img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/hand_left_left.gif" width="100%"></td> <td align="center"><img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/hand_left_right.gif" width="100%"></td> <td align="center"><img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/hand_right_left.gif" width="100%"></td> <td align="center"><img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/hand_right_right.gif" width="100%"></td> </tr> </table> </div> ## 数据统计 | 应用场景 | |----------| |<img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/scenario.png" width="500" alt="应用场景">| | 数据量统计(GB) | |----------| |<img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/capacity.png" width="1000" alt="数据量统计(GB)">| | 数据量统计(条) | |----------| |<img src="https://openloong-apps-dev-public.obs.cn-east-3.myhuaweicloud.com/videos/visuo_tactile_readme/amount.png" width="1000" alt="数据量统计(条)">| ## 数据集格式说明🔥 ### 国地中心青龙 ``` cameras // 相机数据 │ ├── hand\_left // 左手相机 │ │ ├── color // RGB图像信息 │ │ │ ├── data // RGB数据 │ ├── hand\_right // 右手相机 │ │ ├── color // RGB图像信息 │ │ │ ├── data // RGB数据 │ ├── head // 头部相机 │ │ ├── color // RGB图像信息 │ │ │ ├── data // RGB数据 │ │ ├── depth // 深度图像信息 │ │ │ ├── data // 深度数据 joints // 关节数据 │ ├── action // 关节期望值 │ │ ├── arm // 机械臂 │ │ | ├── position // N(行)\*14(列)； │ │ ├── effector // 末端 │ │ | ├── position // N(行)\*2(列)； │ │ ├── head // 头部 │ │ | ├── position // N(行)\*2(列)； │ │ ├── leg // 腿 │ │ | ├── postion // N(行)\*12(列)； │ │ ├── waist // 腰部 │ │ | ├── position // N(行)\*3(列)； │ ├── state // 关节实际值 │ │ ├── arm // 机械臂 │ │ | ├── effort // N(行)\*14(列)； │ │ | ├── position // N(行)\*14(列)； │ │ | ├── velocity // N(行)\*14(列)； │ │ ├── effector // 末端 │ │ | ├── position // N(行)\*2(列)； │ │ ├── head // 头部 │ │ | ├── effort // N(行)\*2(列)； │ │ | ├── position // N(行)\*2(列)； │ │ | ├── velocity // N(行)\*2(列)； │ │ ├── leg // 腿 │ │ | ├── effort // N(行)\*12(列)； │ │ | ├── position // N(行)\*12(列)； │ │ | ├── velocity // N(行)\*12(列)； │ │ ├── waist // 腰部 │ │ | ├── effort // N(行)\*3(列)； │ │ | ├── position // N(行)\*3(列)； │ │ | ├── velocity // N(行)\*3(列)； tactile // 触觉信息 │ ├── hand\_left //左手 │ | ├── left //左侧触觉传感器 │ │ | ├── data //触觉信息 │ | ├── right //右侧触觉传感器 │ │ | ├── data //触觉信息 │ ├── hand\_right //右手 │ | ├── left //左侧触觉传感器 │ │ | ├── data //触觉信息 │ | ├── right //右侧触觉传感器 │ │ | ├── data //触觉信息 parameters // 传感器参数 │ ├── camera // │ | ├── hand\_left.json // 左手相机参数，包括内参、外参 │ | ├── hand\_right.json // 右手相机参数，包括内参、外参 │ | ├── head.json // 头部相机参数，包括内参、外参 metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等 ``` ### 国地中心轮臂 ``` cameras // 相机数据 │ ├── hand\_left // 左手相机 │ │ ├── color // RGB图像信息 │ │ │ ├── data // RGB数据 │ ├── hand\_right // 右手相机 │ │ ├── color // RGB图像信息 │ │ │ ├── data // RGB数据 │ ├── head // 头部相机 │ │ ├── color // RGB图像信息 │ │ │ ├── data // RGB数据 │ │ ├── depth // 深度图像信息 │ │ │ ├── data // 深度数据 │ │ ├── ir\_left // 左目红外信息 │ │ │ ├── data // 红外数据 │ │ ├── ir\_right // 右目红外信息 │ │ │ ├── data // 红外数据 joints // 关节数据 │ ├── action // 关节期望值 │ │ ├── arm // 机械臂 │ │ | ├── position // N(行)\*14(列)； │ │ ├── effector // 末端 │ │ | ├── position // N(行)\*2(列)； │ │ ├── robot // 机体 │ │ | ├── velocity // N(行)\*2(列)； │ │ ├── waist // 腰部 │ │ | ├── position // N(行)\*2(列)； │ ├── state // 关节实际值 │ │ ├── arm // 机械臂 │ │ | ├── position // N(行)\*14(列)； │ │ ├── effector // 末端 │ │ | ├── position // N(行)\*2(列)； │ │ ├── robot // 机体 │ │ | ├── velocity // N(行)\*2(列)； │ │ ├── waist // 腰部 │ │ | ├── position // N(行)\*2(列)； tactile // 触觉信息 │ ├── hand\_left //左手 │ | ├── left //左侧触觉传感器 │ │ | ├── data //触觉信息 │ | ├── right //右侧触觉传感器 │ │ | ├── data //触觉信息 │ ├── hand\_right //右手 │ | ├── left //左侧触觉传感器 │ │ | ├── data //触觉信息 │ | ├── right //右侧触觉传感器 │ │ | ├── data //触觉信息 parameters // 传感器参数 │ ├── camera // │ | ├── hand\_left.json // 左手相机参数，包括内参、外参 │ | ├── hand\_right.json // 右手相机参数，包括内参、外参 │ | ├── head.json // 头部相机参数，包括内参、外参 metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等 ``` ### 手持式Pika ``` cameras // 相机数据 │ ├── fisheye\_left // 左手鱼眼相机 │ │ ├── color // RGB图像信息 │ ├── fisheye\_right // 右手鱼眼相机 │ │ ├── color // RGB图像信息 │ ├── hand\_left // 左手相机 │ │ ├── color // RGB图像信息 │ │ │ ├── data // RGB数据 │ │ ├── depth // 深度图像信息 │ │ │ ├── data // 深度数据 │ ├── hand\_right // 右手相机 │ │ ├── color // RGB图像信息 │ │ │ ├── data // RGB数据 │ │ ├── depth // 深度图像信息 │ │ │ ├── data // 深度数据 joints // 关节数据 │ ├── state // 关节实际值 │ │ ├── effector // 夹爪 │ │ | ├── position // N\*2\*6； │ │ ├── end // 末端 │ │ | ├── orientation // N\*2\*4； │ │ | ├── position // N\*2\*3； tactile // 触觉信息 │ ├── hand\_left //左手 │ | ├── left //左侧触觉传感器 │ │ | ├── data //触觉信息 │ | ├── right //右侧触觉传感器 │ │ | ├── data //触觉信息 │ ├── hand\_left //右手 │ | ├── left //左侧触觉传感器 │ │ | ├── data //触觉信息 │ | ├── right //右侧触觉传感器 │ │ | ├── data //触觉信息 tactile // 触觉信息 │ ├── hand\_left //左手 │ | ├── left //左侧触觉传感器 │ │ | ├── data //触觉信息 │ | ├── right //右侧触觉传感器 │ │ | ├── data //触觉信息 │ ├── hand\_right //右手 │ | ├── left //左侧触觉传感器 │ │ | ├── data //触觉信息 │ | ├── right //右侧触觉传感器 │ │ | ├── data //触觉信息 metadata.json //元数据信息，包含采集设备、末端类型、相机帧率、关节信息等 ```