Daimon-Infinity-Lite

# Daimon-Infinity-Lite 触觉操作数据集

<div style="display: flex; justify-content: space-between; align-items: center; width: 100%;">
<div>
<a href="https://modelscope.cn/datasets/daimonrobotics/Daimon-Infinity-Lite">
<img src="https://img.shields.io/badge/Modelscope-1890FF?style=for-the-badge&logo=alibabacloud" alt="Modelscope">
</a>
</div>
</div>

中文 | [English](.README_EN.md)
<div style="font-size:1.1em; margin: 0 0 16px 0; text-align: left;">
针对当前具身智能领域在精细操作数据上的关键瓶颈，戴盟提出了<span style="color:#00008B">D</span><span style="color:#0000CD">a</span><span style="color:#1E90FF">i</span><span style="color:#00BFFF">m</span><span style="color:#87CEFA">o</span><span style="color:#ADD8E6">n</span><span style="color:#B0E0E6">-</span><span style="color:#0000CD">I</span><span style="color:#1E90FF">n</span><span style="color:#00BFFF">f</span><span style="color:#87CEFA">i</span><span style="color:#ADD8E6">n</span><span style="color:#B0E0E6">i</span><span style="color:#87CEFA">t</span><span style="color:#00BFFF">y</span>数据集。该项目将向全行业开源超过 10,000 小时的视觉-触觉-语言-动作（VTLA）多模态数据，旨在构建以触觉为核心的具身智能数据生态，推动机器人精细操作能力的突破与规模化发展。我们认为，大规模高质量的触觉数据将成为下一代具身智能系统发展的关键驱动力。
</div>

Daimon-Infinity-Lite 是 Daimon-Infinity 的轻量化版本，提供了数据可视化与加载示例。更多数据集信息请参考 [Daimon-Infinity](https://modelscope.cn/datasets/daimonrobotics/Daimon-Infinity)。

## 安装

推荐使用 conda 创建并安装环境：

```bash
conda create -y -n daimon-Infinity python=3.10 && \
conda activate daimon-Infinity && \
pip install -e . && \
conda install -y -c conda-forge ffmpeg==7.1.1
```

说明：`pyproject.toml` 已包含本地依赖 `dmrobotics @ file:./3rd_lib/SDK_Publish_1.2.8`，执行 `pip install -e .` 时会自动安装 SDK。

如果你的 `pip` 版本较旧且不支持该本地依赖写法，请先升级 `pip`，或手动执行：

```bash
cd 3rd_lib/SDK_Publish_1.2.8 && pip install .
```

## 数据集可视化

> **注意：** 当前样例数据集已完成可视化处理并生成 MP4 视频。受存储空间限制，完整版 Daimon-Infinity 数据集未预导出可视化视频，用户可根据本文档中的脚本自行生成。

### 使用 LeRobot 可视化工具

可使用 `lerobot-dataset-viz` 进行数据集可视化。帮助信息见 `lerobot-dataset-viz --help`。请根据机器配置选择合适的 `--num-workers` 和 `--batch-size`；低配置机器首次加载时可能略有卡顿，完成缓存后会更流畅。

由于 LeRobot 暂不支持 MOV 格式可视化，需要提前配置 `info.json`，参考 `datasets/dm_dataClaw/meta/info.json`，原始配置文件为 `info_raw.json`。

示例：
可视化dm_dataClaw数据
```bash
lerobot-dataset-viz \
--repo-id local/dm_dataClaw \
--root /Daimon-Infinity-Lite_path/datasets/dm_dataClaw \
--episode-index 0 \
--num-workers 8 \
--batch-size 4 \
--display-compressed-images
```

<div align="center">
<img src="https://modelscope.cn/datasets/daimonrobotics/images/resolve/master/images/data_viz.png" alt="可视化界面" width="100%">
</div>

也可直接运行脚本`src/visualize/viz_dataset.sh`

dm_dataDex数据可视化
```bash
lerobot-dataset-viz \
--repo-id local/dm_dataDex \
--root /Daimon-Infinity-Lite_path/datasets/dm_dataDex \
--episode-index 0 \
--num-workers 8 \
--batch-size 4 \
--display-compressed-images
```

<div align="center">
<img src="https://modelscope.cn/datasets/daimonrobotics/images/resolve/master/images/viz_tacexo.png" alt="可视化界面" width="100%">
</div>

### 触觉模态 MOV 转 MP4

将数据集中的 `.mov` 文件转换为 `.mp4`，便于可视化查看。

```bash
# 预览（dry-run，不实际执行）
python src/visualize/dataset_mov_to_mp4.py --input_dir ./datasets --dry-run

# 实际执行
python src/visualize/dataset_mov_to_mp4.py --input_dir ./datasets
```

可选参数：
- `--overwrite`：覆盖已存在的 mp4 文件
- `--delete-source`：生成成功后删除 mov 源文件
- `--max-frames 200`：仅生成前 200 帧用于调试

### 触觉模态示例

| 形变（deformation） | 剪切（shear） | 深度（depth） |
| :---: | :---: | :---: |
|  |  |  |

**说明：**
- `deformation` / `shear`：由触觉矢量场渲染得到（箭头可视化）
- `depth`：由深度场映射为伪彩色图

## 数据集加载

使用 `src/load_dataset/load_datasets.py` 脚本加载数据集：

```bash
python src/load_dataset/load_datasets.py --help
```

参数说明：
```
--mode {single,multi}
single: 单数据集加载；multi: 多数据集联合加载
--input_dir INPUT_DIR
单数据集目录，或包含多个数据集的目录（默认自动解析：Daimon-Infinity-Lite/datasets/dm_dataClaw）
--datasets_root DATASETS_ROOT
多数据集根目录（默认自动解析：Daimon-Infinity-Lite/datasets）
--repo_id REPO_ID 单数据集模式下的 repo_id，默认使用 input_dir 的目录名
--dataset_names [DATASET_NAMES ...]
多数据集模式下指定子数据集目录名列表（默认自动发现）
--max_batches MAX_BATCHES
每种模式最多打印的 batch 数
--seed SEED 随机种子
```

### 示例

#### 单数据集加载

```bash
python3 src/load_dataset/load_datasets.py
```

输出示例：

```
==============================
数据集概览:
数据集路径: xxx
repo_id: dm_dataClaw
Episode 数量: 6
总帧数: 5688
控制频率 (FPS): 30
摄像头列表: ['observation.images.left_cam_left', 'observation.images.right_cam_right']
==============================

开始读取 Batch...

Batch 1 详情:
observation.images.left_cam_left: torch.Size([8, 3, 1080, 1920]) (dtype: torch.float32)
observation.images.right_cam_right: torch.Size([8, 3, 1080, 1920]) (dtype: torch.float32)
Observation State: torch.Size([8, 114])
Action: torch.Size([8, 111])

Batch 2 详情:
observation.images.left_cam_left: torch.Size([8, 3, 1080, 1920]) (dtype: torch.float32)
observation.images.right_cam_right: torch.Size([8, 3, 1080, 1920]) (dtype: torch.float32)
Observation State: torch.Size([8, 114])
Action: torch.Size([8, 111])

测试完成！数据加载正常。
```
## 📄 许可证

本数据集中的数据和代码均遵循 [CC BY-NC-SA-4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) 许可协议。

# Daimon-Infinity-Lite 触觉操作数据集

<div style="display: flex; justify-content: space-between; align-items: center; width: 100%;">
<div>
<a href="https://modelscope.cn/datasets/daimonrobotics/Daimon-Infinity-Lite">
<img src="https://img.shields.io/badge/Modelscope-1890FF?style=for-the-badge&logo=alibabacloud" alt="Modelscope">
</a>
</div>
</div>

简体中文 | [英文版本](.README_EN.md)

<div style="font-size:1.1em; margin: 0 0 16px 0; text-align: left;">
针对当前具身智能领域精细操作数据的关键瓶颈，戴盟推出了<span style="color:#00008B">D</span><span style="color:#0000CD">a</span><span style="color:#1E90FF">i</span><span style="color:#00BFFF">m</span><span style="color:#87CEFA">o</span><span style="color:#ADD8E6">n</span><span style="color:#B0E0E6">-</span><span style="color:#0000CD">I</span><span style="color:#1E90FF">n</span><span style="color:#00BFFF">f</span><span style="color:#87CEFA">i</span><span style="color:#ADD8E6">n</span><span style="color:#B0E0E6">i</span><span style="color:#87CEFA">t</span><span style="color:#00BFFF">y</span>数据集。本项目将向全行业开源超过10000小时的**视觉-触觉-语言-动作（Vision-Touch-Language-Action，VTLA）**多模态数据，旨在构建以触觉为核心的具身智能数据生态，推动机器人精细操作能力的突破与规模化发展。我们认为，大规模高质量的触觉数据将成为下一代具身智能系统发展的关键驱动力。
</div>

Daimon-Infinity-Lite 是 Daimon-Infinity 的轻量化衍生版本，附带数据可视化与加载示例。如需了解更多数据集详情，请访问 [Daimon-Infinity](https://modelscope.cn/datasets/daimonrobotics/Daimon-Infinity)。

## 安装指南

推荐通过 conda 创建并配置运行环境：

bash
conda create -y -n daimon-Infinity python=3.10 &&
conda activate daimon-Infinity &&
pip install -e . &&
conda install -y -c conda-forge ffmpeg==7.1.1

说明：`pyproject.toml` 已内嵌本地依赖 `dmrobotics @ file:./3rd_lib/SDK_Publish_1.2.8`，执行 `pip install -e .` 命令将自动完成软件开发工具包（SDK）的安装。

若你的 `pip` 版本过旧，不支持该本地依赖写法，请先升级 `pip`，或手动执行以下命令：

bash
cd 3rd_lib/SDK_Publish_1.2.8 && pip install .

## 数据集可视化

> **注意：** 本样例数据集已完成可视化处理并生成 MP4 格式视频。受限于存储空间，完整版 Daimon-Infinity 数据集未预导出可视化视频，用户可通过本文档提供的脚本自行生成。

### 使用 LeRobot 可视化工具

可通过 `lerobot-dataset-viz` 工具完成数据集可视化，查看帮助信息可执行 `lerobot-dataset-viz --help` 命令。请根据设备配置合理选择 `--num-workers` 与 `--batch-size` 参数；低配设备首次加载可能出现短暂卡顿，完成缓存后将更为流畅。

由于 LeRobot 暂不支持 MOV 格式的可视化，需提前配置 `info.json` 文件，可参考 `datasets/dm_dataClaw/meta/info.json`，原始配置文件为 `info_raw.json`。

示例：可视化 dm_dataClaw 数据
bash
lerobot-dataset-viz
--repo-id local/dm_dataClaw
--root /Daimon-Infinity-Lite_path/datasets/dm_dataClaw
--episode-index 0
--num-workers 8
--batch-size 4
--display-compressed-images

<div align="center">
<img src="https://modelscope.cn/datasets/daimonrobotics/images/resolve/master/images/data_viz.png" alt="可视化界面" width="100%">
</div>

也可直接运行脚本 `src/visualize/viz_dataset.sh`

可视化 dm_dataDex 数据
bash
lerobot-dataset-viz
--repo-id local/dm_dataDex
--root /Daimon-Infinity-Lite_path/datasets/dm_dataDex
--episode-index 0
--num-workers 8
--batch-size 4
--display-compressed-images

<div align="center">
<img src="https://modelscope.cn/datasets/daimonrobotics/images/resolve/master/images/viz_tacexo.png" alt="可视化界面" width="100%">
</div>

### 触觉模态文件格式转换：MOV 转 MP4

将数据集中的 `.mov` 格式文件转换为 `.mp4` 格式，以方便可视化查看。

bash
# 预览模式（dry-run，不执行实际操作）
python src/visualize/dataset_mov_to_mp4.py --input_dir ./datasets --dry-run

# 正式执行
python src/visualize/dataset_mov_to_mp4.py --input_dir ./datasets

可选参数：
- `--overwrite`：覆盖已存在的 MP4 文件
- `--delete-source`：转换成功后删除原始 MOV 文件
- `--max-frames 200`：仅生成前200帧以用于调试

### 触觉模态示例

| 形变（Deformation） | 剪切（Shear） | 深度（Depth） |
| :---: | :---: | :---: |
|  |  |  |

**说明：**
- `deformation`（形变）与 `shear`（剪切）：通过触觉矢量场渲染生成（以箭头可视化呈现）
- `depth`（深度）：由深度场映射为伪彩色图像

## 数据集加载方法

可通过 `src/load_dataset/load_datasets.py` 脚本加载数据集：

bash
python src/load_dataset/load_datasets.py --help

参数说明：

--mode {single,multi}
single：单数据集加载模式；multi：多数据集联合加载模式
--input_dir INPUT_DIR
单数据集目录，或包含多个数据集的根目录（默认自动解析：Daimon-Infinity-Lite/datasets/dm_dataClaw）
--datasets_root DATASETS_ROOT
多数据集根目录（默认自动解析：Daimon-Infinity-Lite/datasets）
--repo_id REPO_ID 单数据集模式下的 repo_id，默认使用 input_dir 对应的目录名
--dataset_names [DATASET_NAMES ...]
多数据集模式下指定的子数据集目录名列表（默认自动发现）
--max_batches MAX_BATCHES
每种模式下最多打印的 batch 数量
--seed SEED 随机种子

### 使用示例

#### 单数据集加载

bash
python3 src/load_dataset/load_datasets.py

输出示例：

==============================
数据集概览:
数据集路径: xxx
repo_id: dm_dataClaw
Episode 数量: 6
总帧数: 5688
控制帧率 (FPS): 30
摄像头列表: ['observation.images.left_cam_left', 'observation.images.right_cam_right']
==============================

开始读取 Batch 数据...

Batch 1 详情:
observation.images.left_cam_left: torch.Size([8, 3, 1080, 1920]) (dtype: torch.float32)
observation.images.right_cam_right: torch.Size([8, 3, 1080, 1920]) (dtype: torch.float32)
Observation State: torch.Size([8, 114])
Action: torch.Size([8, 111])

Batch 2 详情:
observation.images.left_cam_left: torch.Size([8, 3, 1080, 1920]) (dtype: torch.float32)
observation.images.right_cam_right: torch.Size([8, 3, 1080, 1920]) (dtype: torch.float32)
Observation State: torch.Size([8, 114])
Action: torch.Size([8, 111])

测试完成！数据加载正常。

## 📄 许可证

本数据集包含的数据与代码均遵循 [CC BY-NC-SA-4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) 许可协议。