AvaMerg_Baseline

数据集文件元信息以及数据文件，请浏览“数据集文件”页面获取。

当前数据集卡片使用的是默认模版，数据集的贡献者未提供更加详细的数据集介绍，但是您可以通过如下GIT Clone命令，或者ModelScope SDK来下载数据集

#### 下载方法
:modelscope-code[]{type="sdk"}
:modelscope-code[]{type="git"}

# 数据集处理与使用指南

本指南详细说明如何下载、处理、训练和推理基于 `Baseline.tar.gz` 的数据集。数据集文件和元信息请浏览“数据集文件”页面获取。

## 1. 数据集下载

数据集可以通过以下两种方式获取：

### 方法 1: 使用 ModelScope SDK
```bash
# 安装 ModelScope SDK（如果尚未安装）
pip install modelscope

# 使用 ModelScope SDK 下载数据集
from modelscope.msdatasets import MsDataset
dataset = MsDataset.load('数据集名称', namespace='数据集命名空间')
```

### 方法 2: 使用 Git Clone
```bash
# 克隆数据集仓库
git clone
```

**注意**：
- 替换 ``、`` 和 `` 为“数据集文件”页面提供的实际值。
- 下载完成后，数据集包含 `Baseline.tar.gz` 压缩包。

## 2. 解压数据集

将 `Baseline.tar.gz` 解压到工作目录：
```bash
tar -xvzf Baseline.tar.gz
```

解压后生成 `Baseline` 文件夹，包含代码、配置文件等。

## 3. 数据准备

在 `Baseline` 文件夹下组织和预处理数据。

### 3.1 创建 `merg_data` 文件夹
```bash
mkdir Baseline/merg_data
```

### 3.2 放置数据文件
将以下文件放入 `Baseline/merg_data`：
- 训练数据：`train` 文件夹（包含 `audio` 和 `video` 模态数据）
- 测试数据：`test` 文件夹（包含 `audio` 和 `video` 模态数据）
- JSON 配置文件：包含数据元信息（如 `annotations.json`）

**目录结构示例**：
```
Baseline/
├── merg_data/
│ ├── train/
│ │ ├── audio/
│ │ ├── video/
│ ├── test/
│ │ ├── audio/
│ │ ├── video/
│ ├── annotations.json
```

### 3.3 预处理数据
使用 `Baseline/merg_code/dataset/preprocess_dataset.py` 脚本重命名和格式化数据。

1. **修改路径配置**：
打开 `preprocess_dataset.py`，更新以下路径为**绝对路径**：
```python
train_audio_path = "/path/to/Baseline/merg_data/train/audio"
train_video_path = "/path/to/Baseline/merg_data/train/video"
test_audio_path = "/path/to/Baseline/merg_data/test/audio"
test_video_path = "/path/to/Baseline/merg_data/test/video"
```

2. **运行预处理脚本**：
```bash
cd Baseline/merg_code/dataset
python preprocess_dataset.py
```

**预期输出**：
- 数据文件被重命名或重组，符合训练和推理格式。
- 检查 `merg_data` 文件夹确认文件结构。

## 4. 训练阶段（Train Phase）

### 4.1 修改配置文件
编辑 `Baseline/merg_code/config/base.yaml`，更新预训练模型路径：
```yaml
pretrained_ckpt_path: "/path/to/pretrained_model/checkpoint.pth"
```

### 4.2 修改训练数据路径
编辑 `Baseline/merg_code/train.py`，更新训练数据路径：
```python
data_path = "/path/to/Baseline/merg_data/train"
```

### 4.3 运行训练脚本
```bash
cd Baseline
sh scripts/train.sh
```

**说明**：
- `train.sh` 加载 `base.yaml` 配置，调用 `train.py` 训练模型。
- 检查点保存在 `base.yaml` 的 `output_dir` 目录。
- 确保 GPU 环境（CUDA）已配置

## 5. 推理阶段（Inference Phase）

### 5.1 修改推理数据路径
编辑 `Baseline/merg_code/inference.py`，更新测试数据路径：
```python
test_data_path = "/path/to/Baseline/merg_data/test"
```

### 5.2 运行推理脚本
```bash
cd Baseline/merg_code
python inference.py
```

**说明**：
- 脚本加载训练好的模型（路径由 `base.yaml` 的 `output_dir` 指定），对测试数据进行预测。
- 结果保存至指定输出目录（由 `inference.py` 或配置文件决定）。
- 确认测试数据格式与训练一致。

**输出示例**：
- 结果为 JSON 文件，包含测试样本的预测标签或回复。

## 6. 环境要求

- **Python**：3.8+
- **PyTorch**：与 `Baseline/requirements.txt` 一致
- **其他依赖**：`numpy`, `pandas`, `librosa`（音频处理）, `opencv`（视频处理）
- **硬件**：GPU 推荐（支持 CUDA），CPU 可选

**安装依赖**：
可以pip install -r requirements.txt (先注释掉torch、torchvision、torchaudio部分)
```bash
pip install -r requirements.txt
```

如需进一步帮助，请联系数据集贡献者或提交 issue！

数据集文件元数据与数据文件请至「数据集文件」页面查阅。本数据集卡片采用默认模板制作，数据集贡献者未提供更详细的介绍说明，您可通过以下Git Clone命令或ModelScope SDK下载该数据集。

#### 下载方法
:modelscope-code[]{type="sdk"}
:modelscope-code[]{type="git"}

# 数据集处理与使用指南
本指南将详细阐述基于`Baseline.tar.gz`的数据集的下载、处理、训练与推理流程。数据集文件及元数据请至「数据集文件」页面获取。

## 1. 数据集下载
数据集可以通过以下两种方式获取：

### 方法一：使用 ModelScope SDK
bash
# 安装 ModelScope SDK（若尚未安装）
pip install modelscope

# 使用 ModelScope SDK 下载数据集
from modelscope.msdatasets import MsDataset
dataset = MsDataset.load('数据集名称', namespace='数据集命名空间')

### 方法二：使用 Git Clone
bash
# 克隆数据集仓库
git clone

**注意事项**：
- 请将``、``和``替换为「数据集文件」页面提供的实际参数值。
- 下载完成后，将得到包含`Baseline.tar.gz`压缩包的数据集。

## 2. 数据集解压
将`Baseline.tar.gz`解压至工作目录：
bash
tar -xvzf Baseline.tar.gz

解压完成后将生成`Baseline`文件夹，内含代码、配置文件等资源。

## 3. 数据准备
在`Baseline`文件夹下组织和预处理数据。

### 3.1 创建`merg_data`文件夹
bash
mkdir Baseline/merg_data

### 3.2 放置数据文件
将以下文件放置至`Baseline/merg_data`目录下：
- 训练数据：`train`文件夹（内含`audio`与`video`模态数据）
- 测试数据：`test`文件夹（内含`audio`与`video`模态数据）
- JSON配置文件：包含数据集元信息（如`annotations.json`）

**目录结构示例**：

Baseline/
├── merg_data/
│ ├── train/
│ │ ├── audio/
│ │ ├── video/
│ ├── test/
│ │ ├── audio/
│ │ ├── video/
│ ├── annotations.json

### 3.3 数据预处理
使用`Baseline/merg_code/dataset/preprocess_dataset.py`脚本完成数据重命名与格式标准化。

1. **修改路径配置**：
打开`preprocess_dataset.py`文件，将以下路径更新为**绝对路径**：
python
train_audio_path = "/path/to/Baseline/merg_data/train/audio"
train_video_path = "/path/to/Baseline/merg_data/train/video"
test_audio_path = "/path/to/Baseline/merg_data/test/audio"
test_video_path = "/path/to/Baseline/merg_data/test/video"

2. **运行预处理脚本**：
bash
cd Baseline/merg_code/dataset
python preprocess_dataset.py

**预期输出**：
- 数据文件将被重命名或重组，以适配训练与推理的格式要求。
- 请检查`merg_data`文件夹以确认文件结构无误。

## 4. 模型训练阶段（Train Phase）

### 4.1 修改配置文件
编辑`Baseline/merg_code/config/base.yaml`文件，更新预训练模型的路径：
yaml
pretrained_ckpt_path: "/path/to/pretrained_model/checkpoint.pth"

### 4.2 修改训练数据路径
编辑`Baseline/merg_code/train.py`文件，更新训练数据的路径：
python
data_path = "/path/to/Baseline/merg_data/train"

### 4.3 运行训练脚本
bash
cd Baseline
sh scripts/train.sh

**说明**：
- `train.sh`将加载`base.yaml`配置文件，并调用`train.py`完成模型训练。
- 训练生成的检查点文件将保存至`base.yaml`中`output_dir`指定的目录。
- 请确保已配置支持CUDA的GPU环境。

## 5. 模型推理阶段（Inference Phase）

### 5.1 修改推理数据路径
编辑`Baseline/merg_code/inference.py`文件，更新测试数据的路径：
python
test_data_path = "/path/to/Baseline/merg_data/test"

### 5.2 运行推理脚本
bash
cd Baseline/merg_code
python inference.py

**说明**：
- 推理脚本将加载训练完成的模型（模型路径由`base.yaml`中的`output_dir`指定），并对测试数据进行预测。
- 预测结果将保存至指定的输出目录（由`inference.py`或配置文件指定）。
- 请确保测试数据的格式与训练数据保持一致。

**输出示例**：
- 输出结果为JSON文件，内含测试样本的预测标签或推理回复。

## 6. 运行环境要求
- **Python**：3.8 及以上版本
- **PyTorch**：版本需与`Baseline/requirements.txt`中指定的一致
- **其他依赖库**：`numpy`、`pandas`、`librosa`（用于音频处理）、`opencv`（用于视频处理）
- **硬件要求**：推荐使用支持CUDA的GPU，CPU亦可运行

**依赖安装**：
可通过`pip install -r requirements.txt`进行安装（需先注释掉`requirements.txt`中`torch`、`torchvision`、`torchaudio`相关行）
bash
pip install -r requirements.txt

若需进一步协助，请联系数据集贡献者或提交Issue！