CNVVE
收藏资源简介：
CNVVE数据集包含950个音频样本，涵盖六种不同的声音表达类别。这些表达是从42位慷慨的个体捐赠的语音录音中收集的。通过公开访问数据集，我们希望促进非言语语音交互的计算方法的研究和开发。
The CNVVE dataset consists of 950 audio samples covering six distinct vocal expression categories. These samples are collected from speech recordings donated by 42 generous individuals. By making this dataset publicly accessible, we aim to facilitate the research and development of computational methods for non-verbal vocal interaction.
CNVVE: Dataset and Benchmark for Classifying Non-verbal Voice Expressions
数据集概述
CNVVE数据集包含950个音频样本，涵盖六种不同的非言语声音表达类别。这些样本由42名志愿者提供，旨在促进非言语声音交互的计算方法的研究和开发。
数据集下载
环境设置
bash pip install virtualenv virtualenv CNVVE activate CNVVE pip install -r requirements.txt
训练和模型制作步骤
- 创建一个名为
data的新文件夹，并将原始音频文件复制到data/raw文件夹中（也可以下载清洗后的数据并跳过下一步）。 - 在终端中运行
python clean.py，该脚本将修剪空白的尾部信号并将清洗后的样本放置在cleaned文件夹中。 - 在终端中运行
python normalize.py，默认使用零填充技术进行数据归一化。可以通过运行python normalize.py --mode=padding使用填充技术进行归一化。 - 在终端中运行
python augment.py，默认使用填充数据进行数据增强。可以通过运行python normalize.py --src_root=data/padded --dst_root=data/padded_augmented来增强填充数据。 - 运行
python createmeta.py --mode=padding创建metadata.csv文件。 - 运行
python train.py开始训练模型。注意训练配置中的训练模式。
训练配置
可以通过修改config.json文件来使用不同的训练模式：
train_mode变量需要修改为以下几种模式：tn: 正常训练模式。thp: 超参数搜索训练模式，同时需要相应修改search_space.json文件。tkf: 使用k折交叉验证的训练模式，需要相应修改kfold_num以设置折数。tp: 生产模式下的训练，数据集不进行分割。tea: 用于增强评估的训练模式，还需要执行以下步骤。
- 对于使用增强数据集进行训练，需要设置以下变量：
is_aug: 需要指向true。AUDIO_DIR: 需要指向新的增强数据集路径。ANNOTATIONS_FILE: 需要指向新生成的metadata.csv文件。
引用
如果该数据集对您有用，请引用以下内容：
@inproceedings{hedeshy23_interspeech, author={Ramin Hedeshy and Raphael Menges and Steffen Staab}, title={{CNVVE: Dataset and Benchmark for Classifying Non-verbal Voice}}, year=2023, booktitle={Proc. INTERSPEECH 2023}, pages={1553--1557}, doi={10.21437/Interspeech.2023-201} }
