FBK-MT/RedVox

RedVox是一个多语言和多模态（包含文本、音频和语音）数据集，专门用于安全和公平性测试。该数据集支持德语、英语、西班牙语、法语和意大利语，目前尚未正式发布（即将推出）。RedVox is a multilingual and multimodal (text, audio, speech) dataset for safety and fairness testing.

搜集汇总

数据集介绍

构建方式

RedVox数据集是一个多语言、多模态的评测资源，专为人工智能系统的安全性与公平性测试而设计。该数据集涵盖英语、德语、西班牙语、法语和意大利语五种语言，并包含一个专门的对抗性测试子集。其构建采用简洁的元数据存储方式，每种语言配置下均以JSONL格式记录样本的文本、音频与语音信息，所有数据统一按测试集划分，便于研究者直接用于模型评估与鲁棒性分析。

特点

RedVox的显著特点在于其多模态融合与多语言覆盖的复合设计。它同时包含文本、音频和语音三种模态，能够全面评估模型在不同输入形式下的表现。语言层面覆盖五种欧洲主要语言，并特别设置对抗性子集，用于检验模型在恶意或边缘案例下的脆弱性。整体规模介于1K至10K样本之间，虽不大但针对性强，适合作为精准的公平性与安全性基准测试集。

使用方法

使用RedVox时，研究人员可通过HuggingFace Datasets库加载指定语言配置或对抗性子集。例如，调用`load_dataset`函数并指定`en`、`de`等配置名，即可获取对应语言的测试数据。每条记录以JSONL格式存储，包含文本、音频文件路径及语音转录信息。由于数据仅包含测试集，用户可直接将其用于模型的零样本评估、偏见检测或对抗样本鲁棒性验证，无需额外划分训练集或验证集。

背景与挑战

背景概述

RedVox数据集是由研究团队为评估多语言和多模态系统中安全性与公平性而构建的专项测试资源。该数据集涵盖英语、德语、西班牙语、法语和意大利语五国语言，融合文本、音频与语音三种模态，旨在弥合现有安全测试基准在语言多样性和模态覆盖上的不足。其创建背景源于人工智能系统部署中日益凸显的歧视性输出与危害性风险，特别是在跨语言和跨模态交互场景下，现有评估数据难以充分反映真实世界中的复杂性。通过提供对抗性样本子集，RedVox致力于揭示模型在面临恶意输入或边缘案例时的脆弱性，为构建可信赖的AI系统奠定数据基础。

当前挑战

RedVox所解决的领域挑战集中于多模态安全性与公平性的系统性评估缺失。当前自然语言处理与语音识别系统在单一语言或模态下表现优异，但跨语言迁移时可能产生偏见放大或错误传播，而对抗性样本的缺失使得模型鲁棒性难以验证。构建过程中，团队面临多语种高质量标注数据收集的困难，包括不同语言间情感表达与文化隐喻的差异对齐，以及音频质量、说话人多样性等因素对语音公平性测试的影响。此外，对抗性样本的生成需兼顾自然语言扰动与语义保持，避免测试数据脱离实际应用场景。

常用场景

经典使用场景

RedVox作为一款专为安全性与公平性测试设计的多语言、多模态数据集，在语音与文本联合分析领域占据独特地位。其典型应用场景涵盖语音识别系统的鲁棒性验证、跨语言情感分析以及多模态交互系统的公平性评估。研究者常借助RedVox中同步的音频与文本数据，模拟真实世界中嘈杂环境下的语音识别挑战，或检测模型在不同语言（如英语、德语、法语）与口音下的性能偏差，从而推动多模态人工智能系统向更可靠、更包容的方向演进。

解决学术问题

该数据集旨在攻克人工智能模型在跨语言与跨模态场景中的安全与公平性难题。学术层面，它解决了两个核心问题：其一，填补了多模态（音频+文本）数据集在对抗性测试领域的空白，通过精心设计的样本揭示模型对噪声、口音变异或语言歧义的脆弱性；其二，为量化模型对不同语言群体的表现差异提供了标准化基准，助力研究者识别并缓解因语言分布不均诱发的算法偏见。这些贡献不仅深化了对多模态学习内在缺陷的理解，更为构建可信人工智能奠定了实证基础。

衍生相关工作

围绕RedVox的公平性与多模态特性，一系列经典衍生工作应运而生。研究者基于其多语言配置，开发了跨语言语音识别的对抗训练框架，显著提升了模型对抗性样本的鲁棒性。同时，该数据集催生了多项关于语音与文本联合表示中的性别与口音偏见检测研究，并演化出用于评估多模态大语言模型安全对齐的RedVox-bench基准。此外，其在低资源语言上的公平性分析，直接推动了面向少数语种的模型微调策略优化，成为多模态公平性研究领域的重要参照平台。