espnet/floras

---
license: cc-by-3.0
dataset_info:
- config_name: monolingual
features:
- name: id
dtype: string
- name: language
dtype: string
- name: score
dtype: string
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: text
dtype: string
- name: summary
dtype: string
- name: translation
dtype: string
splits:
- name: train
num_bytes: 2250087924
num_examples: 50814
- name: dev
num_bytes: 3730403898.0
num_examples: 81
- name: test
num_bytes: 6882657690.0
num_examples: 116
download_size: 27806858743
dataset_size: 21226123202.0
- config_name: multilingual
features:
- name: id
dtype: string
- name: language
dtype: string
- name: score
dtype: string
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: text
dtype: string
- name: summary
dtype: string
- name: translation
dtype: string
splits:
- name: dev
num_bytes: 49979924635.32
num_examples: 1154
- name: test
num_bytes: 56817933774.28
num_examples: 1188
download_size: 102717641464
dataset_size: 106797858409.6
configs:
- config_name: monolingual
data_files:
- split: train
path: monolingual/train-*
- split: dev
path: monolingual/dev-*
- split: test
path: monolingual/test-*
- config_name: multilingual
data_files:
- split: dev
path: multilingual/dev-*
- split: test
path: multilingual/test-*
task_categories:
- automatic-speech-recognition
- translation
- summarization
language:
- en
- es
- fr
- de
- nl
- it
- pt
- hu
- fi
- el
- ca
- eo
- et
- da
- la
- sv
- cy
- gl
- ru
- pl
- uk
- ro
- cs
- sl
- sk
- hr
- bg
- bs
- ka
- tr
- fa
- ar
- uz
- az
- ku
- ky
- hi
- ta
- ur
- bn
- id
- vi
- th
- mi
- ms
- ja
- zh
---

# FLORAS

FLORAS is a 50-language benchmark **F**or **LO**ng-form **R**ecognition **A**nd **S**ummarization of spoken language.
The goal of FLORAS is to create a more realistic benchmarking environment for speech recognition, translation, and summarization models.
Unlike typical academic benchmarks like LibriSpeech and FLEURS that uses pre-segmented single-speaker read-speech, FLORAS tests the capabilities of models on raw long-form conversational audio, which can have one or many speakers.

To encourage research in multi-tasking, FLORAS provides 1-way to 3-way parallel data for long-form Automatic Speech Recognition (ASR), long-form X-to-EN Speech Translation (ST), and Speech Summarization (SSUM).
This means that some samples only have paired speech and transcripts, while others may have paired speech, transcripts, translations and/or summaries.
In total, FLORAS contains roughly 32,000 hours of raw audio.

## Dataset Creation

FLORAS is derived from [YODAS](https://huggingface.co/datasets/espnet/yodas), a large multilingual crawl of YouTube videos and their subtitles.
Since the raw crawl of YODAS is too noisy for direct training in many settings, we filter out most of the data using CTC alignment scores.
The translations and summaries are obtained via pseudo-labelling using Google's [Gemini Flash](https://deepmind.google/technologies/gemini/flash/).
Our translators then filtered out or corrected faulty pseudo-labels in the test set. We did not perform filtering on the training/development sets.

## Dataset Structure

FLORAS is organized into two subsets, each with data splits for training, validation, and testing.
```
FLORAS
- monolingual
- train
- dev
- test
- multilingual
- train
- dev
- test_unverified
- test_verified
```
The monolingual subset contains English-only data. The multilingual subset contains the data for the other 49 languages.

The multilingual subset contains two test sets: `test_unverified` and `test_verified`.

Verified languages are those that have had professional translators and/or native speakers verify the translation/summary pseudo-labels.

Unverified languages are those that did not go through this process (See below to determine which languages have been verified).

## Data Fields

Each subset/split has the following data fields:
- **id** (str): sample ID of the speech.
- **language** (str): ISO3 language code of the speech.
- **score** (float): CTC alignment score of the video. Closer to 0 is better.
- **audio** (dict): Audio object including loaded audio array, sampling rate and path to audio.
- **text** (str): Text transcription.
- **translation** (str): English translation of transcript, if available. If not available, will yield the empty string.
- **summary** (str): Summary of transcript, if available. If not available, will yield the empty string.

Since FLORAS only supports X-to-EN translation, the `translation` field is always empty for samples in the `monolingual` subset.

## Languages

The languages in FLORAS by region are as follows:
- **Western Europe**: _English_, Spanish, German, French, Italian, Portuguese, Dutch, Basque, Hungarian, Finnish, Greek, Catalan, Esperanto, Danish, Latin, Swedish, Galician, Welsh
- **Eastern Europe**: Russian, Polish, Ukrainian, Romanian, Czech, Estonian, Slovak, Slovenian, Croatian, Serbian, Bulgarian, Bosnian, Georgian
- **Central-Asia/Middle-East/North-Africa**: Turkish, Persian, Arabic, Uzbek, Kurdish, Kyrgyz, Azerbaijani
- **South-Asia**: Hindi, Tamil, Urdu, Bengali
- **South-East Asia**: Indonesian, Vietnamese, Thai, Malay, Maori
- **East Asia**: _Japanese_, _Mandarin Chinese_

_Italicized_ languages have been verified by professional translators and/or native speakers for the translation/summary pseudo-labels.

**If a language that you speak is not verified and you would like to donate some time to check the pseudo-label quality, please reach out to us!**

许可证：CC BY 3.0
数据集信息：
- 配置名称：单语（monolingual）
特征字段：
- id：数据样本标识符，数据类型为字符串
- language：语言，数据类型为字符串
- score：评分，数据类型为字符串
- audio：音频对象，数据类型为包含采样率16000的音频结构
- text：文本转录文本，数据类型为字符串
- summary：文本摘要，数据类型为字符串
- translation：翻译文本，数据类型为字符串
划分：
- 训练集（train）：字节数2250087924，样本量50814
- 开发集（dev）：字节数3730403898.0，样本量81
- 测试集（test）：字节数6882657690.0，样本量116
下载总大小：27806858743，数据集总大小：21226123202.0
- 配置名称：多语（multilingual）
特征字段：
- id：数据样本标识符，数据类型为字符串
- language：语言，数据类型为字符串
- score：评分，数据类型为字符串
- audio：音频对象，数据类型为包含采样率16000的音频结构
- text：文本转录文本，数据类型为字符串
- summary：文本摘要，数据类型为字符串
- translation：翻译文本，数据类型为字符串
划分：
- 开发集（dev）：字节数49979924635.32，样本量1154
- 测试集（test）：字节数56817933774.28，样本量1188
下载总大小：102717641464，数据集总大小：106797858409.6
配置项：
- 单语配置（monolingual）：数据文件路径分别为训练集`monolingual/train-*`、开发集`monolingual/dev-*`、测试集`monolingual/test-*`
- 多语配置（multilingual）：数据文件路径分别为开发集`multilingual/dev-*`、测试集`multilingual/test-*`
任务类别：自动语音识别（automatic-speech-recognition）、机器翻译（translation）、文本摘要（summarization）
覆盖语言：英语（en）、西班牙语（es）、法语（fr）、德语（de）、荷兰语（nl）、意大利语（it）、葡萄牙语（pt）、匈牙利语（hu）、芬兰语（fi）、希腊语（el）、加泰罗尼亚语（ca）、世界语（eo）、爱沙尼亚语（et）、丹麦语（da）、拉丁语（la）、瑞典语（sv）、威尔士语（cy）、加利西亚语（gl）、俄语（ru）、波兰语（pl）、乌克兰语（uk）、罗马尼亚语（ro）、捷克语（cs）、斯洛文尼亚语（sl）、斯洛伐克语（sk）、克罗地亚语（hr）、保加利亚语（bg）、波斯尼亚语（bs）、格鲁吉亚语（ka）、土耳其语（tr）、波斯语（fa）、阿拉伯语（ar）、乌兹别克语（uz）、阿塞拜疆语（az）、库尔德语（ku）、吉尔吉斯语（ky）、印地语（hi）、泰米尔语（ta）、乌尔都语（ur）、孟加拉语（bn）、印尼语（id）、越南语（vi）、泰语（th）、毛利语（mi）、马来语（ms）、日语（ja）、汉语普通话（zh）

# FLORAS
FLORAS是一款覆盖50种语言的基准数据集，全称为**F**or **LO**ng-form **R**ecognition **A**nd **S**ummarization of spoken language（长时语音识别与摘要基准数据集）。
其核心目标是为自动语音识别、机器翻译与文本摘要模型构建更贴近真实应用场景的基准测试环境。
与LibriSpeech、FLEURS等典型学术基准数据集采用预分割的单发言人朗读语音不同，FLORAS的测试数据为原始长时会话音频，可包含单发言人或多位发言人。

为推动多任务研究，FLORAS提供了1至3路并行的长时自动语音识别（Automatic Speech Recognition, ASR）、长时X语转英语语音翻译（X-to-EN Speech Translation, ST）以及语音摘要（Speech Summarization, SSUM）数据。这意味着部分样本仅包含语音与转录文本的配对数据，而另一些样本则可同时包含语音、转录文本、翻译文本和/或摘要文本。FLORAS总计包含约32000小时的原始音频数据。

## 数据集构建
FLORAS源自数据集[YODAS](https://huggingface.co/datasets/espnet/yodas)——一个对YouTube视频及其字幕进行大规模多语言爬取得到的数据集。由于YODAS的原始爬取数据噪声过大，无法直接用于多数训练场景，我们通过CTC对齐评分过滤了大部分数据。翻译文本与摘要文本通过谷歌的[Gemini Flash](https://deepmind.google/technologies/gemini/flash/)生成伪标注，随后由专业译员对测试集中存在问题的伪标注进行筛选或修正，训练集与开发集未执行此类过滤操作。

## 数据集结构
FLORAS分为两个子集，每个子集均包含训练、验证与测试划分：

FLORAS
- 单语子集（monolingual）
- 训练集（train）
- 开发集（dev）
- 测试集（test）
- 多语子集（multilingual）
- 训练集（train）
- 开发集（dev）
- 未验证测试集（test_unverified）
- 已验证测试集（test_verified）

单语子集仅包含英语数据，多语子集则包含其余49种语言的数据。
多语子集包含两个测试集：`test_unverified`（未验证测试集）与`test_verified`（已验证测试集）。
已验证语言指那些经过专业译员和/或母语使用者对翻译与摘要伪标注进行核验的语言。
未验证语言指未经过该核验流程的语言（可参阅下文确认具体语言的核验状态）。

## 数据字段
每个子集与划分均包含以下数据字段：
- **id**（字符串类型）：语音样本的唯一标识符
- **language**（字符串类型）：语音对应的ISO3语言代码
- **score**（浮点型）：视频的CTC对齐评分，分值越接近0代表音频质量越好
- **audio**（字典类型）：音频对象，包含加载后的音频数组、采样率与音频文件路径
- **text**（字符串类型）：语音对应的文本转录结果
- **translation**（字符串类型）：转录文本的英语翻译，若不可用则返回空字符串
- **summary**（字符串类型）：转录文本的摘要内容，若不可用则返回空字符串

由于FLORAS仅支持X语转英语的翻译任务，单语子集（monolingual）中所有样本的`translation`字段始终为空。

## 语言分布
FLORAS覆盖的语言按区域分类如下：
- **西欧**：英语、西班牙语、德语、法语、意大利语、葡萄牙语、荷兰语、巴斯克语、匈牙利语、芬兰语、希腊语、加泰罗尼亚语、世界语、丹麦语、拉丁语、瑞典语、加利西亚语、威尔士语
- **东欧**：俄语、波兰语、乌克兰语、罗马尼亚语、捷克语、爱沙尼亚语、斯洛伐克语、斯洛文尼亚语、克罗地亚语、塞尔维亚语、保加利亚语、波斯尼亚语、格鲁吉亚语
- **中亚/中东/北非**：土耳其语、波斯语、阿拉伯语、乌兹别克语、库尔德语、吉尔吉斯语、阿塞拜疆语
- **南亚**：印地语、泰米尔语、乌尔都语、孟加拉语
- **东南亚**：印尼语、越南语、泰语、马来语、毛利语
- **东亚**：日语、汉语普通话

*斜体*标注的语言表示其翻译与摘要伪标注已通过专业译员和/或母语使用者核验。

**如果您会说的语言尚未完成核验，并愿意抽出时间协助检查伪标注质量，请与我们联系！**