BrunoHays/fleurs_code_switching_test

---
dataset_info:
features:
- name: audio
dtype:
audio:
sampling_rate: 16000
- name: transcription
dtype: string
- name: transcription_tagged
dtype: string
- name: duration_sec
dtype: float64
- name: languages
list: string
- name: seed
dtype: int64
splits:
- name: test
num_bytes: 9824819984
num_examples: 1000
download_size: 9822674863
dataset_size: 9824819984
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
---

# FLEURS Code-Switching Evaluation Set

## Dataset Summary
This dataset is a synthetic code-switching evaluation set built from the `google/fleurs` corpus.
Each sample is a single long-form audio sequence (minimum 5 minutes by default) composed by concatenating short utterances from multiple languages.

The goal is to provide a controlled benchmark for testing ASR robustness when language switches happen frequently inside one recording.

## How The Dataset Was Curated
- **Source data:** `google/fleurs` Parquet files loaded per language/split (default split: `test`).
- **Languages used:** `en`, `fr`, `es`, `de`, `ru`, `it`, `pt`, `nl`.
- **Per-sample language mix:** a random subset of 2 to 8 languages.
- **Coverage constraint:** each selected language appears at least once in the sample.
- **Construction rule:** utterances are randomly sampled and concatenated until sample duration reaches at least 300 seconds (default).
- **Audio normalization:** utterances are decoded to a common sampling rate (`--target-sr`, default `16kHz`) and converted to mono when needed.

## Columns
- `id`: unique sample index.
- `audio`: concatenated waveform and sampling rate.
- `transcription`: plain concatenation of chunk transcripts.
- `transcription_tagged`: transcript with inline language and timing markers for each chunk, formatted as
`<lang><start:SS.ss>text<end:SS.ss>`.
- `duration_sec`: final sample duration in seconds.
- `languages`: languages selected for that sample.
- `seed`: per-sample random seed.

## Limitations
- Code-switching is synthetic (concatenative), not natural conversational switching.
- Prosody, speaker continuity, and discourse-level transition cues are not preserved across joins.

数据集信息：
特征：
- 名称：audio（音频），数据类型：
audio：
采样率：16000
- 名称：transcription（转录文本），数据类型：字符串
- 名称：transcription_tagged（带标记转录文本），数据类型：字符串
- 名称：duration_sec（持续时长（秒）），数据类型：float64（双精度浮点数）
- 名称：languages（语言列表），数据类型：字符串列表
- 名称：seed（随机种子），数据类型：int64（64位整数）
数据集划分：
- 名称：test（测试集），字节数：9824819984，样本数量：1000
下载大小：9822674863
数据集总大小：9824819984
配置项：
- 配置名称：default（默认配置），数据文件：
- 划分：test，路径：data/test-*

# FLEURS代码切换评估集（FLEURS Code-Switching Evaluation Set）

## 数据集概述
本数据集为基于`google/fleurs`语料库构建的合成式代码切换评估集。每个样本为单条长时音频序列（默认最短时长为5分钟），由多语言的短语音片段拼接而成。本数据集旨在为测试自动语音识别（Automatic Speech Recognition，简称ASR）在单条录音中频繁发生语言切换时的鲁棒性提供可控的基准测试集。

## 数据集构建流程
- **源数据**：按语言/数据集划分加载`google/fleurs`的Parquet文件（默认划分：`test`测试集）。
- **所用语言**：英语（en）、法语（fr）、西班牙语（es）、德语（de）、俄语（ru）、意大利语（it）、葡萄牙语（pt）、荷兰语（nl）。
- **单样本语言组合**：随机选取2至8种语言的子集。
- **覆盖约束**：每种被选中的语言在样本中至少出现一次。
- **构建规则**：随机采样语音片段并拼接，直至样本时长达到至少300秒（默认值）。
- **音频归一化**：将语音片段解码至统一采样率（`--target-sr`参数，默认16kHz），并按需转换为单声道音频。

## 字段说明
- `id`：样本唯一索引。
- `audio`：拼接后的音频波形与采样率信息。
- `transcription`：各片段转录文本的纯拼接结果。
- `transcription_tagged`：带有内嵌语言与时间标记的分段转录文本，格式为`<lang><start:SS.ss>文本<end:SS.ss>`。
- `duration_sec`：样本最终时长，单位为秒。
- `languages`：该样本选用的语言集合。
- `seed`：单样本随机种子。

## 数据集局限性
- 代码切换为合成式（拼接式），并非自然会话中的代码切换行为。
- 拼接过程中未保留韵律、说话人连续性与语篇级过渡线索。