Cong123779/AI2Text-Bilingual-ASR-Dataset

--- language: - vi - en license: cc-by-4.0 task_categories: - automatic-speech-recognition pretty_name: AI2Text Bilingual ASR Dataset (Vietnamese + English) size_categories: - 100K<n<1M --- # AI2Text – Bilingual ASR Dataset A large-scale bilingual (Vietnamese + English) speech dataset used to train the `Cong123779/AI2Text-Bilingual-ASR` model. ## Dataset Summary | Split | Samples | Notes | |-------|---------|-------| | train | ~194,167 | 77% Vietnamese, 23% English | | val | ~30,123 | held-out validation | ## Data Fields Each `manifest.csv` has the following columns: | Column | Description | |--------|-------------| | `id` | Unique sample identifier | | `transcript` | Ground-truth text (prefixed with `<\|vi\|>` or `<\|en\|>`) | | `audio_path` | Relative path to the `.wav` file | | `duration` | Duration in seconds | | `words_json` | JSON array of word-level timestamps | ## Audio Format - Sample rate: **16,000 Hz** - Channels: **Mono** - Format: **WAV** ## Language Distribution - **Vietnamese** (`<|vi|>` token): ~77% - **English** (`<|en|>` token): ~23% ## Usage ```python import pandas as pd from datasets import load_dataset # Load only the manifest CSVs (fast, no audio) ds = load_dataset("Cong123779/AI2Text-Bilingual-ASR-Dataset", data_files={"train": "train/manifest.csv", "val": "val/manifest.csv"}) print(ds) ``` ## License Creative Commons Attribution 4.0 (CC-BY 4.0)language: - 越南语（Vietnamese） - 英语（English） license: 知识共享署名4.0（CC-BY 4.0） task_categories: - 自动语音识别（Automatic Speech Recognition, ASR） pretty_name: AI2Text双语自动语音识别数据集（越南语+英语） size_categories: - 10万 < n < 100万 --- # AI2Text – 双语自动语音识别（ASR）数据集 本数据集为大规模双语（越南语+英语）语音数据集，用于训练`Cong123779/AI2Text-Bilingual-ASR`模型。 ## 数据集摘要 | 划分 | 样本量 | 说明 | |-------|---------|-------| | 训练集 | ~194,167 | 77%为越南语语料，23%为英语语料 | | 验证集 | ~30,123 | 预留验证集 | ## 数据字段 每个`manifest.csv`包含以下列： | 列名 | 说明 | |--------|-------------| | `id` | 唯一样本标识符 | | `transcript` | 真实标注文本（以`<|vi|>`或`<|en|>`作为前缀） | | `audio_path` | 对应`.wav`音频文件的相对路径 | | `duration` | 音频时长（单位：秒） | | `words_json` | 存储词级时间戳的JSON数组 | ## 音频格式 - 采样率：**16,000 Hz** - 声道数：**单声道（Mono）** - 格式：**WAV** ## 语言分布 - **越南语**（使用`<|vi|>`标记）：约77% - **英语**（使用`<|en|>`标记）：约23% ## 使用示例 python import pandas as pd from datasets import load_dataset # 仅加载清单CSV文件（加载速度快，无需加载音频） ds = load_dataset("Cong123779/AI2Text-Bilingual-ASR-Dataset", data_files={"train": "train/manifest.csv", "val": "val/manifest.csv"}) print(ds) ## 许可证 知识共享署名4.0（CC-BY 4.0）