zuhri025/urdu-eng-merged-dataset

这是一个乌尔都语和英语合并的语音数据集，专门用于自动语音识别（ASR）和文本到语音（TTS）任务。数据集包含241,149个样本，总音频时长为488.9小时，涉及133个唯一字符。乌尔都语部分经过严格的数据清洗，包括数字拒绝、阿拉伯语/乌尔都语字符规范化、非允许字符替换为空格、多空格合并以及空或过短样本的删除；而英语部分仅进行了时长过滤，未进行文本规范化。数据来源于两个子数据集：乌尔都语数据来自zuhri025/munch-audio-NEW-parquet，英语数据来自zuhri025/deep-orpheus-fixed。数据集于2026年5月20日创建，采用CC BY 4.0许可证发布。--- 语言： - 乌尔都语（ur） - 英语（en） 许可证：CC BY 4.0（知识共享署名4.0国际许可协议） 任务类别： - 自动语音识别（Automatic Speech Recognition，ASR） 标签： - 乌尔都语 - 英语 - 语音 - 音频 - ASR（自动语音识别） - TTS（文本转语音，Text-to-Speech） 规模类别： - 10000 < 样本量 < 100000 --- # 乌尔都语-英语合并语音数据集 本数据集由两部分合并构建： - **乌尔都语条目**：经过时长筛选、归一化与清洗处理 - **英语条目**：仅通过时长阈值筛选，未执行文本归一化操作 ## 数据集概览 | 字段 | 取值 | |---|---| | **样本总量** | 241,149 | | **总音频时长** | 488.9 小时 | | **唯一字符数** | 133 | | **创建日期** | 2026-05-20 | ## 数据来源 - 乌尔都语数据源：[zuhri025/munch-audio-NEW-parquet](https://huggingface.co/datasets/zuhri025/munch-audio-NEW-parquet) - 英语数据源：[zuhri025/deep-orpheus-fixed](https://huggingface.co/datasets/zuhri025/deep-orpheus-fixed) ## 乌尔都语文本预处理流程 乌尔都语条目通过以下步骤完成清洗与预处理： - 过滤含数字的样本 - 阿拉伯语/乌尔都语字符归一化 - 将非法字符替换为空格 - 合并连续多余空格 - 移除空样本与过短的无效样本 ## 英语文本预处理流程 英语条目仅通过时长阈值进行筛选，未施加任何文本归一化操作。 ## 前40高频字符 | 字符 | 码点 | Unicode 名称 | 出现频率 | |---|---|---|---| | `e` | U+0065 | LATIN SMALL LETTER E | 1,105,284 | | `ا` | U+0627 | ARABIC LETTER ALEF | 952,242 | | `t` | U+0074 | LATIN SMALL LETTER T | 936,762 | | `ی` | U+06CC | ARABIC LETTER FARSI YEH | 905,776 | | `o` | U+006F | LATIN SMALL LETTER O | 752,284 | | `a` | U+0061 | LATIN SMALL LETTER A | 737,679 | | `i` | U+0069 | LATIN SMALL LETTER I | 697,599 | | `ہ` | U+06C1 | ARABIC LETTER HEH GOAL | 681,010 | | `s` | U+0073 | LATIN SMALL LETTER S | 656,813 | | `n` | U+006E | LATIN SMALL LETTER N | 620,296 | | `و` | U+0648 | ARABIC LETTER WAW | 584,253 | | `ک` | U+06A9 | ARABIC LETTER KEHEH | 563,767 | | `r` | U+0072 | LATIN SMALL LETTER R | 501,111 | | `ر` | U+0631 | ARABIC LETTER REH | 495,964 | | `h` | U+0068 | LATIN SMALL LETTER H | 458,557 | | `ے` | U+06D2 | ARABIC LETTER YEH BARREE | 436,891 | | `l` | U+006C | LATIN SMALL LETTER L | 426,493 | | `ت` | U+062A | ARABIC LETTER TEH | 400,458 | | `ن` | U+0646 | ARABIC LETTER NOON | 366,041 | | `س` | U+0633 | ARABIC LETTER SEEN | 343,998 | | `م` | U+0645 | ARABIC LETTER MEEM | 332,847 | | `u` | U+0075 | LATIN SMALL LETTER U | 329,835 | | `d` | U+0064 | LATIN SMALL LETTER D | 289,253 | | `g` | U+0067 | LATIN SMALL LETTER G | 288,691 | | `m` | U+006D | LATIN SMALL LETTER M | 277,865 | | `y` | U+0079 | LATIN SMALL LETTER Y | 251,881 | | `ب` | U+0628 | ARABIC LETTER BEH | 246,129 | | `c` | U+0063 | LATIN SMALL LETTER C | 230,140 | | `ں` | U+06BA | ARABIC LETTER NOON GHUNNA | 226,574 | | `ل` | U+0644 | ARABIC LETTER LAM | 223,933 | | `د` | U+062F | ARABIC LETTER DAL | 189,952 | | `w` | U+0077 | LATIN SMALL LETTER W | 188,770 | | `ھ` | U+06BE | ARABIC LETTER HEH DOACHASHMEE | 174,192 | | `ج` | U+062C | ARABIC LETTER JEEM | 173,830 | | `،` | U+060C | ARABIC COMMA | 170,559 | | `'` | U+0027 | APOSTROPHE | 167,270 | | `f` | U+0066 | LATIN SMALL LETTER F | 159,829 | | `,` | U+002C | COMMA | 156,981 | | `I` | U+0049 | LATIN CAPITAL LETTER I | 149,370 | ## 许可证 本数据集采用 CC BY 4.0（知识共享署名4.0国际许可协议）发布，其内容衍生自原始数据源，请一并引用原始数据集。