Thai-English-Corpus

Thai-English Corpus 是一个大规模泰英双语语料库，通过整合 Hugging Face 上公开可用的多个数据集构建而成。该语料库汇集了教育内容、网络文档、维基百科文章、法律文本、医学文章、金融文档、软件相关文本以及其他通用领域内容，并统一为适用于语言模型预训练和自然语言处理研究的格式。数据集结构包含两个核心字段：text（文档文本）和source（原始 Hugging Face 数据集 URL），每条记录均保留其原始来源以维护可追溯性。数据来源于十个上游数据集，涵盖通用网络内容、教育材料、维基百科、法律文件、医学文章、财务报告、软件与编程内容、技术文档、开源代码库及相关文本、食品与生活方式内容等多个领域。数据集经过流式加载、主文本字段提取、模式统一、空记录与短文档过滤等处理步骤后，以 Parquet 分片形式导出。该数据集旨在用于基础模型预训练、持续预训练、分词器训练、嵌入模型训练、语言建模研究、检索与表示学习研究以及通用 NLP 实验。需注意，由于数据集由多个独立收集的源聚合而成，可能包含重复文档、近似重复文档、OCR 伪影、格式不一致、样板内容、过时信息、不准确信息、有偏见或不平衡内容以及源特定的质量问题。使用者需自行评估其对于目标用途的适用性，并遵守所有上游数据集的原始许可、归属要求和使用限制。Thai-English Corpus is a large-scale Thai-English bilingual corpus constructed by integrating multiple publicly available datasets from Hugging Face. It aggregates educational content, web documents, Wikipedia articles, legal texts, medical articles, financial documents, software-related texts, and other general-domain materials, unified into a format suitable for language model pre-training and natural language processing research. The dataset structure includes two core fields: text (document text) and source (original Hugging Face dataset URL), with each record retaining its original source for traceability. Data is sourced from ten upstream datasets, covering areas such as general web content, educational materials, Wikipedia, legal documents, medical articles, financial reports, software and programming content, technical documentation, open-source code repositories and related texts, and food and lifestyle content. After processing steps including streaming loading, main text field extraction, pattern unification, and filtering of empty records and short documents, the dataset is exported as Parquet shards. It is intended for use in foundational model pre-training, continued pre-training, tokenizer training, embedding model training, language modeling research, retrieval and representation learning research, and general NLP experiments. Note that as the dataset is aggregated from multiple independently collected sources, it may contain duplicate documents, near-duplicate documents, OCR artifacts, format inconsistencies, boilerplate content, outdated information, inaccuracies, biased or imbalanced content, and source-specific quality issues. Users must independently assess its suitability for their intended purposes and comply with all original licenses, attribution requirements, and usage restrictions of the upstream datasets.

搜集汇总

数据集介绍

构建方式

Thai-English Corpus是一个大规模的双语语料库，汇集了来自Hugging Face上多个公开数据集的泰语与英语文本。构建过程采用流式加载原始数据，从中提取主要文本字段，统一转换为包含'text'和'source'两项特征的通用格式，随后剔除空记录，并根据各数据源特定的最小长度阈值过滤过短文档，最终将处理后的记录导出为Parquet分片。整个流程未引入任何人工标注或注释，确保了构建的自动化与高效性。

特点

该数据集涵盖了教育内容、网页文档、维基百科文章、法律文本、医学文献、财务报告、软件相关文本及通用领域内容，形成了丰富多元的知识体系。每一篇文档均通过'source'列保留了原始数据集的网址，实现了归属与来源的可追溯性。数据规模位于1亿至10亿条记录的区间，适用性广泛，同时聚合特性可能导致重复文档、OCR噪声及格式不一致等局限。

使用方法

用户可通过Hugging Face的datasets库轻松加载，只需一行代码即可将数据集导入工作流：使用load_dataset函数指定仓库名称'Naphon/Thai-English-Corpus'。该数据适用于基础模型预训练、继续预训练、分词器训练、嵌入模型训练、语言建模研究、检索与表征学习以及通用NLP实验。使用时需注意，所有上游数据集的原始许可与归属要求仍有效，用户应自行审查并遵守相关条款。

背景与挑战

背景概述

泰英双语语料库（Thai-English Corpus）由Naphon等研究人员于2026年在Hugging Face平台发布，旨在解决低资源语言模型预训练中双语数据匮乏的问题。该数据集整合了来自多个公开数据源的泰语和英语文本，涵盖教育、法律、医疗、金融、技术文档及维基百科等十余个领域，为泰英跨语言自然语言处理研究提供了规模化、结构化的统一资源。其核心研究问题在于提升泰语及泰英混合场景下的语言模型基础能力，尤其对泰语分词、跨语言表示学习及多语言模型预训练具有显著推动作用，已成为低资源语言建模领域的重要基准数据源。

当前挑战

该数据集所解决的领域挑战在于泰英双语语言模型预训练中高质量、大规模且领域多样的语料稀缺问题，合并后的统一格式降低了多源异构数据的整合门槛。构建过程中面临的主要挑战包括：跨来源数据去重与近似去重处理困难，不同数据集间可能存在大量重复或语义相近的文档；多源文本格式高度不统一，需处理OCR伪影、模板化冗余内容及格式噪声；部分来源数据存在质量标签缺失、时效性不足及领域偏差（如法律、金融文本占比不均），且未经过人工校验，导致下游应用中需谨慎评估语义准确性与公平性。

常用场景

经典使用场景

Thai-English Corpus 作为大规模泰英双语语料库，其经典使用场景集中于语言模型的预训练与持续预训练。该数据集整合了来自教育文本、维基百科、法律文献、医学文章、财务报告及软件代码等多领域的公开数据，为构建双语或多语言基础模型提供了丰富的训练素材。研究者可直接利用其统一格式的文本与来源信息，进行掩码语言建模或因果语言建模任务，以捕获泰语与英语在词汇、句法及语义层面的跨语言关联。

解决学术问题

该数据集有效解决了低资源语言（如泰语）在自然语言处理研究中缺乏大规模、多领域、双语对齐语料的学术瓶颈。通过整合十多个高质量公开源，它显著缓解了泰语预训练数据稀疏、领域覆盖不足的问题，为语言建模、词元分析及嵌入表示学习等基础研究奠定了数据基础。其公开可复现的构建流程亦促进了科研透明性与可重复性。

衍生相关工作

该数据集衍生了多项经典工作，包括泰语专用词元器与嵌入模型的训练，以及双语或多语言预训练语言模型的领域适配研究。例如，基于此语料库的持续预训练工作可微调出适用于泰国法律或医疗领域的专业化语言模型。同时，数据集中去重与过滤策略的优化经验，也为后续大规模语料库的构建提供了方法论参考，推动了跨语言 NLP 社区的协作与创新。