shibing624/CSC

中文拼写纠错数据集，共27万条，是通过原始SIGHAN13、14、15年数据集和Wang271k数据集合并整理后得到，json格式，带错误字符位置信息。

原始信息汇总

中文拼写纠错数据集（CSC）概述

数据集描述

• 任务类别：文本生成
• 数据集名称：CSC
• 数据集用途：用于中文拼写纠错任务，训练预训练语言模型

数据集详情

原始数据集概要

• test.json 和 dev.json：来自SIGHAN数据集，包含SIGHAN13、14、15年的数据，共4千条，文件大小339kb。
• train.json：来自Wang271k数据集，共27万条，文件大小93MB。

数据集结构

数据实例

• id：唯一标识符
• original_text：原始错误文本
• wrong_ids：错误字的位置，从0开始
• correct_text：纠正后的文本

数据分割

分割	数量
train	251835条
dev	27981条
test	1100条

许可证信息

• 许可证：Apache 2.0

引用信息

latex @misc{Xu_Pycorrector_Text_error, title={Pycorrector: Text error correction tool}, author={Xu Ming}, year={2021}, howpublished={url{https://github.com/shibing624/pycorrector}}, }

搜集汇总

数据集介绍

构建方式

中文拼写纠错（Chinese Spelling Correction, CSC）任务旨在检测并纠正中文文本中的错别字，其挑战在于汉字在视觉或语音上的相似性常导致语义歧义。为应对这一难题，CSC数据集应运而生，其构建过程融合了多个权威来源：整合了SIGHAN 2013、2014、2015年官方评测数据作为开发集与测试集，并吸纳了Wang271k大规模语料作为训练集。最终数据集以JSON格式呈现，共计约27万条样本，每条数据均标注了原始错误文本、纠正后文本及错误字符的精确位置索引，为模型训练提供了结构化且富含监督信号的基础。

特点

该数据集具备鲜明的结构特性：训练集规模达25万余条，源自Wang271k，开发集与测试集则分别包含约2.8万条和1100条，来自SIGHAN系列，确保了数据分布的层次性与评估的权威性。每条数据实例包含唯一标识符、原始错误文本、纠错后文本及错误位置列表，这种精细化的标注方式不仅支持端到端的文本纠正，还可用于定位错误字符，便于开展细粒度的错误检测研究。数据集采用Apache 2.0开源协议，为中文自然语言处理领域提供了标准化的纠错基准资源。

使用方法

用户可通过Hugging Face的datasets库便捷加载该数据集。例如，使用`load_dataset('shibing624/CSC', split='validation')`获取开发集，或指定`split='test'`获取测试集，返回的Dataset对象可直接索引访问样本。若需仅使用SIGHAN数据，可通过指定相应分割实现。数据集字段清晰，可直接用于训练预训练语言模型执行拼写纠错任务。此外，数据集的官方仓库pycorrector提供了完整的工具链，支持模型微调与评估，便于研究者快速复现实验或开展创新性工作。

背景与挑战

背景概述

中文拼写纠错（CSC）作为自然语言处理领域的重要分支，旨在检测并修正中文文本中的错别字，对于提升文本质量、保障信息传递准确性具有关键作用。该数据集由研究人员徐明（shibing624）于2021年整理并公开，其核心研究问题聚焦于构建大规模、高质量的中文拼写纠错训练资源。数据集融合了SIGHAN 2013、2014、2015年官方评测数据与Wang271k自动生成语料，总计约27万条样本，并附带错误字符位置标注，为预训练语言模型在CSC任务上的应用奠定了坚实基础。该数据集的发布显著推动了中文文本纠错领域的研究进展，成为该方向重要的基准资源之一。

当前挑战

中文拼写纠错面临独特挑战。首先，汉字中存在大量形近字和音近字，如“嗓音”与“噪音”，它们在视觉或听觉上高度相似却语义迥异，使得模型难以精准区分。其次，现有数据集虽规模可观，但SIGHAN官方数据仅包含数千条样本，而Wang271k自动生成数据可能引入噪声，导致模型泛化能力受限。此外，构建过程中需人工校验错误位置与纠正文本的对应关系，确保标注一致性，这增加了数据准备成本。最后，中文语境下多义词和语境依赖性进一步加剧了纠错难度，要求模型具备深层语义理解能力以应对复杂场景。

常用场景

经典使用场景

在自然语言处理领域，中文拼写纠错（CSC）任务旨在检测并修正文本中的错别字，这一挑战源于汉字在视觉或语音上的相似性却承载截然不同的语义。CSC数据集汇集了SIGHAN 2013、2014、2015年官方评测数据与Wang271k大规模语料，共约27万条样本，每条数据包含原始错误文本、错误字符位置索引及修正后的正确文本。该数据集最经典的使用场景是作为预训练语言模型微调与评估的基准，研究者可通过加载训练集、验证集和测试集，训练模型识别并纠正拼写错误，例如将“嗓音”修正为“噪音”，从而提升模型对中文文本的鲁棒性。这一场景广泛应用于中文输入法、搜索引擎及文本校对系统的开发中，为相关研究提供了标准化的数据支撑。

解决学术问题

CSC数据集的核心学术价值在于解决了中文拼写纠错研究中长期存在的标注数据匮乏与规模不足问题。此前，SIGHAN系列数据仅有数千条样本，难以支撑深度学习模型的训练需求；而Wang271k数据集的引入将训练规模扩展至27万条，显著提升了模型的泛化能力。研究者利用该数据集探索了基于BERT、MacBERT等预训练模型的纠错架构，通过错误字符位置检测与语义修正的联合学习，有效缓解了汉字混淆导致的语义偏差。该数据集的意义在于推动了中文文本纠错从规则驱动向数据驱动的范式转型，为构建高精度、低误报的纠错系统奠定了实验基础，并在ACL、EMNLP等顶会论文中成为广泛引用的基准。

衍生相关工作

CSC数据集衍生了一系列经典研究工作，推动了中文拼写纠错领域的技术演进。其中，Soft-Masked BERT模型引入软掩码机制，结合错误检测与纠正网络，在SIGHAN基准上取得了突破性性能；Spelling Error Correction with BERT利用预训练语言模型的上下文表征，通过掩码预测策略实现端到端纠错；此外，基于图神经网络的纠错方法探索了汉字间的语音与字形关联，进一步提升了混淆字符的区分能力。这些工作均以CSC数据集作为核心训练与评估资源，验证了不同架构的有效性。该数据集还催生了多任务学习框架，将拼写纠错与语法纠错联合建模，拓展了文本质量优化的研究边界。