xlp100/chinese_text_correction

--- license: apache-2.0 --- # Dataset Card 中文真实场景文本纠错数据集，包括拼写纠错、语法纠错、校对数据。 **Repository:** [shibing624/pycorrector](https://github.com/shibing624/pycorrector) ### Dataset Summary **拼写纠错数据** - lemon_*.tsv：各领域拼写纠错数据集，包括汽车、医疗、新闻、游戏等领域，来自 https://github.com/gingasan/lemon/tree/main/lemon_v2 - ec_*.tsv：法律、医学、政府领域拼写纠错数据集，来自 https://github.com/aopolin-lv/ECSpell/tree/main/Data/domains_data - medical_csc.tsv ：医学领域拼写纠错数据集，来自 https://github.com/yzhihao/MCSCSet/tree/main/data/mcsc_benchmark_dataset - cscd_ns.tsv：3.5万条，中文微博语料拼写纠错数据集，原生中文使用者的拼写错误，源数据来自新浪微博，由微信输入法团队加工得到，论文：https://aclanthology.org/2024.acl-long.10.pdf  **语法纠错数据** - grammar.tsv：语法纠错数据集，约1500条，已经用gpt4o生成改写后的结果，原始数据来自[shibing624/pycorrector](https://github.com/shibing624/pycorrector/examples/data/grammar/) - TextProofreadingCompetition.tsv：真实场景下验证集约2000条(包括约1000条正样本和1000条负样本）,来自百度智能文本校对大赛的初赛(a)数据集。 ## Dataset Structure ### Data Fields - `source`: 原始文本. - `target`: 纠错后的文本. - `type`: 类别，positive表示原始文本和纠错文本相同，negative表示不同，需要纠错的. ```shell > head ec_law.tsv source target type 行政机关实施行政管理都应当公开,这是程序正档原则的要求 行政机关实施行政管理都应当公开,这是程序正当原则的要求 negative 依据合同法,下列正确的是? 依据合同法,下列正确的是? positive 法律解释不是可有可无的,而是必然存在于法律适用之中 法律解释不是可有可无的,而是必然存在于法律适用之中 positive 对于指控被告人犯数罪的案件,如果被告人不分人罪,部分不认醉,则斗不能适用 对于指控被告人犯数罪的案件,如果被告人部分认罪,部分不认罪,则都不能适用 negative 我国《宪法》第二条明确规定:人民行使国家权力的机关是全国人民代表大会和地方各级人民代表大会。关于全国人大和地方各级人大,下列选项正确的是: 我国《宪法》第二条明确规定:人民行使国家权力的机关是全国人民代表大会和地方下列选项正确的是: positive 在直接选举中,候选人须获得本选区全体选民国半数的选票才可当选 在直接选举中,候选人须获得本选区全体选民过半数的选票才可当选 negative 我国法律对妇女的权益给予特殊的保户,这从本职上来说是违背正义原则的 我国法律对妇女的权益给予特殊的保护,这从本质上来说是违背正义原则的 negative 对于被判处死形缓期二年执行、无期徒刑的罪犯,由公安机关衣法将该罪犯送交监狱执行刑罚 对于被判处死刑缓期二年执行、无期徒刑的罪犯,由公安机关依法将该罪犯送交监狱执行刑罚 negative 请问以下哪些情况适用过错推定责任? 请问以下哪些情况适用过错推定责任? positive ``` ### Data Splits ```shell > wc -l *.tsv 2015 TextProofreadingCompetition.tsv 2461 ec_law.tsv 3501 ec_med.tsv 2229 ec_odw.tsv 1560 grammar.tsv 3411 lemon_car.tsv 1027 lemon_cot.tsv 3435 lemon_enc.tsv 401 lemon_gam.tsv 2091 lemon_mec.tsv 5893 lemon_new.tsv 6001 lemon_nov.tsv 39303 medical_csc.tsv 35000 cscd_ns.tsv 108328 total ``` ### Contributions [shibing624](https://github.com/shibing624) add this dataset.license: apache-2.0 --- # Dataset Card Chinese real-scenario text correction dataset covering spelling correction, grammar correction and proofreading tasks. **Repository:** [shibing624/pycorrector](https://github.com/shibing624/pycorrector) ### Dataset Summary #### Spelling Correction Data - lemon_*.tsv: Multi-domain spelling correction datasets spanning automotive, medical, news, gaming and other fields, sourced from https://github.com/gingasan/lemon/tree/main/lemon_v2 - ec_*.tsv: Spelling correction datasets for legal, medical and government domains, sourced from https://github.com/aopolin-lv/ECSpell/tree/main/Data/domains_data - medical_csc.tsv: Medical domain spelling correction dataset, sourced from https://github.com/yzhihao/MCSCSet/tree/main/data/mcsc_benchmark_dataset - cscd_ns.tsv: A Chinese Weibo corpus spelling correction dataset containing 35,000 entries, with spelling errors made by native Chinese speakers. The original data was collected from Sina Weibo and processed by the WeChat Input Method Team. Related paper: https://aclanthology.org/2024.acl-long.10.pdf  #### Grammar Correction Data - grammar.tsv: Grammar correction dataset with approximately 1,500 entries. The corrected results were generated using GPT-4o, and the original raw data comes from [shibing624/pycorrector](https://github.com/shibing624/pycorrector/examples/data/grammar/) - TextProofreadingCompetition.tsv: A real-scenario validation set containing approximately 2,000 entries (including about 1,000 positive samples and 1,000 negative samples), sourced from the preliminary round (a) dataset of the Baidu Intelligent Text Proofreading Competition. ## Dataset Structure ### Data Fields - `source`: Original uncorrected text - `target`: Corrected text - `type`: Sample category, where "positive" indicates the original text and corrected text are identical, and "negative" indicates the text contains errors and requires correction shell > head ec_law.tsv source target type 行政机关实施行政管理都应当公开,这是程序正档原则的要求 行政机关实施行政管理都应当公开,这是程序正当原则的要求 negative 依据合同法,下列正确的是? 依据合同法,下列正确的是? positive 法律解释不是可有可无的,而是必然存在于法律适用之中 法律解释不是可有可无的,而是必然存在于法律适用之中 positive 对于指控被告人犯数罪的案件,如果被告人不分人罪,部分不认醉,则斗不能适用 对于指控被告人犯数罪的案件,如果被告人部分认罪,部分不认罪,则都不能适用 negative 我国《宪法》第二条明确规定:人民行使国家权力的机关是全国人民代表大会和地方各级人民代表大会。关于全国人大和地方各级人大,下列选项正确的是: 我国《宪法》第二条明确规定:人民行使国家权力的机关是全国人民代表大会和地方下列选项正确的是: positive 在直接选举中,候选人须获得本选区全体选民国半数的选票才可当选 在直接选举中,候选人须获得本选区全体选民过半数的选票才可当选 negative 我国法律对妇女的权益给予特殊的保户,这从本职上来说是违背正义原则的 我国法律对妇女的权益给予特殊的保护,这从本质上来说是违背正义原则的 negative 对于被判处死形缓期二年执行、无期徒刑的罪犯,由公安机关衣法将该罪犯送交监狱执行刑罚 对于被判处死刑缓期二年执行、无期徒刑的罪犯,由公安机关依法将该罪犯送交监狱执行刑罚 negative 请问以下哪些情况适用过错推定责任? 请问以下哪些情况适用过错推定责任? positive ### Data Splits shell > wc -l *.tsv 2015 TextProofreadingCompetition.tsv 2461 ec_law.tsv 3501 ec_med.tsv 2229 ec_odw.tsv 1560 grammar.tsv 3411 lemon_car.tsv 1027 lemon_cot.tsv 3435 lemon_enc.tsv 401 lemon_gam.tsv 2091 lemon_mec.tsv 5893 lemon_new.tsv 6001 lemon_nov.tsv 39303 medical_csc.tsv 35000 cscd_ns.tsv 108328 total ### Contributions [shibing624](https://github.com/shibing624) added this dataset.

搜集汇总

背景与挑战

背景概述

该数据集是一个中文真实场景文本纠错数据集，包含约108k条数据，专门用于拼写纠错、语法纠错和校对任务。数据来源于多个领域如法律、医疗、新闻等，覆盖错别字、语法错误等多种错误类型，适用于训练和评估中文文本纠错模型。