gamendez98/synthetic_gec_es
收藏Hugging Face2024-06-01 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/gamendez98/synthetic_gec_es
下载链接
链接失效反馈官方服务：
资源简介：
该合成数据集被分为多个块文件，每个文件包含大约1000000个句子。数据集的结构包括`original_words`（原始句子中的词序列）、`modified_words`（注入错误后的词序列）和`labels`（用于将句子恢复到原始状态的必要修正）。修正标签包括`$KEEP`（无需更改）、`$DELETE`（删除该位置的词）、`$APPEND_<word>`（在该位置后追加指定词）、`$SPLIT_<place>`（在该位置分割词）和`$REPLACE_<word>`（替换该位置的词）。此外，README还提供了如何使用这些标签进行语法错误校正的示例代码，并介绍了如何检查数据集的正确性。
该合成数据集被分为多个块文件，每个文件包含大约1000000个句子。数据集的结构包括`original_words`（原始句子中的词序列）、`modified_words`（注入错误后的词序列）和`labels`（用于将句子恢复到原始状态的必要修正）。修正标签包括`$KEEP`（无需更改）、`$DELETE`（删除该位置的词）、`$APPEND_<word>`（在该位置后追加指定词）、`$SPLIT_<place>`（在该位置分割词）和`$REPLACE_<word>`（替换该位置的词）。此外，README还提供了如何使用这些标签进行语法错误校正的示例代码，并介绍了如何检查数据集的正确性。
提供机构：
gamendez98
原始信息汇总
数据集概述
基本信息
- 任务类别：token-classification
- 语言：es（西班牙语）
- 数据集大小：1M<n<10M
数据结构
-
数据形式：合成数据，分为多个文件，每个文件约包含1000000条句子。
-
数据示例： json [ { "original_words": ["@@PADDING@@", "El", "ama", "los", "gatos", "."], "modified_words": ["@@PADDING@@", "El", "ama", "gatos", "."], "labels": ["$KEEP", "$KEEP", "$APPEND_los", "$KEEP", "$KEEP"] },
{}
]
-
标签说明：
$KEEP：无需更改$DELETE：删除对应位置的词$APPEND_<word>：在标签位置后添加词<word>$SPLIT_<place>：在位置<place>处分割词$REPLACE_<word>：将位置上的词替换为<word>
使用工具
-
错误修正函数： python from grammar_error_correction.grammar_error_correction import correct_all_errors
words= ["@@PADDING@@", "El", "ama", "gatos", "."] labels= ["$KEEP", "$KEEP", "$APPEND_los", "$KEEP", "$KEEP"]
corrected_words = correct_all_errors(words, labels)
-
数据集正确性检查： python from data_preparation.debug_tools import check_synthetic_dataset_correctness
check_synthetic_dataset_correctness(path/to/syn_data.json)
