UD English-ESL/TLE
收藏资源简介:
UD English-ESL/TLE是一个包含5,124个英语作为第二语言(ESL)句子的数据集,共有97,681个单词,手动标注了POS标签和依赖树,遵循Universal Dependencies规范。每个句子都标注了原始形式和错误修正形式。该数据集代表了来自10种母语背景的高级中级成人英语学习者,每种母语超过500个句子。句子随机抽取自剑桥学习者语料库的FCE子集。数据集被随机分为训练集4,124个句子,开发集500个句子,测试集500个句子。
UD English-ESL/TLE is a dataset containing 5,124 English as a Second Language (ESL) sentences with a total of 97,681 words. All sentences are manually annotated with part-of-speech (POS) tags and dependency trees in compliance with the Universal Dependencies framework. Each sentence is labeled with both its original form and error-corrected version. The dataset is derived from upper-intermediate adult English learners across 10 native language backgrounds, with over 500 sentences corresponding to each native language. Sentences were randomly sampled from the FCE subset of the Cambridge Learner Corpus. The full dataset is randomly split into a training set (4,124 sentences), a development set (500 sentences), and a test set (500 sentences).
数据集概述
数据集名称
UD English-ESL/TLE
数据集描述
该数据集包含5,124个英语作为第二语言(ESL)的句子(共97,681个单词),这些句子均按照Universal Dependencies形式手动标注了POS标签和依赖树。每个句子都提供了原始形式和错误修正后的形式。标注遵循标准英语UD指南,以及针对ESL的补充指南。数据集代表了来自10种母语背景的上中级成人英语学习者,每种母语背景超过500个句子。这些句子随机抽取自剑桥学习者语料库中的First Certificate in English(FCE)语料库。数据集被随机分为训练集4,124个句子,开发集500个句子,测试集500个句子。
数据集文件格式
原始数据
- 考试题目:
dataset/UD_English-ESL/fce-released-dataset/prompts/[folders]/doc[number].xml - 学习者答案:
dataset/UD_English-ESL/fce-released-dataset/dataset/[folders]/doc[number].xml
标注数据
- 原始句子:
dataset/UD_English-ESL/data/en_esl-ud-train.conlludataset/UD_English-ESL/data/en_esl-ud-dev.conlludataset/UD_English-ESL/data/en_esl-ud-test.conllu
- 修正后句子:
dataset/UD_English-ESL/data/corrected/en_cesl-ud-train.conlludataset/UD_English-ESL/data/corrected/en_cesl-ud-dev.conlludataset/UD_English-ESL/data/corrected/en_cesl-ud-test.conllu
数据集属性
每个单词的属性包括:
id: 单词在句子中的索引form: 单词lemma: 词元upostag: POS标签xpostag: POS标签feats: 特征head: 头词deprel: 依赖关系deps: 依赖misc: 杂项
数据加载器
数据加载器用于加载数据,需要安装CoNLL-U Parser。加载器可以加载训练集、开发集和测试集的元数据和数据。




