five

COCA (Corpus of Contemporary American English)|英语语料库数据集|语言研究数据集

收藏
www.english-corpora.org2024-10-25 收录
英语语料库
语言研究
下载链接:
https://www.english-corpora.org/coca/
下载链接
链接失效反馈
资源简介:
COCA是一个包含超过5.2亿词的英语语料库,涵盖了从1990年至今的文本。它包括口语、小说、流行杂志、报纸和学术文章五种文体,旨在反映当代美国英语的使用情况。
提供机构:
www.english-corpora.org
AI搜集汇总
数据集介绍
main_image_url
构建方式
COCA(Corpus of Contemporary American English)数据集的构建基于对美国当代英语的广泛收集与系统整理。该数据集涵盖了1990年至2019年间的大量文本,包括小说、杂志、报纸、学术文章、博客和口语记录。通过多源、多类型的文本采集,COCA确保了数据的多维度和代表性。数据经过严格的清洗和标注,包括词性标注、句法分析等,以支持深入的语言学研究。
特点
COCA数据集以其庞大的规模和多样化的文本类型著称,包含超过5.2亿个词汇,是世界上最大的平衡语料库之一。其独特之处在于,它不仅提供了丰富的语言材料,还通过平衡不同类型的文本,确保了研究结果的广泛适用性。此外,COCA的更新频率较高,能够反映语言的动态变化,为研究者提供了最新的语言使用趋势。
使用方法
COCA数据集主要用于语言学研究,包括词汇频率分析、语法结构研究、语义变化追踪等。研究者可以通过在线查询系统或下载数据进行离线分析。使用时,研究者可以根据需要选择特定的时间段、文本类型或词汇范围进行分析。此外,COCA还提供了丰富的标注信息,便于进行更复杂的语言学模型训练和验证。
背景与挑战
背景概述
COCA(Corpus of Contemporary American English)是由Mark Davies教授于2008年在杨百翰大学创建的,是迄今为止最大的平衡语料库之一。该语料库包含了从1990年至今的超过5.2亿词的文本,涵盖了多种文体,包括口语、小说、杂志、报纸和学术文章。COCA的构建旨在为语言学家、教育者和研究人员提供一个全面且多样化的资源,以研究当代英语的演变和使用。其广泛的应用领域包括语法分析、词汇研究、语言教学和跨文化交流,极大地推动了语言学领域的研究进展。
当前挑战
尽管COCA在语言学研究中具有重要地位,但其构建和维护过程中仍面临诸多挑战。首先,语料库的平衡性要求确保各类文体的比例适当,这需要大量的数据收集和筛选工作。其次,随着时间的推移,语言的快速变化要求语料库定期更新,以保持其时效性和代表性。此外,数据隐私和版权问题也是构建过程中不可忽视的挑战,尤其是在处理口语和非公开文本时。最后,如何有效地管理和检索如此庞大的数据集,以支持高效的研究和分析,也是一项技术上的难题。
发展历史
创建时间与更新
COCA(Corpus of Contemporary American English)创建于1990年,由Mark Davies教授主导开发。自创建以来,该数据集定期更新,最新版本发布于2021年,涵盖了1990年至2019年的文本数据。
重要里程碑
COCA的首次发布标志着大规模英语语料库研究的新纪元,其涵盖的广泛文本类型和时间跨度为语言学研究提供了丰富的资源。2008年,COCA的在线检索工具上线,极大地提升了研究者的数据访问效率。2013年,数据集增加了社交媒体文本,进一步拓宽了其应用领域。
当前发展情况
当前,COCA已成为全球语言学研究中最常用的语料库之一,其数据被广泛应用于语言变化、语法分析、词汇研究等多个领域。COCA的不断更新和扩展,确保了其与时俱进,能够反映当代英语的最新发展趋势。此外,COCA的开放访问政策促进了学术交流与合作,对推动语言学研究的国际化和多元化具有重要意义。
发展历程
  • COCA(Corpus of Contemporary American English)由Mark Davies教授首次提出构想,旨在创建一个全面反映当代美国英语使用情况的语料库。
    1990年
  • COCA正式发布,包含超过4.5亿词的文本,涵盖了从1990年至今的多种文体,如口语、小说、杂志、报纸和学术文章。
    2008年
  • COCA进行了首次大规模更新,增加了新的文本数据,使其总词量超过5.2亿,进一步丰富了语料库的内容和多样性。
    2012年
  • COCA引入了在线查询工具,用户可以通过网络平台直接访问和分析语料库,极大地提升了其使用便捷性和研究价值。
    2017年
  • COCA再次更新,增加了近几年的文本数据,确保语料库能够持续反映当代美国英语的最新变化和发展趋势。
    2020年
常用场景
经典使用场景
在语言学研究领域,COCA(Corpus of Contemporary American English)数据集被广泛用于分析当代美国英语的词汇、语法和语用特征。研究者通过该数据集可以深入探讨语言的演变趋势、词汇的频率分布以及不同语境下的语言使用模式。例如,学者们利用COCA数据集研究社交媒体语言的变化,分析新闻报道中的语言风格,以及探讨学术写作中的语言规范。
实际应用
在实际应用中,COCA数据集被广泛用于语言教学和教材编写。教育工作者利用该数据集分析学生的写作样本,识别常见的语言错误,并据此设计更具针对性的教学策略。此外,COCA还被用于商业领域的语言培训和跨文化沟通,帮助企业员工提升英语沟通能力。在新闻和出版行业,编辑和记者利用COCA数据集检查文本的准确性和时效性,确保内容的语言质量。
衍生相关工作
基于COCA数据集,研究者们开展了一系列相关工作。例如,有学者开发了基于COCA的语料库检索工具,使得用户能够更便捷地访问和分析数据。此外,COCA还激发了大量关于语言变化和语言多样性的研究,推动了社会语言学和心理语言学的发展。在自然语言处理领域,COCA的数据被用于训练和评估语言模型,提升了文本分类和情感分析的准确性。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4099个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

GEO (Gene Expression Omnibus)

GEO (Gene Expression Omnibus) is a public functional genomics data repository supporting MIAME-compliant data submissions. There are also tools provided to help users query and download experiments and curated gene expression profiles.

OPEN DATA NETWORK 收录

UniMed

UniMed是一个大规模、开源的多模态医学数据集,包含超过530万张图像-文本对,涵盖六种不同的医学成像模态:X射线、CT、MRI、超声、病理学和眼底。该数据集通过利用大型语言模型(LLMs)将特定模态的分类数据集转换为图像-文本格式,并结合现有的医学领域的图像-文本数据,以促进可扩展的视觉语言模型(VLM)预训练。

github 收录

CCNC

CCNC是一个包含365万姓名样本的大型中文姓名语料库,数据来源于姓名大全和中文人名语料库,经过处理和注音,用于中文姓名研究和实体识别。

github 收录

LPW

Labeled Pedestrian in the Wild (LPW) 是一个行人检测数据集,其中包含三个不同场景中的 2,731 名行人,每个带注释的身份由 2 到 4 个摄像头捕获。 LPW 具有 7,694 个轨迹的显着规模,包含超过 590,000 张图像以及轨迹的清洁度。它在三个方面区别于现有数据集:大规模清洁、自动检测边界框以及更拥挤的场景和更大的年龄跨度。该数据集提供了更现实和更具挑战性的基准,有助于进一步探索更强大的算法。

OpenDataLab 收录

California Housing Dataset

California Housing数据集是一个在机器学习社区中广泛使用的数据集,特别适用于回归任务。它包含了加利福尼亚州不同地区的各种住房属性的信息。

github 收录