ChineseNlpCorpus

中文自然语言处理数据集，包含多个子数据集，如新闻分类、情感分析、实体识别等，用于自然语言处理实验和研究。

A Chinese natural language processing dataset, encompassing multiple sub-datasets such as news classification, sentiment analysis, entity recognition, etc., utilized for experiments and research in natural language processing.

原始信息汇总

ChineseNlpCorpus 数据集概述

文本分类

新闻分类

• 今日头条中文新闻（短文本）分类数据集

  • 数据规模：38万条，分布于15个分类中。
  • 采集时间：2018年05月。
  • 数据分割：0.7 0.15 0.15。

• 清华新闻分类语料

  • 数据来源：新浪新闻RSS订阅频道2005~2011年历史数据。
  • 数据量：74万篇新闻文档（2.19 GB）。
  • 可选类别：体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏, 娱乐。

• 中科大新闻分类语料库

  • 数据详情：http://www.nlpir.org/?action-viewnews-itemid-145

情感/观点/评论 倾向性分析

数据集	数据概览	下载地址
ChnSentiCorp_htl_all	7000多条酒店评论数据，5000多条正向评论，2000多条负向评论	地址
waimai_10k	某外卖平台收集的用户评价，正向4000条，负向约8000条	地址
online_shopping_10_cats	10个类别，共6万多条评论数据，正、负向评论各约3万条，包括书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店	地址
weibo_senti_100k	10万多条，带情感标注新浪微博，正负向评论约各5万条	地址
simplifyweibo_4_moods	36万多条，带情感标注新浪微博，包含4种情感，其中喜悦约20万条，愤怒、厌恶、低落各约5万条	地址
dmsc_v2	28部电影，超70万用户，超200万条评分/评论数据	地址
yf_dianping	24万家餐馆，54万用户，440万条评论/评分数据	地址
yf_amazon	52万件商品，1100多个类目，142万用户，720万条评论/评分数据	地址

实体识别&词性标注

• 微博实体识别

  • 数据详情：https://github.com/hltcoe/golden-horse

• boson数据

  • 包含6种实体类型。
  • 数据详情：https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/boson

• 人民日报数据集

  • 实体类型：人名、地名、组织名。
  • 1998年数据：https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/renMinRiBao
  • 2004年数据：https://pan.baidu.com/s/1LDwQjoj7qc-HT9qwhJ3rcA password: 1fa3

• MSRA微软亚洲研究院数据集

  • 包含5万多条中文命名实体识别标注数据（包括地点、机构、人物）。
  • 数据详情：https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/MSRA

搜索匹配

• OPPO手机搜索排序

  • 数据集：query-title语义匹配数据集。
  • 下载链接：https://pan.baidu.com/s/1Hg2Hubsn3GEuu4gubbHCzw 提取码:7p3n

• 网页搜索结果评价(SogouE)

  • 包含用户查询及相关URL列表。
  • 数据详情：https://www.sogou.com/labs/resource/e.php

推荐系统

数据集	数据概览	下载地址
ez_douban	5万多部电影（3万多有电影名称，2万多没有电影名称），2.8万用户，280万条评分数据	点击查看
dmsc_v2	28部电影，超70万用户，超200万条评分/评论数据	点击查看
yf_dianping	24万家餐馆，54万用户，440万条评论/评分数据	点击查看
yf_amazon	52万件商品，1100多个类目，142万用户，720万条评论/评分数据	点击查看

百科数据

• 维基百科

  • 数据下载：https://dumps.wikimedia.org/zhwiki/

• 百度百科

  • 爬取链接：https://pan.baidu.com/share/init?surl=i3wvfil提取码 neqs 。

指代消歧

• CoNLL 2012
  • 数据详情：http://conll.cemantix.org/2012/data.html

预训练（词向量or模型）

• BERT

  • 模型下载：BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters

• ELMO

  • 预训练的模型：https://allennlp.org/elmo

• 腾讯词向量

  • 包含800多万中文词汇，每个词对应一个200维的向量。
  • 下载地址：https://ai.tencent.com/ailab/nlp/embedding.html

• 上百种预训练中文词向量

  • 下载地址：https://github.com/Embedding/Chinese-Word-Vectors

中文完形填空数据集

• 数据详情：https://github.com/ymcui/Chinese-RC-Dataset

中华古诗词数据库

• 包含唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人，21050首词。
• 数据详情：https://github.com/chinese-poetry/chinese-poetry

保险行业语料库

• 数据详情：https://github.com/Samurais/insuranceqa-corpus-zh

汉语拆字字典

• 数据详情：https://github.com/kfcd/chaizi

中文数据集平台

• 搜狗实验室

  • 提供高质量的中文文本数据集，多为2012年以前的数据。
  • 数据详情：https://www.sogou.com/labs/resource/list_pingce.php

• 中科大自然语言处理与信息检索共享平台

  • 数据详情：http://www.nlpir.org/?action-category-catid-28

• 中文语料小数据

  • 包含中文命名实体识别、中文关系识别、中文阅读理解等小量数据。
  • 数据详情：https://github.com/crownpku/Small-Chinese-Corpus

• 维基百科数据集

  • 数据下载：https://dumps.wikimedia.org/

搜集汇总

数据集介绍

构建方式

ChineseNlpCorpus数据集的构建依托于多个来源的公开数据集，涵盖了新闻分类、情感分析、实体识别、词性标注、搜索匹配、推荐系统等多个自然语言处理任务。数据集通过整合今日头条、清华新闻、中科大新闻等新闻分类语料，以及酒店评论、外卖评价、微博评论等情感分析数据，形成了丰富多样的语料库。此外，数据集中还包含了来自维基百科、百度百科的百科数据，以及预训练模型如BERT、ELMO等资源，确保了数据的广泛性和实用性。

特点

ChineseNlpCorpus数据集的特点在于其多样性和广泛性。数据集不仅涵盖了新闻、评论、微博等多种文本类型，还包含了从情感分析到实体识别、从搜索匹配到推荐系统等多个自然语言处理任务的数据。数据集中的每个子集都经过精心筛选和标注，确保了数据的高质量和实用性。此外，数据集中还包含了大量的预训练模型和词向量资源，为研究者提供了丰富的实验材料。

使用方法

ChineseNlpCorpus数据集的使用方法灵活多样，适用于多种自然语言处理任务。研究者可以根据具体任务需求，选择相应的子集进行实验。例如，新闻分类任务可以使用今日头条或清华新闻数据集，情感分析任务则可以选择酒店评论或微博评论数据集。数据集中提供的预训练模型和词向量资源可以直接用于模型训练和优化。此外，数据集还提供了详细的使用说明和示例代码，帮助研究者快速上手并进行实验。

背景与挑战

背景概述

ChineseNlpCorpus是一个广泛用于中文自然语言处理研究的数据集集合，涵盖了文本分类、情感分析、实体识别、词性标注、搜索匹配、推荐系统等多个领域。该数据集的创建始于2018年，由多个研究机构和开源社区共同贡献，如清华大学、中科大、搜狗实验室等。其核心研究问题包括中文文本的自动分类、情感倾向性分析、命名实体识别等，这些研究对提升中文自然语言处理技术的准确性和效率具有重要意义。该数据集的影响力不仅体现在学术研究中，也广泛应用于工业界的实际应用中，如搜索引擎优化、社交媒体分析等。

当前挑战

ChineseNlpCorpus面临的挑战主要包括数据质量和多样性的问题。首先，中文文本的多样性和复杂性使得数据标注和分类变得尤为困难，尤其是在情感分析和实体识别任务中，如何准确捕捉文本的细微差别是一个持续的挑战。其次，数据集的构建过程中，如何确保数据的代表性和平衡性也是一个重要问题，例如在情感分析数据集中，正向和负向评论的数量需要保持一定的平衡以避免模型偏差。此外，随着中文网络语言的不断演变，如何及时更新和扩充数据集以适应新的语言现象也是一个亟待解决的问题。

常用场景

经典使用场景

在自然语言处理领域，ChineseNlpCorpus数据集广泛应用于文本分类、情感分析、实体识别等任务。例如，新闻分类任务中，该数据集提供了今日头条中文新闻和清华新闻分类语料，帮助研究者训练和验证模型在短文本和长文本上的分类性能。情感分析任务中，ChnSentiCorp_htl_all和weibo_senti_100k等数据集为情感倾向性分析提供了丰富的标注数据，支持模型在酒店评论、社交媒体等场景下的情感预测。

衍生相关工作

ChineseNlpCorpus数据集催生了许多经典的自然语言处理研究工作。例如，基于该数据集的文本分类任务，研究者提出了多种深度学习模型，如CNN和RNN的变体，用于提升分类精度。在情感分析领域，ChnSentiCorp_htl_all和weibo_senti_100k数据集被用于开发情感分类模型，推动了情感分析技术的发展。此外，实体识别任务中，人民日报数据集和MSRA数据集被广泛用于命名实体识别模型的训练与评估，相关研究成果在学术界和工业界产生了深远影响。

数据集最近研究

最新研究方向

近年来，随着深度学习技术的飞速发展，中文自然语言处理领域的研究方向日益多元化。ChineseNlpCorpus作为中文自然语言处理的重要数据集，其最新研究方向主要集中在文本分类、情感分析、实体识别与词性标注、搜索匹配以及推荐系统等领域。特别是在情感分析方面，研究者们利用该数据集中的酒店评论、外卖评价等数据，开发出更为精准的情感倾向性分析模型，以应对日益复杂的用户情感表达。此外，实体识别与词性标注的研究也在不断深入，通过结合深度学习技术，研究者们能够更准确地识别文本中的人名、地名、组织名等实体信息，为信息抽取和知识图谱构建提供有力支持。这些研究不仅推动了中文自然语言处理技术的发展，也为相关应用场景如智能客服、舆情监控等提供了坚实的数据基础。