ChineseNlpCorpus

中文自然语言处理数据集，包含文本分类、情感/观点/评论倾向性分析、实体识别&词性标注、搜索匹配、推荐系统等多个领域的数据集，用于实验和研究。

A Chinese natural language processing dataset encompassing various domains such as text classification, sentiment/opinion/comment analysis, entity recognition & part-of-speech tagging, search matching, and recommendation systems, designed for experimentation and research.

原始信息汇总

ChineseNlpCorpus 数据集概述

文本分类

新闻分类

• 今日头条中文新闻（短文本）分类数据集

  • 数据规模：38万条，分布于15个分类中。
  • 采集时间：2018年05月。
  • 数据分割比例：0.7 0.15 0.15。

• 清华新闻分类语料

  • 数据来源：新浪新闻RSS订阅频道2005~2011年历史数据。
  • 数据量：74万篇新闻文档（2.19 GB）。
  • 可选类别：体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏, 娱乐。

• 中科大新闻分类语料库

  • 数据详情：http://www.nlpir.org/?action-viewnews-itemid-145

情感/观点/评论 倾向性分析

数据集	数据概览	下载地址
ChnSentiCorp_htl_all	7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论	地址
waimai_10k	某外卖平台收集的用户评价，正向 4000 条，负向 约 8000 条	地址
online_shopping_10_cats	10 个类别，共 6 万多条评论数据，正、负向评论各约 3 万条， 包括书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店	地址
weibo_senti_100k	10 万多条，带情感标注 新浪微博，正负向评论约各 5 万条	地址
simplifyweibo_4_moods	36 万多条，带情感标注 新浪微博，包含 4 种情感， 其中喜悦约 20 万条，愤怒、厌恶、低落各约 5 万条	地址
dmsc_v2	28 部电影，超 70 万 用户，超 200 万条 评分/评论 数据	地址
yf_dianping	24 万家餐馆，54 万用户，440 万条评论/评分数据	地址
yf_amazon	52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据	地址

实体识别&词性标注

• 微博实体识别

  • 数据集链接：https://github.com/hltcoe/golden-horse

• boson数据

  • 包含6种实体类型。
  • 数据集链接：https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/boson

• 人民日报数据集

  • 实体类型：人名、地名、组织名。
  • 1998年数据链接：https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/renMinRiBao
  • 2004年数据链接：https://pan.baidu.com/s/1LDwQjoj7qc-HT9qwhJ3rcA password: 1fa3

• MSRA微软亚洲研究院数据集

  • 包含5万多条中文命名实体识别标注数据（包括地点、机构、人物）。
  • 数据集链接：https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/MSRA

搜索匹配

• OPPO手机搜索排序

  • 数据集类型：query-title语义匹配。
  • 数据集链接：https://pan.baidu.com/s/1Hg2Hubsn3GEuu4gubbHCzw 提取码:7p3n

• 网页搜索结果评价(SogouE)

  • 数据集内容：用户查询及相关URL列表。
  • 数据集链接：https://www.sogou.com/labs/resource/e.php

推荐系统

数据集	数据概览	下载地址
ez_douban	5 万多部电影（3 万多有电影名称，2 万多没有电影名称），2.8 万 用户，280 万条评分数据	点击查看
dmsc_v2	28 部电影，超 70 万 用户，超 200 万条 评分/评论 数据	点击查看
yf_dianping	24 万家餐馆，54 万用户，440 万条评论/评分数据	点击查看
yf_amazon	52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据	点击查看

百科数据

• 维基百科

  • 数据获取方式：维基百科会定时将语料库打包发布。
  • 数据链接：https://dumps.wikimedia.org/zhwiki/

• 百度百科

  • 数据获取方式：只能自己爬取。
  • 爬取链接：https://pan.baidu.com/share/init?surl=i3wvfil提取码 neqs 。

指代消歧

• CoNLL 2012
  • 数据集链接：http://conll.cemantix.org/2012/data.html

预训练

• BERT

  • 模型下载：BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters

• ELMO

  • 预训练的模型：https://allennlp.org/elmo

• 腾讯词向量

  • 数据集包含800多万中文词汇，每个词对应一个200维的向量。
  • 下载地址：https://ai.tencent.com/ailab/nlp/embedding.html

• 上百种预训练中文词向量

  • 数据集链接：https://github.com/Embedding/Chinese-Word-Vectors

中文完形填空数据集

• 数据集链接：https://github.com/ymcui/Chinese-RC-Dataset

中华古诗词数据库

• 数据集链接：https://github.com/chinese-poetry/chinese-poetry

保险行业语料库

• 数据集链接：https://github.com/Samurais/insuranceqa-corpus-zh

汉语拆字字典

• 数据集链接：https://github.com/kfcd/chaizi

中文数据集平台

• 搜狗实验室

  • 数据集链接：https://www.sogou.com/labs/resource/list_pingce.php

• 中科大自然语言处理与信息检索共享平台

  • 数据集链接：http://www.nlpir.org/?action-category-catid-28

• 中文语料小数据

  • 数据集链接：https://github.com/crownpku/Small-Chinese-Corpus

• 维基百科数据集

  • 数据集链接：https://dumps.wikimedia.org/

NLP工具

• THULAC

  • 数据集链接：https://github.com/thunlp/THULAC

• HanLP

  • 数据集链接：https://github.com/hankcs/HanLP

• 哈工大LTP

  • 数据集链接：https://github.com/HIT-SCIR/ltp

• NLPIR

  • 数据集链接：https://github.com/NLPIR-team/NLPIR

• jieba

  • 数据集链接：https://github.com/yanyiwu/cppjieba

搜集汇总

数据集介绍

构建方式

ChineseNlpCorpus数据集的构建方式主要依赖于公开的网络资源和历史数据。例如，新闻分类数据集来源于今日头条和清华大学的新闻RSS订阅频道，情感分析数据集则从酒店评论、外卖平台评价以及社交媒体评论中收集。这些数据经过筛选和标注，确保了数据的多样性和代表性。此外，实体识别和词性标注数据集则基于微博、人民日报和MSRA等权威来源，进一步丰富了数据集的深度和广度。

使用方法

ChineseNlpCorpus数据集的使用方法灵活多样，适用于多种自然语言处理任务。研究者可以通过GitHub页面访问各个子数据集的下载链接，并根据需要选择相应的数据集进行实验。例如，新闻分类数据集可用于训练和测试文本分类模型，情感分析数据集则可用于情感倾向性分析模型的开发。此外，数据集还提供了预训练的词向量和模型，如BERT和ELMO，研究者可以直接使用这些预训练模型进行迁移学习或微调。数据集的详细使用说明和示例代码可在GitHub页面上找到，便于快速上手和应用。

背景与挑战

背景概述

ChineseNlpCorpus是一个专注于中文自然语言处理的数据集集合，涵盖了文本分类、情感分析、实体识别、词性标注、搜索匹配、推荐系统等多个领域。该数据集由多个研究机构和开源社区共同贡献，旨在为中文自然语言处理研究提供丰富的实验材料。数据集中的内容涵盖了从新闻分类到情感倾向性分析，再到实体识别和词性标注等多个任务，广泛应用于学术界和工业界的研究与开发。其创建时间主要集中在2018年及以后，部分数据集如清华新闻分类语料则基于2005年至2011年的历史数据。这些数据集为中文自然语言处理领域的研究提供了重要的数据支持，推动了中文文本处理技术的发展。

当前挑战

ChineseNlpCorpus在构建和应用过程中面临多重挑战。首先，中文语言的复杂性和多样性使得数据标注和预处理工作尤为困难，尤其是在情感分析和实体识别任务中，如何准确捕捉语义和上下文信息是一个关键问题。其次，数据集的规模和质量参差不齐，部分数据集如新闻分类语料虽然规模较大，但数据分布不均，可能导致模型训练时的偏差。此外，数据集的构建过程中还面临数据隐私和版权问题，尤其是在涉及用户评论和社交媒体数据时，如何在不侵犯用户隐私的前提下进行数据收集和共享是一个亟待解决的问题。最后，随着自然语言处理技术的快速发展，如何保持数据集的时效性和多样性，以应对不断变化的语言使用习惯和技术需求，也是一个长期的挑战。

常用场景

经典使用场景

ChineseNlpCorpus数据集在自然语言处理领域中被广泛用于文本分类、情感分析、实体识别和词性标注等任务。例如，新闻分类数据集如今日头条中文新闻和清华新闻分类语料，为研究者提供了丰富的短文本和长文本数据，支持从简单的分类实验到复杂的深度学习模型训练。情感分析数据集如ChnSentiCorp_htl_all和weibo_senti_100k，则帮助研究者在社交媒体和电商平台上进行情感倾向性分析。

解决学术问题

该数据集解决了中文自然语言处理中的多个关键问题，如文本分类的准确性提升、情感分析的细粒度划分、以及实体识别的精确度提高。通过提供大规模、多样化的标注数据，ChineseNlpCorpus为研究者提供了实验和验证模型的基础，推动了中文NLP技术的发展。特别是在处理中文特有的语言结构和表达方式上，该数据集提供了宝贵的资源。

实际应用

在实际应用中，ChineseNlpCorpus数据集被广泛应用于新闻推荐系统、社交媒体监控、电商评论分析等领域。例如，利用新闻分类数据集，新闻平台可以更精准地推荐相关内容给用户；情感分析数据集则帮助企业理解消费者对产品或服务的真实感受，从而优化营销策略。此外，实体识别数据集在智能客服和信息抽取系统中也发挥了重要作用。

数据集最近研究

最新研究方向

近年来，随着深度学习技术的迅猛发展，中文自然语言处理领域的研究重点逐渐转向了预训练语言模型的应用与优化。ChineseNlpCorpus作为中文自然语言处理的重要数据集之一，为研究者提供了丰富的文本分类、情感分析、实体识别等任务的基础数据。特别是在BERT、ELMO等预训练模型的推动下，研究者们利用该数据集进行模型微调和性能评估，显著提升了中文文本处理的准确性和效率。此外，随着社交媒体和电商平台的兴起，情感分析和评论倾向性分析成为研究热点，ChineseNlpCorpus中的情感数据集如ChnSentiCorp_htl_all和weibo_senti_100k等，为这些研究提供了宝贵的数据支持。未来，随着多模态学习和跨语言研究的深入，ChineseNlpCorpus有望在更广泛的自然语言处理任务中发挥重要作用。