ChineseNlpCorpus

中文自然语言处理数据集，包含多个领域的数据集，如新闻分类、情感分析、实体识别等，用于实验和研究。

A Chinese natural language processing dataset encompassing a variety of domains such as news classification, sentiment analysis, and entity recognition, utilized for experimentation and research.

原始信息汇总

ChineseNlpCorpus 数据集概述

文本分类

新闻分类

• 今日头条中文新闻（短文本）分类数据集
  • 数据规模：38万条，分布于15个分类中。
  • 采集时间：2018年05月。
• 清华新闻分类语料
  • 数据量：74万篇新闻文档（2.19 GB）
  • 可筛选类别：体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏, 娱乐
• 中科大新闻分类语料库

情感/观点/评论 倾向性分析

• ChnSentiCorp_htl_all
  • 数据概览：7000多条酒店评论数据，5000多条正向评论，2000多条负向评论。
• waimai_10k
  • 数据概览：某外卖平台收集的用户评价，正向4000条，负向约8000条。
• online_shopping_10_cats
  • 数据概览：10个类别，共6万多条评论数据，正、负向评论各约3万条。
• weibo_senti_100k
  • 数据概览：10万多条，带情感标注新浪微博，正负向评论约各5万条。
• simplifyweibo_4_moods
  • 数据概览：36万多条，带情感标注新浪微博，包含4种情感。
• dmsc_v2
  • 数据概览：28部电影，超70万用户，超200万条评分/评论数据。
• yf_dianping
  • 数据概览：24万家餐馆，54万用户，440万条评论/评分数据。
• yf_amazon
  • 数据概览：52万件商品，1100多个类目，142万用户，720万条评论/评分数据。

实体识别&词性标注

• 微博实体识别
• boson数据
  • 包含6种实体类型。
• 人民日报数据集
  • 包含人名、地名、组织名三种实体类型。
• MSRA微软亚洲研究院数据集
  • 包含5万多条中文命名实体识别标注数据。
• SIGHAN Bakeoff 2005
  • 包含四个数据集，包含繁体中文和简体中文。

搜索匹配

• OPPO手机搜索排序
  • 包含query-title语义匹配数据集。
• 网页搜索结果评价(SogouE)
  • 包含用户查询及相关URL列表。

推荐系统

• ez_douban
  • 数据概览：5万多部电影，2.8万用户，280万条评分数据。
• dmsc_v2
  • 数据概览：28部电影，超70万用户，超200万条评分/评论数据。
• yf_dianping
  • 数据概览：24万家餐馆，54万用户，440万条评论/评分数据。
• yf_amazon
  • 数据概览：52万件商品，1100多个类目，142万用户，720万条评论/评分数据。

百科数据

• 维基百科
  • 维基百科会定时将语料库打包发布。
• 百度百科
  • 只能自己爬取。

指代消歧

• CoNLL 2012

预训练

• BERT
  • 模型下载：BERT-Base, Chinese，包含12层，768隐藏单元，12头，110M参数。
• ELMO
  • 预训练的模型。
• 腾讯词向量
  • 包含800多万中文词汇，每个词对应一个200维的向量。
• 上百种预训练中文词向量

中文完形填空数据集

中华古诗词数据库

• 包含唐宋两朝近一万四千古诗人，接近5.5万首唐诗加26万宋诗，两宋时期1564位词人，21050首词。

保险行业语料库

汉语拆字字典

中文数据集平台

• 搜狗实验室
• 中科大自然语言处理与信息检索共享平台
• 中文语料小数据
  • 包含中文命名实体识别、中文关系识别、中文阅读理解等小量数据。
• 维基百科数据集

NLP工具

• THULAC
• HanLP
• 哈工大LTP
• NLPIR
• jieba

搜集汇总

数据集介绍

构建方式

ChineseNlpCorpus数据集的构建主要依赖于公开的网络资源和历史数据。例如，新闻分类数据集来源于今日头条和清华大学的新闻RSS订阅频道，情感分析数据集则从酒店评论、外卖评价和微博等社交媒体平台收集。这些数据经过筛选和标注，确保了数据质量和多样性。此外，数据集还包含了从维基百科和百度百科等百科平台获取的文本数据，进一步丰富了语料库的内容。

特点

ChineseNlpCorpus数据集的特点在于其广泛的应用场景和丰富的数据类型。数据集涵盖了文本分类、情感分析、实体识别、词性标注、搜索匹配、推荐系统等多个自然语言处理任务。数据规模庞大，如新闻分类数据集包含数十万条记录，情感分析数据集则包含数万条带情感标注的评论。此外，数据集还提供了多种预训练模型和词向量，支持中文自然语言处理的研究和应用。

使用方法

使用ChineseNlpCorpus数据集时，研究人员和开发者可以根据具体任务选择相应的子数据集。例如，进行文本分类实验时，可以使用今日头条或清华新闻分类数据集；进行情感分析时，可以选择酒店评论或微博评论数据集。数据集通常以CSV或JSON格式提供，便于直接导入到机器学习框架中进行处理。此外，数据集还提供了详细的文档和示例代码，帮助用户快速上手和实现各种自然语言处理任务。

背景与挑战

背景概述

ChineseNlpCorpus是一个广泛用于中文自然语言处理研究的数据集集合，涵盖了文本分类、情感分析、实体识别、词性标注、搜索匹配、推荐系统等多个领域。该数据集由多个研究机构和开源社区共同贡献，包括清华大学、中科大、搜狗实验室等。自2018年以来，该数据集不断更新和扩展，已成为中文NLP研究的重要资源之一。其核心研究问题包括如何有效处理中文文本的多样性和复杂性，以及如何提升中文自然语言处理模型的性能。该数据集对推动中文NLP技术的发展和应用具有深远影响。

当前挑战

ChineseNlpCorpus在解决中文自然语言处理问题时面临诸多挑战。首先，中文文本的多样性和复杂性使得数据标注和预处理工作尤为困难，尤其是在情感分析和实体识别等任务中，标注的一致性和准确性难以保证。其次，数据集的构建过程中，数据来源的多样性和数据质量的参差不齐增加了数据清洗和整合的难度。此外，中文的语法结构和语义表达与英文等语言存在显著差异，这对模型的训练和优化提出了更高的要求。如何在有限的标注数据下提升模型的泛化能力，也是该数据集面临的重要挑战之一。

常用场景

经典使用场景

ChineseNlpCorpus数据集在中文自然语言处理领域具有广泛的应用，尤其是在文本分类、情感分析、实体识别和推荐系统等任务中。例如，新闻分类数据集如今日头条中文新闻和清华新闻分类语料，常被用于训练和评估机器学习模型，以自动识别和分类新闻内容。情感分析数据集如ChnSentiCorp_htl_all和weibo_senti_100k，则用于分析用户评论和社交媒体内容的情感倾向。

衍生相关工作

ChineseNlpCorpus数据集衍生了许多经典的研究工作。例如，基于今日头条新闻分类数据集的研究，提出了多种改进的文本分类算法；基于ChnSentiCorp_htl_all数据集的研究，开发了高效的情感分析模型。此外，该数据集还促进了中文预训练模型如BERT和ELMO的发展，为中文NLP领域的研究和应用提供了重要支持。

数据集最近研究

最新研究方向

近年来，随着深度学习技术的飞速发展，中文自然语言处理领域的研究方向逐渐从传统的文本分类、情感分析等基础任务，转向更为复杂的预训练模型和多任务学习。ChineseNlpCorpus作为中文自然语言处理的重要数据集，其涵盖的新闻分类、情感分析、实体识别等多样化数据，为研究者提供了丰富的实验材料。特别是在BERT、ELMO等预训练模型的推动下，基于该数据集的模型优化和迁移学习研究成为热点。此外，随着社交媒体数据的爆炸式增长，微博情感分析和实体识别等任务也受到了广泛关注，推动了中文NLP技术在舆情监控、智能客服等实际应用中的深入发展。