有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
Douban-Dushu-Dataset|书籍评论数据集|用户评分数据集
收藏github2024-03-07 更新2024-05-31 收录
下载链接：
https://github.com/JaniceZhao/Douban-Dushu-Dataset
下载链接
链接失效反馈资源简介：
豆瓣读书数据集包含超过3700万条来自约18000本书的短评论，由100万用户提供。这些评论涵盖了从正式到非正式的语言风格，用户还可以根据书籍质量从1星到5星进行评分。
The Douban Book Dataset comprises over 37 million short reviews from approximately 18,000 books, contributed by 1 million users. These reviews span a range of linguistic styles from formal to informal, and users also have the option to rate the quality of the books on a scale from 1 to 5 stars.
创建时间：
2018-11-04
原始信息汇总
数据集概述
数据集名称
DouBan DuShu 数据集
数据集描述
DouBan DuShu 是一个中文网站，用户可以分享关于各种书籍的评论。该数据集收集了超过3700万条来自约18000本书的短评论，涉及100万用户。评论语言风格多样，从正式到非正式均有涵盖。
数据集内容
数据集包含以下字段：
- Book Name (书名)
- User Name (用户名)
- Tag (标签)
- Comment (评论内容)
- Star (星级评价，1至5星)
- Date (评论日期)
- Like (点赞数)
数据预处理
- 将全角符号转换为半角符号
- 移除特殊符号
- 将繁体中文转换为简体中文
使用条款
- 数据集仅供学习和研究使用，未经许可不得用于任何商业目的。
- 不允许重新分发数据集。
- 如版权所有者提出要求，某些项目必须删除。
- 如需深度研究使用，请引用相关论文。
数据下载
数据集被分为4个CSV文件，可通过Google Drive和Baidu Cloud下载。
许可证
本数据集遵循Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License。
AI搜集汇总
数据集介绍
构建方式
Douban-Dushu-Dataset的构建基于豆瓣读书网站上用户对书籍的评论。该数据集收集了超过3700万条短评，涵盖约1.8万本书籍和100万用户。数据采集过程中，不仅记录了用户的评论内容，还包括书籍名称、用户标识、书籍标签、评论星级、评论日期以及评论的点赞数。数据预处理阶段，进行了全角符号到半角符号的转换、特殊符号的移除以及繁体中文到简体中文的转换，以确保数据的一致性和可用性。
特点
Douban-Dushu-Dataset的显著特点在于其庞大的规模和语言风格的多样性。数据集包含了从正式到非正式的各种语言表达，反映了普通用户而非专业评论家的真实反馈。此外，数据集中的评论星级和点赞数提供了额外的量化信息，有助于分析用户对书籍的评价和偏好。
使用方法
使用Douban-Dushu-Dataset时，用户需遵守特定的使用条款，包括尊重原始数据的版权和隐私，仅限于学术和研究目的，禁止商业用途和再分发。数据集被分为四个CSV文件，可通过Google Drive或百度云进行下载。在使用过程中，如需进行深度研究，建议引用相关文献。
背景与挑战
背景概述
豆瓣读书数据集（Douban-Dushu-Dataset）是由中国豆瓣网用户生成的书籍评论数据集，涵盖了超过3700万条短评，涉及约1.8万本书籍和100万用户。该数据集的创建旨在捕捉非专业书评者的语言风格，包括口语化、网络俚语等多样化的表达方式。数据集的核心研究问题在于分析和理解非正式中文文本的特征及其在书籍评价中的应用。该数据集由赵建宇和季卓然于2018年创建，其研究成果发表在《LSICC: A Large Scale Informal Chinese Corpus》一文中，对中文自然语言处理领域具有重要影响。
当前挑战
豆瓣读书数据集在构建过程中面临多重挑战。首先，数据集包含了大量的非正式中文表达，如口语和网络俚语，这增加了文本处理的复杂性。其次，数据集的规模庞大，涉及超过3700万条评论，如何高效地存储和处理这些数据是一个技术难题。此外，数据集中包含了多种语言风格和用户背景，如何确保数据分析的准确性和代表性也是一个重要挑战。最后，数据集的使用受到严格的版权和隐私保护限制，这要求研究者在利用数据时必须遵守相关法律法规。
常用场景
经典使用场景
在自然语言处理领域，Douban-Dushu-Dataset常被用于中文文本情感分析的研究。由于数据集中包含了大量用户对书籍的评论及其对应的星级评价，研究者可以利用这些数据训练情感分类模型，从而识别和分析用户评论中的情感倾向。此外，该数据集还可用于探索非正式语言的处理方法，特别是在互联网俚语和口语化表达的识别与理解方面。
实际应用
在实际应用中，Douban-Dushu-Dataset可用于开发智能推荐系统，通过分析用户的评论和评分，为用户推荐符合其兴趣的书籍。此外，该数据集还可应用于舆情监控系统，帮助企业或机构了解公众对特定书籍或主题的情感态度。在教育领域，该数据集也可用于开发语言学习工具，帮助学习者理解和掌握非正式中文表达。
衍生相关工作
基于Douban-Dushu-Dataset，研究者们开展了多项相关工作。例如，Zhao和Ji在2018年发表的论文《LSICC: A Large Scale Informal Chinese Corpus》中，详细介绍了如何利用该数据集构建大规模非正式中文语料库，并探讨了其在自然语言处理任务中的应用。此外，该数据集还激发了关于中文情感分析和非正式语言处理的多项研究，推动了相关领域的发展。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
Figshare
Figshare是一个在线数据共享平台，允许研究人员上传和共享各种类型的研究成果，包括数据集、论文、图像、视频等。它旨在促进科学研究的开放性和可重复性。
figshare.com 收录
China Health and Nutrition Survey (CHNS)
China Health and Nutrition Survey（CHNS）是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目，旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响，以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体，采用多阶段随机抽样方法，收集了家庭、个体以及社区层面的详细数据，包括饮食、健康、经济和社会因素等信息。自2011年起，CHNS不断扩展，新增多个城市和省份，并持续完善纵向数据链接，为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。
www.cpc.unc.edu 收录
中国劳动力动态调查
“中国劳动力动态调查” （China Labor-force Dynamics Survey，简称 CLDS）是“985”三期“中山大学社会科学特色数据库建设”专项内容，CLDS的目的是通过对中国城乡以村/居为追踪范围的家庭、劳动力个体开展每两年一次的动态追踪调查，系统地监测村/居社区的社会结构和家庭、劳动力个体的变化与相互影响，建立劳动力、家庭和社区三个层次上的追踪数据库，从而为进行实证导向的高质量的理论研究和政策研究提供基础数据。
中国学术调查数据资料库 收录
Global Firepower Index (GFI)
Global Firepower Index (GFI) 是一个评估全球各国军事力量的综合指数。该指数考虑了超过50个因素，包括军事预算、人口、陆地面积、海军力量、空军力量、自然资源、后勤能力、地理位置等。数据集提供了每个国家的详细评分和排名，帮助分析和比较各国的军事实力。
www.globalfirepower.com 收录
HIT-UAV
HIT-UAV数据集是由中国科学院计算技术研究所分布式系统研究中心创建，专注于无人机（UAV）基于高海拔红外热成像的目标检测。该数据集包含2898张从数百个视频中提取的43470帧红外热图像，涵盖学校、停车场、道路和游乐场等多种场景。数据集不仅提供图像，还记录了飞行高度、相机视角、日期和日光强度等关键飞行数据。每张图像均手动标注了两种类型的边界框（定向和标准），以应对航空图像中目标实例显著重叠的挑战。HIT-UAV旨在解决夜间操作和隐私问题，是首个公开可用的高海拔UAV红外热数据集，用于检测人员和车辆，适用于多种UAV应用和研究，如夜间搜索和救援任务、飞行高度与目标检测精度的关系研究等。
arXiv 收录