有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
Douban-Dushu-Dataset|书籍评论数据集|用户评分数据集
收藏github2024-03-07 更新2024-05-31 收录
下载链接：
https://github.com/JaniceZhao/Douban-Dushu-Dataset
下载链接
链接失效反馈资源简介：
豆瓣读书数据集包含超过3700万条来自约18000本书的短评论，由100万用户提供。这些评论涵盖了从正式到非正式的语言风格，用户还可以根据书籍质量从1星到5星进行评分。
The Douban Book Dataset comprises over 37 million short reviews from approximately 18,000 books, contributed by 1 million users. These reviews span a range of linguistic styles from formal to informal, and users also have the option to rate the quality of the books on a scale from 1 to 5 stars.
创建时间：
2018-11-04
原始信息汇总
数据集概述
数据集名称
DouBan DuShu 数据集
数据集描述
DouBan DuShu 是一个中文网站，用户可以分享关于各种书籍的评论。该数据集收集了超过3700万条来自约18000本书的短评论，涉及100万用户。评论语言风格多样，从正式到非正式均有涵盖。
数据集内容
数据集包含以下字段：
- Book Name (书名)
- User Name (用户名)
- Tag (标签)
- Comment (评论内容)
- Star (星级评价，1至5星)
- Date (评论日期)
- Like (点赞数)
数据预处理
- 将全角符号转换为半角符号
- 移除特殊符号
- 将繁体中文转换为简体中文
使用条款
- 数据集仅供学习和研究使用，未经许可不得用于任何商业目的。
- 不允许重新分发数据集。
- 如版权所有者提出要求，某些项目必须删除。
- 如需深度研究使用，请引用相关论文。
数据下载
数据集被分为4个CSV文件，可通过Google Drive和Baidu Cloud下载。
许可证
本数据集遵循Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License。
AI搜集汇总
数据集介绍
构建方式
Douban-Dushu-Dataset的构建基于豆瓣读书网站上用户对书籍的评论。该数据集收集了超过3700万条短评，涵盖约1.8万本书籍和100万用户。数据采集过程中，不仅记录了用户的评论内容，还包括书籍名称、用户标识、书籍标签、评论星级、评论日期以及评论的点赞数。数据预处理阶段，进行了全角符号到半角符号的转换、特殊符号的移除以及繁体中文到简体中文的转换，以确保数据的一致性和可用性。
特点
Douban-Dushu-Dataset的显著特点在于其庞大的规模和语言风格的多样性。数据集包含了从正式到非正式的各种语言表达，反映了普通用户而非专业评论家的真实反馈。此外，数据集中的评论星级和点赞数提供了额外的量化信息，有助于分析用户对书籍的评价和偏好。
使用方法
使用Douban-Dushu-Dataset时，用户需遵守特定的使用条款，包括尊重原始数据的版权和隐私，仅限于学术和研究目的，禁止商业用途和再分发。数据集被分为四个CSV文件，可通过Google Drive或百度云进行下载。在使用过程中，如需进行深度研究，建议引用相关文献。
背景与挑战
背景概述
豆瓣读书数据集（Douban-Dushu-Dataset）是由中国豆瓣网用户生成的书籍评论数据集，涵盖了超过3700万条短评，涉及约1.8万本书籍和100万用户。该数据集的创建旨在捕捉非专业书评者的语言风格，包括口语化、网络俚语等多样化的表达方式。数据集的核心研究问题在于分析和理解非正式中文文本的特征及其在书籍评价中的应用。该数据集由赵建宇和季卓然于2018年创建，其研究成果发表在《LSICC: A Large Scale Informal Chinese Corpus》一文中，对中文自然语言处理领域具有重要影响。
当前挑战
豆瓣读书数据集在构建过程中面临多重挑战。首先，数据集包含了大量的非正式中文表达，如口语和网络俚语，这增加了文本处理的复杂性。其次，数据集的规模庞大，涉及超过3700万条评论，如何高效地存储和处理这些数据是一个技术难题。此外，数据集中包含了多种语言风格和用户背景，如何确保数据分析的准确性和代表性也是一个重要挑战。最后，数据集的使用受到严格的版权和隐私保护限制，这要求研究者在利用数据时必须遵守相关法律法规。
常用场景
经典使用场景
在自然语言处理领域，Douban-Dushu-Dataset常被用于中文文本情感分析的研究。由于数据集中包含了大量用户对书籍的评论及其对应的星级评价，研究者可以利用这些数据训练情感分类模型，从而识别和分析用户评论中的情感倾向。此外，该数据集还可用于探索非正式语言的处理方法，特别是在互联网俚语和口语化表达的识别与理解方面。
实际应用
在实际应用中，Douban-Dushu-Dataset可用于开发智能推荐系统，通过分析用户的评论和评分，为用户推荐符合其兴趣的书籍。此外，该数据集还可应用于舆情监控系统，帮助企业或机构了解公众对特定书籍或主题的情感态度。在教育领域，该数据集也可用于开发语言学习工具，帮助学习者理解和掌握非正式中文表达。
衍生相关工作
基于Douban-Dushu-Dataset，研究者们开展了多项相关工作。例如，Zhao和Ji在2018年发表的论文《LSICC: A Large Scale Informal Chinese Corpus》中，详细介绍了如何利用该数据集构建大规模非正式中文语料库，并探讨了其在自然语言处理任务中的应用。此外，该数据集还激发了关于中文情感分析和非正式语言处理的多项研究，推动了相关领域的发展。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
data
食神オリジナルデータ
github 收录
中国1km分辨率逐月降水量数据集（1901-2023）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2023.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录
HazyDet
HazyDet是由解放军工程大学等机构创建的一个大规模数据集，专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例，收集自自然雾霾环境和正常场景中人工添加的雾霾效果，以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型，确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测，旨在提高无人机在复杂环境中的感知能力。
arXiv 收录
Plant-Diseases
Dataset for Plant Diseases containg variours Plant Disease
kaggle 收录
用于陆面模拟的中国土壤数据集（第二版）
本研究对中国范围内0-2米六个标准深度层（0-5、5-15、15-30、30-60、60-100和100-200厘米）的23种土壤物理和化学属性进行了90米空间分辨率的制图。该数据集源自第二次土壤普查的8979个土壤剖面，世界土壤信息服务的1540个土壤剖面，第一次全国土壤普查的76个土壤剖面，以及区域数据库的614个土壤剖面。该数据集包括pH值、砂粒、粉粒、粘粒、容重、有机碳含量、砾石、碱解氮、总氮、阳离子交换量、孔隙度、总钾、总磷、有效钾、有效磷和土壤颜色（包括蒙赛尔颜色和RGB两种形式）。数据集的缺失值为“fillvalue = -32768”。数据集以栅格格式提供，有Tiff和netCDF两种格式。为了满足陆面建模中不同应用对空间分辨率的不同要求，CSDLv2 提供了 90 米、1 公里和 10公里空间分辨率的版本。各个土壤属性的单位参见说明文档。该数据集相对于第一版具有更好的数据质量，可广泛应用于陆面过程模拟等地学相关研究。
国家青藏高原科学数据中心 收录