five

Rhma/CONAN|仇恨言论数据集|机器学习数据集

收藏
hugging_face2024-05-15 更新2024-06-12 收录
仇恨言论
机器学习
下载链接:
https://hf-mirror.com/datasets/Rhma/CONAN
下载链接
链接失效反馈
资源简介:
该数据集包含多个特征字段,如cn_id、hateSpeech、counterSpeech、hsType、hsSubType、cnType、age、gender和educationLevel。这些字段分别代表不同的数据类型,如字符串和浮点数。数据集包含一个名为train的分割,其中包含14988个示例,总大小为4432994字节。下载大小为696348字节。数据集的配置名为default,数据文件路径为data/train-*。

该数据集包含多个特征字段,如cn_id、hateSpeech、counterSpeech、hsType、hsSubType、cnType、age、gender和educationLevel。这些字段分别代表不同的数据类型,如字符串和浮点数。数据集包含一个名为train的分割,其中包含14988个示例,总大小为4432994字节。下载大小为696348字节。数据集的配置名为default,数据文件路径为data/train-*。
提供机构:
Rhma
原始信息汇总

数据集概述

数据集特征

  • cn_id: 数据类型为字符串
  • hateSpeech: 数据类型为字符串
  • counterSpeech: 数据类型为字符串
  • hsType: 数据类型为字符串
  • hsSubType: 数据类型为字符串
  • cnType: 数据类型为字符串
  • age: 数据类型为浮点数
  • gender: 数据类型为字符串
  • educationLevel: 数据类型为字符串

数据集分割

  • 训练集:
    • 数据大小: 4432994 字节
    • 示例数量: 14988

数据集大小

  • 下载大小: 696348 字节
  • 总数据集大小: 4432994 字节

配置

  • 默认配置:
    • 数据文件路径: data/train-*
AI搜集汇总
数据集介绍
main_image_url
构建方式
Rhma/CONAN数据集的构建基于对网络上的仇恨言论及其对应的反驳言论的系统收集与整理。数据集通过自动化工具和人工审核相结合的方式,从多个公开社交媒体平台和论坛中提取相关数据。每条记录包含仇恨言论、反驳言论、仇恨言论类型及其子类型、反驳言论类型、以及发布者的年龄、性别和教育水平等信息。这种多维度的数据结构旨在为研究者提供丰富的上下文信息,以支持更深入的分析和模型训练。
使用方法
Rhma/CONAN数据集适用于多种自然语言处理和机器学习任务,包括但不限于仇恨言论检测、反驳言论生成和社交媒体用户行为分析。研究者可以通过加载数据集的训练部分进行模型训练,利用数据集提供的多维度特征进行特征工程和模型优化。数据集的结构化设计使得数据预处理和特征提取过程相对简便,适合不同技术背景的研究者使用。此外,数据集的下载和使用均遵循开源许可,确保了其广泛的应用和传播。
背景与挑战
背景概述
在当今数字化社会中,网络仇恨言论的泛滥已成为一个严峻的社会问题。Rhma/CONAN数据集由Rhma研究团队于近期创建,旨在通过提供一个包含中文仇恨言论及其反驳言论的数据集,推动对这一问题的深入研究。该数据集不仅包含了仇恨言论的文本内容,还详细记录了其类型、子类型以及相应的反驳言论类型,为研究人员提供了一个全面的数据资源。此外,数据集还涵盖了用户的基本信息,如年龄、性别和教育水平,这些信息有助于更细致地分析仇恨言论的传播机制及其社会影响。Rhma/CONAN数据集的发布,标志着在仇恨言论研究领域迈出了重要一步,为未来的研究提供了坚实的基础。
当前挑战
尽管Rhma/CONAN数据集在仇恨言论研究领域具有重要意义,但其构建过程中仍面临诸多挑战。首先,仇恨言论的定义和分类标准在不同文化和语境中存在差异,这增加了数据标注的复杂性。其次,数据集的多样性和代表性问题也是一个重要挑战,如何确保数据集能够全面反映不同社会群体的仇恨言论及其反驳言论,是一个亟待解决的问题。此外,数据集中的用户信息虽然提供了额外的分析维度,但也引发了隐私保护和数据安全的问题。这些挑战不仅影响了数据集的质量和可用性,也对后续研究提出了更高的要求。
常用场景
经典使用场景
在自然语言处理领域,Rhma/CONAN数据集的经典使用场景主要集中在仇恨言论检测与反驳生成任务上。该数据集通过提供仇恨言论及其对应的反驳言论,为研究者提供了一个丰富的资源库,用于训练和评估模型在识别和应对网络仇恨言论方面的能力。
解决学术问题
Rhma/CONAN数据集解决了在社交媒体和在线论坛中普遍存在的仇恨言论检测与管理问题。通过提供详细的仇恨言论及其反驳样本,该数据集为学术界提供了一个标准化的测试平台,推动了相关算法的发展,从而提高了仇恨言论检测的准确性和反驳策略的有效性。
实际应用
在实际应用中,Rhma/CONAN数据集被广泛用于开发和优化社交媒体平台的仇恨言论过滤系统。通过训练基于该数据集的模型,平台可以更有效地识别和处理仇恨言论,从而提升用户体验,维护社区的健康环境。
数据集最近研究
最新研究方向
在社交媒体和网络环境中,仇恨言论的识别与反制已成为一个紧迫的研究课题。Rhma/CONAN数据集聚焦于这一领域,提供了丰富的仇恨言论及其对应的反制言论样本,为研究者提供了宝贵的资源。当前,该数据集的前沿研究方向主要集中在开发高效的仇恨言论检测模型,以及设计智能化的反制策略。这些研究不仅有助于提升网络环境的和谐度,还能为政策制定者提供科学依据,推动相关法律法规的完善。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

The MaizeGDB

The MaizeGDB(Maize Genetics and Genomics Database)是一个专门为玉米(Zea mays)基因组学研究提供数据和工具的在线资源。该数据库包含了玉米的基因组序列、基因注释、遗传图谱、突变体信息、表达数据、以及与玉米相关的文献和研究工具。MaizeGDB旨在支持玉米遗传学和基因组学的研究,为科学家提供了一个集成的平台来访问和分析玉米的遗传和基因组数据。

www.maizegdb.org 收录

中国陆域及周边逐日1km全天候地表温度数据集(TRIMS LST;2000-2024)

地表温度(Land surface temperature, LST)是地球表面与大气之间界面的重要参量之一。它既是地表与大气能量交互作用的直接体现,又对于地气过程具有复杂的反馈作用。因此,地表温度不仅是气候变化的敏感指示因子和掌握气候变化规律的重要前提,还是众多模型的直接输入参数,在许多领域有广泛的应用,如气象气候、环境生态、水文等。伴随地学及相关领域研究的深入和精细化,学术界对卫星遥感的全天候地表温度(All-weather LST)具有迫切的需求。 本数据集的制备方法是增强型的卫星热红外遥感-再分析数据集成方法。方法的主要输入数据为Terra/Aqua MODIS LST产品和GLDAS等数据,辅助数据包括卫星遥感提供的植被指数、地表反照率等。方法充分利用了卫星热红外遥感和再分析数据提供的地表温度高频分量、低频分量以及地表温度的空间相关性,最终重建得到较高质量的全天候地表温度数据集。 评价结果表明,本数据集具有良好的图像质量和精度,不仅在空间上无缝,还与当前学术界广泛采用的逐日1 km Terra/Aqua MODIS LST产品在幅值和空间分布上具有较高的一致性。当以MODIS LST为参考时,该数据集在白天和夜间的平均偏差(MBE)为0.09K和-0.03K,偏差标准差(STD)为1.45K和1.17K。基于19个站点实测数据的检验结果表明,其MBE为-2.26K至1.73K,RMSE为0.80K至3.68K,且在晴空与非晴空条件下无显著区别。 本数据集的时间分辨率为逐日4次,空间分辨率为1km,时间跨度为2000年-2024年;空间范围包括我国陆域的主要区域(包含港澳台地区,暂不包含我国南海诸岛)及周边区域(72°E-135°E,19°N-55°N)。本数据集的缩写名为TRIMS LST(Thermal and Reanalysis Integrating Moderate-resolution Spatial-seamless LST),以便用户使用。需要说明的是,TRIMS LST的空间子集TRIMS LST-TP(中国西部逐日1 km全天候地表温度数据集(TRIMS LST-TP;2000-2024)V2)同步在国家青藏高原科学数据中心发布,以减少相关用户数据下载和处理的工作量。

国家青藏高原科学数据中心 收录

WideIRSTD Dataset

WideIRSTD数据集包含七个公开数据集:SIRST-V2、IRSTD-1K、IRDST、NUDT-SIRST、NUDT-SIRST-Sea、NUDT-MIRSDT、Anti-UAV,以及由国防科技大学团队开发的数据集,包括模拟陆基和太空基数据,以及真实手动标注的太空基数据。数据集包含具有各种目标形状(如点目标、斑点目标、扩展目标)、波长(如近红外、短波红外和热红外)、图像分辨率(如256、512、1024、3200等)的图像,以及不同的成像系统(如陆基、空基和太空基成像系统)。

github 收录

中国逐日格点降水数据集V2(1960–2024,0.1°)

CHM_PRE V2数据集是一套高精度的中国大陆逐日格点降水数据集。该数据集基于1960年至今共3476个观测站的长期日降水观测数据,并纳入11个降水相关变量,用于表征降水的相关性。数据集采用改进的反距离加权方法,并结合基于机器学习的LGBM算法构建。CHM_PRE V2与现有的格点降水数据集(包括CHM_PRE V1、GSMaP、IMERG、PERSIANN-CDR和GLDAS)表现出良好的时空一致性。数据集基于63,397个高密度自动雨量站2015–2019年的观测数据进行验证,发现该数据集显著提高了降水测量精度,降低了降水事件的高估,为水文建模和气候评估提供了可靠的基础。CHM_PRE V2 数据集提供分辨率为0.1°的逐日降水数据,覆盖整个中国大陆(18°N–54°N,72°E–136°E)。该数据集涵盖1960–2024年,并将每年持续更新。日值数据以NetCDF格式提供,为了方便用户,我们还提供NetCDF和GeoTIFF格式的年度和月度总降水数据。

国家青藏高原科学数据中心 收录

Global Elevation Data (GED)

全球高程数据集,提供全球范围内的高程信息,包括陆地和海洋地形。数据集包含高分辨率的高程数据,适用于地理信息系统(GIS)分析、地形建模和环境研究等领域。

lpdaac.usgs.gov 收录