wentingzhao/entities

Name: wentingzhao/entities
Creator: wentingzhao
Published: 2024-05-24 07:24:27
License: 暂无描述

Hugging Face2024-05-24 更新2024-06-12 收录

下载链接：

https://hf-mirror.com/datasets/wentingzhao/entities

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: conversation_hash dtype: string - name: model dtype: string - name: timestamp dtype: timestamp[us, tz=UTC] - name: conversation list: - name: content dtype: string - name: country dtype: string - name: hashed_ip dtype: string - name: header struct: - name: accept-language dtype: string - name: user-agent dtype: string - name: language dtype: string - name: redacted dtype: bool - name: role dtype: string - name: state dtype: string - name: timestamp dtype: timestamp[us, tz=UTC] - name: toxic dtype: bool - name: turn_identifier dtype: int64 - name: turn dtype: int64 - name: language dtype: string - name: openai_moderation list: - name: categories struct: - name: harassment dtype: bool - name: harassment/threatening dtype: bool - name: harassment_threatening dtype: bool - name: hate dtype: bool - name: hate/threatening dtype: bool - name: hate_threatening dtype: bool - name: self-harm dtype: bool - name: self-harm/instructions dtype: bool - name: self-harm/intent dtype: bool - name: self_harm dtype: bool - name: self_harm_instructions dtype: bool - name: self_harm_intent dtype: bool - name: sexual dtype: bool - name: sexual/minors dtype: bool - name: sexual_minors dtype: bool - name: violence dtype: bool - name: violence/graphic dtype: bool - name: violence_graphic dtype: bool - name: category_scores struct: - name: harassment dtype: float64 - name: harassment/threatening dtype: float64 - name: harassment_threatening dtype: float64 - name: hate dtype: float64 - name: hate/threatening dtype: float64 - name: hate_threatening dtype: float64 - name: self-harm dtype: float64 - name: self-harm/instructions dtype: float64 - name: self-harm/intent dtype: float64 - name: self_harm dtype: float64 - name: self_harm_instructions dtype: float64 - name: self_harm_intent dtype: float64 - name: sexual dtype: float64 - name: sexual/minors dtype: float64 - name: sexual_minors dtype: float64 - name: violence dtype: float64 - name: violence/graphic dtype: float64 - name: violence_graphic dtype: float64 - name: flagged dtype: bool - name: detoxify_moderation list: - name: identity_attack dtype: float64 - name: insult dtype: float64 - name: obscene dtype: float64 - name: severe_toxicity dtype: float64 - name: sexual_explicit dtype: float64 - name: threat dtype: float64 - name: toxicity dtype: float64 - name: toxic dtype: bool - name: redacted dtype: bool - name: state dtype: string - name: country dtype: string - name: hashed_ip dtype: string - name: header struct: - name: accept-language dtype: string - name: user-agent dtype: string - name: entities sequence: string splits: - name: train num_bytes: 4016255933 num_examples: 481268 download_size: 1882986167 dataset_size: 4016255933 configs: - config_name: default data_files: - split: train path: data/train-* ---

数据集信息：特征字段： - 字段名：conversation_hash，数据类型为字符串 - 字段名：model，数据类型为字符串 - 字段名：timestamp，数据类型为微秒精度、时区为协调世界时（UTC）的时间戳 - 字段名：conversation，类型为列表，列表元素包含以下字段： - 字段名：content，数据类型为字符串 - 字段名：country，数据类型为字符串 - 字段名：hashed_ip，数据类型为字符串 - 字段名：header，类型为结构体，包含： - 字段名：accept-language，数据类型为字符串 - 字段名：user-agent，数据类型为字符串 - 字段名：language，数据类型为字符串 - 字段名：redacted（已脱敏），数据类型为布尔值 - 字段名：role，数据类型为字符串 - 字段名：state，数据类型为字符串 - 字段名：timestamp，数据类型为微秒精度、时区为协调世界时（UTC）的时间戳 - 字段名：toxic（毒性标识），数据类型为布尔值 - 字段名：turn_identifier，数据类型为64位整数 - 字段名：turn，数据类型为64位整数 - 字段名：language，数据类型为字符串 - 字段名：openai_moderation（OpenAI内容审核），类型为列表，列表元素包含： - 字段名：categories（分类标签），类型为结构体，包含： - 字段名：harassment（骚扰），数据类型为布尔值 - 字段名：harassment/threatening（骚扰/威胁），数据类型为布尔值 - 字段名：harassment_threatening（骚扰威胁），数据类型为布尔值 - 字段名：hate（仇恨），数据类型为布尔值 - 字段名：hate/threatening（仇恨/威胁），数据类型为布尔值 - 字段名：hate_threatening（仇恨威胁），数据类型为布尔值 - 字段名：self-harm（自残），数据类型为布尔值 - 字段名：self-harm/instructions（自残指令），数据类型为布尔值 - 字段名：self-harm/intent（自残意图），数据类型为布尔值 - 字段名：self_harm（自残），数据类型为布尔值 - 字段名：self_harm_instructions（自残指令），数据类型为布尔值 - 字段名：self_harm_intent（自残意图），数据类型为布尔值 - 字段名：sexual（色情），数据类型为布尔值 - 字段名：sexual/minors（色情/未成年人），数据类型为布尔值 - 字段名：sexual_minors（色情未成年人），数据类型为布尔值 - 字段名：violence（暴力），数据类型为布尔值 - 字段名：violence/graphic（暴力/图形），数据类型为布尔值 - 字段名：violence_graphic（暴力图形），数据类型为布尔值 - 字段名：category_scores（分类得分），类型为结构体，包含： - 字段名：harassment（骚扰），数据类型为双精度浮点数 - 字段名：harassment/threatening（骚扰/威胁），数据类型为双精度浮点数 - 字段名：harassment_threatening（骚扰威胁），数据类型为双精度浮点数 - 字段名：hate（仇恨），数据类型为双精度浮点数 - 字段名：hate/threatening（仇恨/威胁），数据类型为双精度浮点数 - 字段名：hate_threatening（仇恨威胁），数据类型为双精度浮点数 - 字段名：self-harm（自残），数据类型为双精度浮点数 - 字段名：self-harm/instructions（自残指令），数据类型为双精度浮点数 - 字段名：self-harm/intent（自残意图），数据类型为双精度浮点数 - 字段名：self_harm（自残），数据类型为双精度浮点数 - 字段名：self_harm_instructions（自残指令），数据类型为双精度浮点数 - 字段名：self_harm_intent（自残意图），数据类型为双精度浮点数 - 字段名：sexual（色情），数据类型为双精度浮点数 - 字段名：sexual/minors（色情/未成年人），数据类型为双精度浮点数 - 字段名：sexual_minors（色情未成年人），数据类型为双精度浮点数 - 字段名：violence（暴力），数据类型为双精度浮点数 - 字段名：violence/graphic（暴力/图形），数据类型为双精度浮点数 - 字段名：violence_graphic（暴力图形），数据类型为双精度浮点数 - 字段名：flagged（标记标识），数据类型为布尔值 - 字段名：detoxify_moderation（Detoxify内容审核），类型为列表，列表元素包含： - 字段名：identity_attack（身份攻击），数据类型为双精度浮点数 - 字段名：insult（侮辱），数据类型为双精度浮点数 - 字段名：obscene（淫秽），数据类型为双精度浮点数 - 字段名：severe_toxicity（严重毒性），数据类型为双精度浮点数 - 字段名：sexual_explicit（露骨性内容），数据类型为双精度浮点数 - 字段名：threat（威胁），数据类型为双精度浮点数 - 字段名：toxicity（毒性），数据类型为双精度浮点数 - 字段名：toxic（毒性标识），数据类型为布尔值 - 字段名：redacted（已脱敏），数据类型为布尔值 - 字段名：state（状态），数据类型为字符串 - 字段名：country（国家），数据类型为字符串 - 字段名：hashed_ip（哈希IP），数据类型为字符串 - 字段名：header（请求头），类型为结构体，包含： - 字段名：accept-language（接受语言），数据类型为字符串 - 字段名：user-agent（用户代理），数据类型为字符串 - 字段名：entities（实体），类型为字符串序列划分集： - 划分名称：train（训练集），字节大小为4016255933，样本数量为481268 下载大小：1882986167 数据集总大小：4016255933 配置项： - 配置名称：default（默认配置），数据文件： - 划分集：train（训练集），路径：data/train-*

提供机构：

wentingzhao

原始信息汇总

数据集概述

数据集特征

主要特征

conversation_hash: 字符串类型
model: 字符串类型
timestamp: 时间戳类型，单位为微秒，时区为UTC
turn: 整数类型，64位
language: 字符串类型
openai_moderation: 列表类型，包含多个结构化数据
- categories: 结构类型，包含多个布尔类型字段，如harassment, hate, self-harm, sexual, violence等
- category_scores: 结构类型，包含多个浮点类型字段，对应于categories中的每个类别
- flagged: 布尔类型
detoxify_moderation: 列表类型，包含多个浮点类型字段，如identity_attack, insult, obscene, severe_toxicity, sexual_explicit, threat, toxicity
toxic: 布尔类型
redacted: 布尔类型
state: 字符串类型
country: 字符串类型
hashed_ip: 字符串类型
header: 结构类型，包含accept-language和user-agent，均为字符串类型

对话特征

conversation: 列表类型
- content: 字符串类型
- country: 字符串类型
- hashed_ip: 字符串类型
- header: 结构类型，包含accept-language和user-agent，均为字符串类型
- language: 字符串类型
- redacted: 布尔类型
- role: 字符串类型
- state: 字符串类型
- timestamp: 时间戳类型，单位为微秒，时区为UTC
- toxic: 布尔类型
- turn_identifier: 整数类型，64位

数据集划分

train: 训练集
- num_bytes: 4016255933字节
- num_examples: 481268个样本

数据集大小

download_size: 1882986167字节
dataset_size: 4016255933字节

搜集汇总

数据集介绍

构建方式

在人工智能对话安全性与内容审核领域，高质量的数据集是模型训练与评估的基石。wentingzhao/entities数据集源自对大规模多轮对话数据的系统性采集与精炼，其构建过程融合了多层次的安全检测机制。原始对话数据经由OpenAI的Moderation API与Detoxify工具进行双重毒性标注，涵盖骚扰、仇恨言论、自残、色情、暴力等多元有害类别，并生成细粒度的类别分数。同时，数据集记录对话的地理位置、语言、用户代理等元信息，并基于对话内容提取命名实体，形成结构化的实体序列。最终，所有数据被整合为统一的训练集，包含超过48万条对话记录，为后续研究提供了丰富且标注完备的素材。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集，指定default配置即可获取完整的训练集。数据以JSON格式组织，每条记录包含对话唯一标识、模型来源、时间戳以及完整的对话轮次列表。在应用层面，该数据集适用于多类任务：可直接用于训练对话毒性分类器，利用OpenAI与Detoxify的标注作为监督信号；也可基于实体字段开发实体级别的安全过滤系统，识别特定实体引发的有害内容。同时，元信息字段支持进行地域化、语言化的安全分析实验。建议使用者根据具体任务需求，对数据集进行必要的预处理，如文本清洗、实体向量化或毒性标签的聚合转换，以期获得最佳模型性能。

背景与挑战

背景概述

在大型语言模型（LLM）安全性与对齐研究日益受到重视的背景下，wentingzhao/entities数据集应运而生。该数据集由研究团队于2023年构建，旨在系统性地捕捉与标注人机对话中涉及的有毒内容、实体信息及用户元数据（如地理位置、语言偏好等）。其核心研究问题聚焦于如何从多维度（包括OpenAI审核分类、Detoxify评分、用户行为特征）刻画对话中的有害言论，从而为模型的安全微调与风险评估提供结构化数据支撑。作为首个公开的、融合了实体抽取与毒性标注的高质量对话数据集，它填补了LLM在实际部署中面临的地域化与语境化安全挑战的数据空白，对推动语言模型的负责任发展具有里程碑式的影响。

当前挑战

该数据集面临的核心挑战在于多源毒性标注的异构性与一致性。数据集同时整合了OpenAI审核API的细粒度分类（如性侵、暴力、自残等18个子类）与Detoxify的连续评分（如身份攻击、侮辱等7个维度），但不同工具对同一内容的判定阈值与语义边界存在显著差异，导致标注噪声与标签冲突。此外，构建过程中需处理用户隐私与数据红action（redacted字段）的伦理平衡，如何在保留对话上下文的同时匿名化敏感信息（如IP哈希、国家/地区）是一项技术难题。更深远地，实体识别（entities字段）的覆盖范围与毒性内容的动态演化——例如新出现的仇恨言论变体——使得数据集难以持续适配现实世界中的语言滥用模式，亟需引入自适应标注机制与跨语言扩展策略。

常用场景

经典使用场景

在对话安全与内容审核领域，wentingzhao/entities数据集凭借其精细的实体标注与多维度的毒性检测标签，成为训练和评估对话系统中有害内容识别模型的经典基准。该数据集收录了近五十万条真实用户与AI模型的对话记录，每条数据不仅包含对话轮次、用户地理位置与语言偏好等上下文信息，还经由OpenAI审核与Detoxify工具双重标注，给出了涵盖骚扰、仇恨言论、性内容、暴力等十余种类别的毒性评分与标志。研究者可基于此构建能够精准定位对话中具体毒性实体（如特定侮辱性词汇或威胁性短语）的模型，从而实现对有害内容的细粒度识别与过滤。

解决学术问题

该数据集有效回应了对话安全研究中长期存在的两大难题：一是缺乏大规模、多语言、带实体级标注的真实对话数据，二是现有毒性检测方法往往仅能判定整段文本的有害性，却难以定位引发问题的具体实体。wentingzhao/entities通过提供对话中明确的实体序列（entities字段）与逐轮的毒性标志，使学术界得以深入探究有害内容在对话中的分布规律与传播机制。基于此数据，研究者能够开发出可解释性更强的毒性检测算法，揭示语言模型在何种语境下更容易生成或诱导有害内容，进而推动安全AI的理论构建与评估范式革新。

实际应用

在实际应用中，wentingzhao/entities数据集为各大互联网平台的内容安全系统提供了关键支撑。社交媒体、在线客服、教育辅导等场景中部署的AI对话系统，可借助基于该数据集训练的模型实时拦截包含仇恨言论、性骚扰或暴力煽动的用户输入与AI回复。数据集中的地理与语言标签还助力构建适应不同地区法规与文化的本地化审核策略，例如针对特定国家或语言的高危实体进行重点过滤。此外，数据集所包含的OpenAI与Detoxify双重审核结果，为平台提供了可对比的基准，帮助运营团队在误报率与召回率之间取得平衡，从而在保障言论自由的同时有效遏制网络暴力。

数据集最近研究