xezpeleta/oasst2_eu

---
dataset_info:
features:
- name: message_id
dtype: string
- name: parent_id
dtype: string
- name: user_id
dtype: string
- name: created_date
dtype: string
- name: text
dtype: string
- name: role
dtype: string
- name: lang
dtype: string
- name: review_count
dtype: int64
- name: review_result
dtype: bool
- name: deleted
dtype: bool
- name: rank
dtype: float64
- name: synthetic
dtype: bool
- name: model_name
dtype: 'null'
- name: detoxify
struct:
- name: identity_attack
dtype: float64
- name: insult
dtype: float64
- name: obscene
dtype: float64
- name: severe_toxicity
dtype: float64
- name: sexual_explicit
dtype: float64
- name: threat
dtype: float64
- name: toxicity
dtype: float64
- name: message_tree_id
dtype: string
- name: tree_state
dtype: string
- name: emojis
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: labels
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: value
sequence: float64
splits:
- name: train
num_bytes: 127018436
num_examples: 125009
- name: validation
num_bytes: 4883575
num_examples: 4759
download_size: 43753635
dataset_size: 131902011
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

数据集信息：
特征字段：
- 字段名：消息ID（message_id），数据类型：字符串（string）
- 字段名：父消息ID（parent_id），数据类型：字符串（string）
- 字段名：用户ID（user_id），数据类型：字符串（string）
- 字段名：创建日期（created_date），数据类型：字符串（string）
- 字段名：文本内容（text），数据类型：字符串（string）
- 字段名：角色（role），数据类型：字符串（string）
- 字段名：语言（lang），数据类型：字符串（string）
- 字段名：审核次数（review_count），数据类型：64位整型（int64）
- 字段名：审核结果（review_result），数据类型：布尔型（bool）
- 字段名：已删除标记（deleted），数据类型：布尔型（bool）
- 字段名：排序分值（rank），数据类型：双精度浮点型（float64）
- 字段名：合成数据标记（synthetic），数据类型：布尔型（bool）
- 字段名：模型名称（model_name），数据类型：空值（null）
- 字段名：毒化检测（detoxify），结构体（struct）：
- 字段名：身份攻击分值（identity_attack），数据类型：双精度浮点型（float64）
- 字段名：侮辱性分值（insult），数据类型：双精度浮点型（float64）
- 字段名：淫秽内容分值（obscene），数据类型：双精度浮点型（float64）
- 字段名：严重毒性分值（severe_toxicity），数据类型：双精度浮点型（float64）
- 字段名：色情露骨内容分值（sexual_explicit），数据类型：双精度浮点型（float64）
- 字段名：威胁性分值（threat），数据类型：双精度浮点型（float64）
- 字段名：整体毒性分值（toxicity），数据类型：双精度浮点型（float64）
- 字段名：消息树ID（message_tree_id），数据类型：字符串（string）
- 字段名：消息树状态（tree_state），数据类型：字符串（string）
- 字段名：表情符号（emojis），结构体（struct）：
- 字段名：数量序列（count），序列（sequence）：64位整型（int64）
- 字段名：表情名称序列（name），序列（sequence）：字符串（string）
- 字段名：标签（labels），结构体（struct）：
- 字段名：标签计数序列（count），序列（sequence）：64位整型（int64）
- 字段名：标签名称序列（name），序列（sequence）：字符串（string）
- 字段名：标签值序列（value），序列（sequence）：双精度浮点型（float64）
数据划分集：
- 划分集名称：训练集（train），字节大小：127018436，样本数量：125009
- 划分集名称：验证集（validation），字节大小：4883575，样本数量：4759
下载体积：43753635
数据集总大小：131902011
配置项：
- 配置名称：default
数据文件：
- 划分集：训练集（train），文件路径：data/train-*
- 划分集：验证集（validation），文件路径：data/validation-*

原始信息汇总

数据集概述

特征信息

• message_id: 字符串类型
• parent_id: 字符串类型
• user_id: 字符串类型
• created_date: 字符串类型
• text: 字符串类型
• role: 字符串类型
• lang: 字符串类型
• review_count: 64位整数类型
• review_result: 布尔类型
• deleted: 布尔类型
• rank: 64位浮点数类型
• synthetic: 布尔类型
• model_name: null类型
• detoxify: 结构体类型
  • identity_attack: 64位浮点数类型
  • insult: 64位浮点数类型
  • obscene: 64位浮点数类型
  • severe_toxicity: 64位浮点数类型
  • sexual_explicit: 64位浮点数类型
  • threat: 64位浮点数类型
  • toxicity: 64位浮点数类型
• message_tree_id: 字符串类型
• tree_state: 字符串类型
• emojis: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
• labels: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
  • value: 序列化的64位浮点数类型

数据分割

• train:
  • 字节数: 127018436
  • 样本数: 125009
• validation:
  • 字节数: 4883575
  • 样本数: 4759

数据集大小

• 下载大小: 43753635
• 数据集大小: 131902011

配置信息

• config_name: default
  • data_files:
    • train: data/train-*
    • validation: data/validation-*