UnderstandLing/oasst1_jap

---
license: apache-2.0
dataset_info:
features:
- name: message_id
dtype: string
- name: parent_id
dtype: string
- name: user_id
dtype: string
- name: created_date
dtype: string
- name: text
dtype: string
- name: role
dtype: string
- name: lang
dtype: string
- name: review_count
dtype: int64
- name: review_result
dtype: bool
- name: deleted
dtype: bool
- name: rank
dtype: float64
- name: synthetic
dtype: bool
- name: model_name
dtype: 'null'
- name: detoxify
struct:
- name: identity_attack
dtype: float64
- name: insult
dtype: float64
- name: obscene
dtype: float64
- name: severe_toxicity
dtype: float64
- name: sexual_explicit
dtype: float64
- name: threat
dtype: float64
- name: toxicity
dtype: float64
- name: message_tree_id
dtype: string
- name: tree_state
dtype: string
- name: emojis
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: labels
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: value
sequence: float64
splits:
- name: train
num_bytes: 77285662
num_examples: 80635
- name: validation
num_bytes: 3002876
num_examples: 3091
download_size: 23354432
dataset_size: 80288538
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

原始信息汇总

数据集概述

数据集信息

• 特征列表:
  • message_id: 字符串类型
  • parent_id: 字符串类型
  • user_id: 字符串类型
  • created_date: 字符串类型
  • text: 字符串类型
  • role: 字符串类型
  • lang: 字符串类型
  • review_count: 64位整数类型
  • review_result: 布尔类型
  • deleted: 布尔类型
  • rank: 64位浮点数类型
  • synthetic: 布尔类型
  • model_name: null类型
  • detoxify: 结构体类型，包含以下字段:
    • identity_attack: 64位浮点数类型
    • insult: 64位浮点数类型
    • obscene: 64位浮点数类型
    • severe_toxicity: 64位浮点数类型
    • sexual_explicit: 64位浮点数类型
    • threat: 64位浮点数类型
    • toxicity: 64位浮点数类型
  • message_tree_id: 字符串类型
  • tree_state: 字符串类型
  • emojis: 结构体类型，包含以下字段:
    • count: 序列化的64位整数类型
    • name: 序列化的字符串类型
  • labels: 结构体类型，包含以下字段:
    • count: 序列化的64位整数类型
    • name: 序列化的字符串类型
    • value: 序列化的64位浮点数类型

数据分割

• 训练集:
  • 字节数: 77285662
  • 样本数: 80635
• 验证集:
  • 字节数: 3002876
  • 样本数: 3091

数据集大小

• 下载大小: 23354432 字节
• 数据集大小: 80288538 字节

配置

• 默认配置:
  • 数据文件:
    • 训练集路径: data/train-*
    • 验证集路径: data/validation-*