UnderstandLing/oasst1_it

--- license: apache-2.0 dataset_info: features: - name: message_id dtype: string - name: parent_id dtype: string - name: user_id dtype: string - name: created_date dtype: string - name: text dtype: string - name: role dtype: string - name: lang dtype: string - name: review_count dtype: int64 - name: review_result dtype: bool - name: deleted dtype: bool - name: rank dtype: float64 - name: synthetic dtype: bool - name: model_name dtype: 'null' - name: detoxify struct: - name: identity_attack dtype: float64 - name: insult dtype: float64 - name: obscene dtype: float64 - name: severe_toxicity dtype: float64 - name: sexual_explicit dtype: float64 - name: threat dtype: float64 - name: toxicity dtype: float64 - name: message_tree_id dtype: string - name: tree_state dtype: string - name: emojis struct: - name: count sequence: int64 - name: name sequence: string - name: labels struct: - name: count sequence: int64 - name: name sequence: string - name: value sequence: float64 splits: - name: train num_bytes: 90679762 num_examples: 84433 - name: validation num_bytes: 4742607 num_examples: 4400 download_size: 33292993 dataset_size: 95422369 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* ---许可证：apache-2.0 数据集信息： 特征字段： - 名称：message_id（消息ID），数据类型：字符串 - 名称：parent_id（父消息ID），数据类型：字符串 - 名称：user_id（用户ID），数据类型：字符串 - 名称：created_date（创建日期），数据类型：字符串 - 名称：text（文本内容），数据类型：字符串 - 名称：role（角色），数据类型：字符串 - 名称：lang（语言），数据类型：字符串 - 名称：review_count（审核次数），数据类型：64位整数 - 名称：review_result（审核结果），数据类型：布尔值 - 名称：deleted（已删除标记），数据类型：布尔值 - 名称：rank（排序分值），数据类型：64位浮点数 - 名称：synthetic（合成数据标记），数据类型：布尔值 - 名称：model_name（模型名称），数据类型：空值（null） - 名称：detoxify（毒理性检测模块），结构体： - 名称：identity_attack（身份攻击），数据类型：64位浮点数 - 名称：insult（侮辱性内容），数据类型：64位浮点数 - 名称：obscene（淫秽内容），数据类型：64位浮点数 - 名称：severe_toxicity（重度毒性），数据类型：64位浮点数 - 名称：sexual_explicit（露骨性内容），数据类型：64位浮点数 - 名称：threat（威胁内容），数据类型：64位浮点数 - 名称：toxicity（毒性程度），数据类型：64位浮点数 - 名称：message_tree_id（消息树ID），数据类型：字符串 - 名称：tree_state（树状态），数据类型：字符串 - 名称：emojis（表情符号），结构体： - 名称：count（计数），数据类型：整数序列 - 名称：name（名称），数据类型：字符串序列 - 名称：labels（标签），结构体： - 名称：count（计数），数据类型：整数序列 - 名称：name（名称），数据类型：字符串序列 - 名称：value（数值），数据类型：64位浮点数序列 划分集： - 名称：train（训练集），字节数：90679762，样本数：84433 - 名称：validation（验证集），字节数：4742607，样本数：4400 下载大小：33292993 数据集总大小：95422369 配置项： - 配置名称：default（默认配置），数据文件： - 划分集：train（训练集），路径：data/train-* - 划分集：validation（验证集），路径：data/validation-*

原始信息汇总

数据集概述

数据集信息

• 特征列表：
  • message_id: 字符串类型
  • parent_id: 字符串类型
  • user_id: 字符串类型
  • created_date: 字符串类型
  • text: 字符串类型
  • role: 字符串类型
  • lang: 字符串类型
  • review_count: 64位整数类型
  • review_result: 布尔类型
  • deleted: 布尔类型
  • rank: 64位浮点数类型
  • synthetic: 布尔类型
  • model_name: 空类型
  • detoxify: 结构体类型，包含以下字段：
    • identity_attack: 64位浮点数类型
    • insult: 64位浮点数类型
    • obscene: 64位浮点数类型
    • severe_toxicity: 64位浮点数类型
    • sexual_explicit: 64位浮点数类型
    • threat: 64位浮点数类型
    • toxicity: 64位浮点数类型
  • message_tree_id: 字符串类型
  • tree_state: 字符串类型
  • emojis: 结构体类型，包含以下字段：
    • count: 序列化的64位整数类型
    • name: 序列化的字符串类型
  • labels: 结构体类型，包含以下字段：
    • count: 序列化的64位整数类型
    • name: 序列化的字符串类型
    • value: 序列化的64位浮点数类型

数据分割

• 训练集：
  • 字节数：90679762
  • 样本数：84433
• 验证集：
  • 字节数：4742607
  • 样本数：4400

数据集大小

• 下载大小：33292993字节
• 数据集大小：95422369字节

配置

• 默认配置：
  • 训练集路径：data/train-*
  • 验证集路径：data/validation-*