haohaaorg/oasst1_shan_translation

该数据集包含多个特征字段，如消息ID、父消息ID、用户ID、创建日期、文本内容、角色、语言、审核次数、审核结果、是否删除、排名、是否合成、模型名称、毒性检测、消息树ID、树状态、表情符号和标签等。毒性检测字段进一步细分为身份攻击、侮辱、淫秽、严重毒性、性暗示、威胁和毒性等子字段。表情符号和标签字段也包含子字段，如数量、名称和值。数据集分为训练集和验证集两个部分，分别包含80917和3291个样本。The dataset includes various fields such as message ID, parent ID, user ID, creation date, text content, role, language, review count, review result, deletion status, rank, synthetic flag, model name, detoxification analysis, message tree ID, tree state, emojis, and labels. Each field has a specific data type, such as string, integer, boolean, and float. The dataset is divided into a training set and a validation set, containing 80917 and 3291 samples respectively.

原始信息汇总

数据集概述

数据集信息

特征

• message_id: 字符串类型
• parent_id: 字符串类型
• user_id: 字符串类型
• created_date: 字符串类型
• text: 字符串类型
• role: 字符串类型
• lang: 字符串类型
• review_count: 64位整数类型
• review_result: 布尔类型
• deleted: 布尔类型
• rank: 64位浮点数类型
• synthetic: 布尔类型
• model_name: null类型
• detoxify: 结构体类型
  • identity_attack: 64位浮点数类型
  • insult: 64位浮点数类型
  • obscene: 64位浮点数类型
  • severe_toxicity: 64位浮点数类型
  • sexual_explicit: 64位浮点数类型
  • threat: 64位浮点数类型
  • toxicity: 64位浮点数类型
• message_tree_id: 字符串类型
• tree_state: 字符串类型
• emojis: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
• labels: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
  • value: 序列化的64位浮点数类型

数据分割

• train:
  • 字节数: 128324939
  • 样本数: 80917
• validation:
  • 字节数: 5314678
  • 样本数: 3291

数据集大小

• 下载大小: 35248685 字节
• 数据集总大小: 133639617 字节

配置

• config_name: default
  • data_files:
    • train: data/train-*
    • validation: data/validation-*