integer32/oasst1-et

该数据集包含了一系列的消息数据，每条消息都有唯一的消息ID、父消息ID、用户ID、创建日期、文本内容、角色、语言、评论数量、评论结果、删除状态、排名、合成标志、模型名称、毒性分析、消息树ID、树状态、表情符号和标签等特征。数据集分为训练集和验证集，训练集包含80824个样本，验证集包含3216个样本。

This dataset contains a series of message data, each with unique message ID, parent message ID, user ID, creation date, text content, role, language, review count, review result, deletion status, rank, synthetic flag, model name, toxicity analysis, message tree ID, tree state, emojis, and labels. The dataset is divided into a training set and a validation set, with 80,824 samples in the training set and 3,216 samples in the validation set.

原始信息汇总

数据集概述

数据集信息

特征

• message_id: 字符串类型
• parent_id: 字符串类型
• user_id: 字符串类型
• created_date: 字符串类型
• text: 字符串类型
• role: 字符串类型
• lang: 字符串类型
• review_count: 64位整数类型
• review_result: 布尔类型
• deleted: 布尔类型
• rank: 64位浮点数类型
• synthetic: 布尔类型
• model_name: null类型
• detoxify: 结构体类型
  • identity_attack: 64位浮点数类型
  • insult: 64位浮点数类型
  • obscene: 64位浮点数类型
  • severe_toxicity: 64位浮点数类型
  • sexual_explicit: 64位浮点数类型
  • threat: 64位浮点数类型
  • toxicity: 64位浮点数类型
• message_tree_id: 字符串类型
• tree_state: 字符串类型
• emojis: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
• labels: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
  • value: 序列化的64位浮点数类型

数据分割

• validation:
  • 字节数: 4008293
  • 样本数: 3216
• train:
  • 字节数: 97261934
  • 样本数: 80824

数据集大小

• 下载大小: 38200792 字节
• 数据集总大小: 101270227 字节

配置

• config_name: default
  • data_files:
    • validation: data/validation-*
    • train: data/train-*