nayohan/Magpie-Pro-MT-300K-v0.1-ko

该数据集是一个韩语的文本生成任务数据集，包含多个特征如输入、输出、模型、生成输入配置、对话和唯一标识符。数据集是从Magpie-Align/Magpie-Pro-MT-300K-v0.1翻译而来，使用了nayohan/llama3-instrucTrans-enko-8b模型进行翻译。数据集是原始翻译数据，包含模型生成的重复句子，因此需要过滤。

This dataset is a raw translated dataset and contains repetitive sentences generated by the model, so it needs to be filtered. The dataset includes various features such as input and output texts, model information, generation input configurations, conversation records, and unique identifiers. It is divided into a training set with 300,000 samples and is primarily used for text generation tasks in Korean.

原始信息汇总

数据集概述

语言

• 韩语 (ko)

任务类别

• 文本生成 (text-generation)

数据集信息

特征

• input1: 字符串类型 (string)
• output1: 字符串类型 (string)
• input2: 字符串类型 (string)
• output2: 字符串类型 (string)
• model: 字符串类型 (string)
• gen_input_config: 结构类型
  • temperature: 浮点数类型 (float64)
  • top_p: 浮点数类型 (float64)
• conversations: 列表类型
  • from: 字符串类型 (string)
  • value: 字符串类型 (string)
• uuid: 字符串类型 (string)

数据分割

• train:
  • 字节数: 3617261192
  • 样本数: 300000

数据集大小

• 下载大小: 1857815558
• 数据集大小: 3617261192

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

标签

• instruction
• korean

其他信息

• 该数据集是原始翻译数据集，包含由模型生成的重复句子，需要进行过滤。