kyujinpy/KOR-gugugu-platypus-set

数据集KOR-gugugu-platypus-set包含训练集，特征包括id、input、output和instruction。预处理步骤涉及使用正则表达式去除非韩语和英语的字符、表情符号和特殊字符，并尽可能去除翻译任务。数据集来源于[gugugu-ko](https://huggingface.co/datasets/squarelike/OpenOrca-gugugo-ko)的GPT4翻译结果，并从中采样了约20k条数据。

原始信息汇总

数据集卡片 "KOR-gugugu-platypus-set"

数据集配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

数据集信息

• 特征:
  • 名称: id
    • 数据类型: string
  • 名称: input
    • 数据类型: string
  • 名称: output
    • 数据类型: string
  • 名称: instruction
    • 数据类型: string
• 分割:
  • 名称: train
    • 字节数: 79087758
    • 样本数: 51170
• 下载大小: 39384183
• 数据集大小: 79087758

预处理

• 使用正则表达式去除韩语及英语以外的多种外语、表情符号、特殊字符等。
• 尽可能去除翻译任务数据（翻译任务若翻译成韩语几乎100%错误）。
• 从gugugu-ko的GPT4翻译结果中采样约20k数据。
• 在使用本数据集创建模型或数据集时，简单的出处标注将对研究有很大帮助。