kyujinpy/Ko-various-dataset

该数据集包含了来自kyujinpy/KOR-OpenOrca-Platypus-v3的数据，以及从skt/kobest_v1数据集中提取的COPA和Hellaswag数据，这些数据被转换为instruction-output格式。数据集的特征包括id、input、output和instruction。预处理步骤包括使用正则表达式去除非韩语和英语的字符、移除过短的输出以及尽可能去除翻译任务。

This dataset comprises data from the repository kyujinpy/KOR-OpenOrca-Platypus-v3, alongside COPA and Hellaswag samples extracted from the skt/kobest_v1 dataset. All incorporated data have been converted into the instruction-output format. The dataset includes fields such as id, input, output, and instruction. Preprocessing procedures include removing non-Korean and non-English characters via regular expressions, filtering out overly short outputs, and eliminating translation tasks as much as possible.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-nc-sa-4.0
• 配置:
  • 默认配置:
    • 数据文件:
      • 训练集: data/train-*

数据集特征

• 特征:
  • id: 字符串类型
  • input: 字符串类型
  • output: 字符串类型
  • instruction: 字符串类型

数据集统计

• 训练集:
  • 文件大小: 57552968字节
  • 样本数量: 38174个
• 下载大小: 29047684字节
• 数据集总大小: 57552968字节

数据处理

• 使用正则表达式去除非韩语和非英语的多种外语、表情符号、特殊字符等。
• 移除输出答案过短的样本。
• 尽可能移除翻译任务相关的数据。