HAERAE-HUB/HAE-RAE-COT-1.5M

HAE-RAE-COT-1.5M数据集包含1,586,688个样本，每个样本包括问题及其对应的Chain of Thought (CoT)推理过程。该数据集主要由CoT-Collection的翻译样本组成，部分样本通过gpt-3.5-turbo API从韩语数据集中生成。CoT-Collection的翻译使用了NLLB 600M模型。据我们所知，HAE-RAE-COT-1.5M是当前最大的韩语CoT或指令数据集。

The HAE-RAE-COT-1.5M dataset contains 1,586,688 samples, each including a question and its corresponding Chain of Thought (CoT) reasoning process. This dataset is primarily composed of translated samples from CoT-Collection, with some samples generated from Korean datasets via the gpt-3.5-turbo API. The translation of CoT-Collection was performed using the NLLB 600M model. To the best of our knowledge, HAE-RAE-COT-1.5M is currently the largest Korean CoT or instruction dataset.

原始信息汇总

数据集概述

数据集名称

HAE-RAE-COT-1.5M

数据集描述

HAE-RAE-COT-1.5M 是一个包含 1,586,688 个样本的数据集，每个样本由问题和 CoT（Chain of Thought）推理过程组成。该数据集主要由 CoT-Collection 的样本翻译而来，部分样本来自韩国数据集，通过 gpt-3.5-turbo API 生成。CoT-Collection 的翻译使用了 NLLB 600M 模型。

数据集大小

• 下载大小：1053794527 字节
• 数据集大小：1789334780 字节

数据集结构

特征

• Task: 字符串类型
• Question: 字符串类型
• CoT_Rationale: 字符串类型
• index_level_0: 整数类型

分割

• 训练集 (train): 1586688 个样本

数据集来源

数据集名称	样本数量	占比	许可协议
CoT Collection	1,545,112	97.38%	非商业使用
LEAP_NLI	11,547	0.0072%	未知
squad_kor_v1	9,606	0.0061%	cc-by-nd-4.0
mwp_kor_v2	9,327	0.0059%	Apache License 2.0
KorWikiTQ	8,276	0.0052%	CC BY-SA 4.0
mwp_kor_v3	2,820	0.0018%	CC-BY-NC-SA 4.0
总计	1,586,688	100.00%

许可协议

HAE-RAE-COT-1.5M 仅用于非商业用途，并受 OpenAI 的生成数据使用条款限制。

联系信息

如有任何问题，请联系：[e-mail]

贡献者

• Baek Sang Won
• Guijin Son

搜集汇总

背景与挑战

背景概述

HAE-RAE-COT-1.5M是一个韩语链式思维（CoT）推理数据集，包含约158.7万条问题与推理原理的配对样本，主要用于自然语言处理任务。该数据集主要由CoT-Collection翻译而来，结合了部分韩语原生数据，通过NLLB 600M模型和GPT-3.5-turbo API处理，是目前韩语中规模最大的CoT数据集，但仅限非商业用途。