krx-llm-competition

该数据集是为KRX LLM竞赛设计的，包含多个配置，主要用于问答和多选题任务。数据集的特征包括参考文档、问题、选项、推理过程、答案等。数据集的语言为韩语，主题涉及金融和会计。数据集的来源包括多个参考文档，部分数据用于模型训练，部分数据被排除。

原始信息汇总

krx-llm-competition 数据集概述

数据集配置

配置 mcqa_excluded

• 特征:
  • reference: 字符串
  • question: 字符串
  • options: 字符串序列
  • reasoning_process: 字符串
  • answer: 字符串
  • step: 浮点数
  • hallucination: 字符串
  • hallucination_desc: 字符串
  • value: 整数
  • type: 字符串
• 分割:
  • train: 133875个样本，216091802字节
• 下载大小: 87661626字节
• 数据集大小: 216091802字节

配置 mcqa_train

• 特征:
  • reference: 字符串
  • question: 字符串
  • options: 字符串序列
  • reasoning_process: 字符串
  • answer: 字符串
  • step: 整数
  • value: 整数
  • type: 字符串
  • hallucination: 字符串
  • hallucination_desc: 字符串
• 分割:
  • train: 101801个样本，111949707字节
• 下载大小: 52388944字节
• 数据集大小: 111949707字节

配置 qa_excluded

• 特征:
  • reference: 字符串
  • question: 字符串
  • old_answer: 字符串
  • answer: 字符串
  • preference: 字符串
  • preference_desc: 字符串
  • value: 整数
  • type: 字符串
• 分割:
  • train: 98707个样本，397629214字节
• 下载大小: 185683695字节
• 数据集大小: 397629214字节

配置 qa_train

• 特征:
  • reference: 字符串
  • question: 字符串
  • old_answer: 字符串
  • answer: 字符串
  • preference: 字符串
  • preference_desc: 字符串
  • value: 整数
  • type: 字符串
• 分割:
  • train: 61469个样本，216700934字节
• 下载大小: 103489474字节
• 数据集大小: 216700934字节

配置 validation

• 特征:
  • seq: 字符串
  • question: 字符串
  • options: 字符串序列
  • reasoning_process: 字符串
  • answer: 字符串
  • valid_type_index: 字符串
  • n_options: 字符串
  • type: 字符串
• 分割:
  • train: 112个样本，97303字节
• 下载大小: 51484字节
• 数据集大小: 97303字节

数据集文件

• mcqa_excluded: train 分割，路径为 mcqa_excluded/train-*
• mcqa_train: train 分割，路径为 mcqa_train/train-*
• qa_excluded: train 分割，路径为 qa_excluded/train-*
• qa_train: train 分割，路径为 qa_train/train-*
• validation: train 分割，路径为 validation/train-*

许可证

• Apache 2.0

任务类别

• 问答
• 多选题

语言

• 韩语

标签

• 金融
• 会计

数据集大小类别

• 100K < n < 1M

搜集汇总

数据集介绍

构建方式

krx-llm-competition数据集的构建基于多种金融和会计领域的参考文献，包括韩国金融市场的法规、经济术语、财务报告等。数据集通过精心筛选和标注，确保了数据的质量和多样性。具体而言，数据集分为多个配置（config），如mcqa_train、mcqa_excluded、qa_train和qa_excluded，每个配置包含不同的特征和标注信息，如问题、选项、推理过程、答案等。这些数据通过严格的预处理和质量控制，确保了其在模型训练中的有效性和可靠性。

特点

该数据集的主要特点在于其专注于金融和会计领域的问答和多选题任务，涵盖了丰富的参考文献和详细的标注信息。数据集中的每个样本都包含了问题的推理过程、答案的生成依据以及幻觉（hallucination）评估结果，这为模型的训练和评估提供了全面的参考。此外，数据集还区分了训练和排除的数据，使得研究者可以根据具体需求选择合适的数据子集进行实验。

使用方法

使用krx-llm-competition数据集时，研究者可以根据任务需求选择不同的配置，如mcqa_train或qa_train，进行模型训练。数据集提供了详细的特征字段，包括问题、选项、推理过程、答案等，便于模型理解和学习。对于多选题任务，研究者可以利用options字段进行多选题的生成和评估；对于问答任务，可以通过preference字段进行答案的偏好选择。此外，数据集还提供了幻觉评估结果，帮助研究者识别和处理模型生成的错误信息。

背景与挑战

背景概述

krx-llm-competition数据集是由shibainu24模型在KRX LLM竞赛中获得优异成绩后发布的，主要用于金融和会计领域的问答与多选题任务。该数据集由多个配置组成，包括mcqa_train、mcqa_excluded、qa_train和qa_excluded等，涵盖了从训练到验证的不同阶段。数据集的构建基于多种参考文献，如韩国银行的经济金融术语、KRX的规章制度等，旨在为模型提供丰富的金融和会计知识背景。通过这些数据，模型能够在复杂的金融环境中进行准确的推理和回答，推动了金融领域自然语言处理技术的发展。

当前挑战

krx-llm-competition数据集在构建过程中面临多项挑战。首先，金融和会计领域的术语和规则复杂多样，不同国家和地区的标准差异较大，导致数据集的构建需要进行精细的筛选和处理。其次，数据集中涉及的hallucination问题，即模型生成的答案与实际信息不符的情况，需要通过详细的评估和描述来确保数据质量。此外，数据集的多样性和覆盖范围也是一个挑战，如何在有限的资源下尽可能涵盖更多的金融场景和问题类型，是数据集设计中的重要考量。

常用场景

经典使用场景

krx-llm-competition数据集在金融和会计领域中被广泛应用于多选题问答（MCQA）和问答（QA）任务。其经典使用场景包括通过提供详细的参考文档、问题、选项和推理过程，训练模型进行准确的金融知识问答。此外，数据集还包含对模型生成的答案进行幻觉（hallucination）评估的特征，帮助模型在生成答案时避免不准确或误导性的信息。

实际应用

在实际应用中，krx-llm-competition数据集可用于开发和优化金融咨询系统、会计审计辅助工具以及金融教育平台。通过训练模型处理复杂的金融问题，这些系统能够为用户提供更准确、可靠的答案，从而提升用户体验和决策效率。此外，数据集的幻觉评估功能也有助于减少模型在实际应用中的错误率。

衍生相关工作

基于krx-llm-competition数据集，研究者们开发了多种金融领域的语言模型，并在多个国际竞赛中取得了优异成绩。例如，shibainu24模型在KRX LLM竞赛中获得了优异奖项，展示了该数据集在训练高性能金融问答模型方面的潜力。此外，该数据集还启发了其他相关研究，如金融文本生成、金融知识图谱构建等，进一步推动了金融科技领域的发展。