OpenLongCoT-150K

该数据集包含四个主要部分：critic、expansion、expansionwithcritic和refinewithoutcritic。每个部分都有其特定的数据文件路径和示例数量。数据集主要由问题和答案组成，分别存储在'question'和'answer'字段中。数据集的大小和下载大小也在README中明确指出。

原始信息汇总

OpenLongCoT-150K 数据集概述

数据集信息

• 许可证: MIT
• 特征:
  • question: 类型为 string
  • answer: 类型为 string
• 分割:
  • critic: 包含 93101 个样本，占用 274630587 字节
  • expansion: 包含 141332 个样本，占用 500063315 字节
  • expansionwithcritic: 包含 84694 个样本，占用 246096435 字节
  • refinewithoutcritic: 包含 484395 个样本，占用 1071027885 字节
• 下载大小: 259618341 字节
• 数据集大小: 2091818222 字节

配置

• 配置名称: default
• 数据文件:
  • critic: data/critic-*
  • expansion: data/expansion-*
  • expansionwithcritic: data/expansionwithcritic-*
  • refinewithoutcritic: data/refinewithoutcritic-*

引用

@article{zhang2024llama, title={LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning}, author={Zhang, Di and Wu, Jianbo and Lei, Jingdi and Che, Tong and Li, Jiatong and Xie, Tong and Huang, Xiaoshui and Zhang, Shufei and Pavone, Marco and Li, Yuqiang and others}, journal={arXiv preprint arXiv:2410.02884}, year={2024} }

@article{zhang2024accessing, title={Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B}, author={Zhang, Di and Li, Jiatong and Huang, Xiaoshui and Zhou, Dongzhan and Li, Yuqiang and Ouyang, Wanli}, journal={arXiv preprint arXiv:2406.07394}, year={2024} }

搜集汇总

数据集介绍

构建方式

OpenLongCoT-150K数据集的构建基于大规模数学推理任务，通过多阶段优化策略生成高质量的问题-答案对。数据集的核心构建过程包括问题生成、答案推导以及多轮自我优化。具体而言，问题部分来源于数学竞赛级别的复杂题目，答案部分则通过蒙特卡洛树搜索和自我优化算法进行精细化处理，确保其准确性和逻辑严谨性。数据集的四个子集分别针对不同的优化策略进行划分，涵盖了批判性推理、扩展推理以及无批判性优化等多种场景。

特点

OpenLongCoT-150K数据集以其大规模和高复杂性著称，包含超过15万条数学推理问题-答案对。其显著特点在于问题的高难度和答案的深度优化，特别适合用于训练和评估高级数学推理模型。数据集的四个子集分别针对不同的推理场景，提供了多样化的训练和测试资源。此外，数据集的构建过程严格遵循科学方法，确保了数据的可靠性和逻辑一致性，为研究复杂数学推理提供了坚实的基础。

使用方法

OpenLongCoT-150K数据集的使用方法灵活多样，适用于多种数学推理任务的研究和开发。用户可以通过加载不同的子集，针对特定场景进行模型训练和评估。例如，critic子集可用于训练批判性推理能力，而expansion子集则适合扩展推理能力的开发。数据集的格式简洁明了，每条数据包含问题和答案两个字段，便于直接输入模型进行处理。此外，数据集的开源许可允许用户自由使用和修改，为学术研究和工业应用提供了极大的便利。

背景与挑战

背景概述

OpenLongCoT-150K数据集由Zhang Di等研究人员于2024年发布，旨在推动大规模语言模型在数学推理领域的发展。该数据集的核心研究问题聚焦于如何通过链式思维（Chain-of-Thought, CoT）方法提升模型在复杂数学问题上的推理能力，特别是针对奥林匹克数学竞赛级别的难题。数据集的设计基于LLaMA-Berry和LLaMA-3 8B等先进模型的研究成果，通过蒙特卡洛树自优化技术生成高质量的问题与答案对。OpenLongCoT-150K的发布为数学推理领域的研究提供了重要的数据支持，推动了模型在复杂逻辑推理任务中的性能提升。

当前挑战

OpenLongCoT-150K数据集在解决数学推理问题时面临多重挑战。首先，生成高质量的链式思维推理过程需要模型具备极高的逻辑严谨性和数学知识储备，这对数据集的构建提出了极高的要求。其次，数据集的规模庞大，包含超过15万条问题与答案对，如何确保数据的多样性和准确性成为构建过程中的关键难题。此外，数据集的标注和验证过程需要大量的人工干预，以确保推理过程的正确性和完整性。这些挑战不仅体现在数据集的构建过程中，也对后续模型训练和评估提出了更高的要求。

常用场景

经典使用场景

OpenLongCoT-150K数据集在数学推理领域具有广泛的应用，特别是在解决复杂的数学问题时，该数据集通过提供大量的问答对，帮助研究人员训练和优化模型，使其能够更好地理解和生成数学推理过程。数据集中的问题涵盖了从基础到高级的数学知识，适用于多种数学推理任务。

解决学术问题

OpenLongCoT-150K数据集解决了数学推理模型在复杂问题上的表现不佳问题。通过提供丰富的问答对，数据集帮助研究人员优化模型，使其能够更准确地理解和生成数学推理过程。这对于提升模型在数学竞赛和高级数学问题上的表现具有重要意义。

衍生相关工作

基于OpenLongCoT-150K数据集，研究人员开发了多项经典工作，如LLaMA-Berry和GPT-4级别的数学奥林匹克解题系统。这些工作通过优化模型和引入新的推理方法，显著提升了模型在复杂数学问题上的表现，推动了数学推理领域的研究进展。