falcon_gsm8k_generated_texts_verify_claims_deepseek_balanced_3000

该数据集是一个结构化对话问答数据集，包含问题、答案、回复文本以及用于可解释性分析和验证的辅助字段。数据字段包括：question（用户提出的问题）、answer（提供的答案）、reply（系统或用户的回复文本）、input_ids（文本的token序列）、claims（由claim_text、sentence和aligned_token_ids组成的列表，用于细粒度声明分析）、verified（验证标签列表）和uncertainty_labels（不确定性标签列表）。数据集划分为训练集（2100个样本）、验证集（450个样本）和测试集（450个样本），总下载大小约为34.4MB，解压后大小约为46.4MB。该数据集适用于对话生成模型训练、答案真实性验证、不确定性量化以及可解释人工智能（XAI）任务，支持对模型输出进行声明级对齐和可信度评估。

This dataset is a structured dialogue question-answering dataset, containing questions, answers, reply texts, and auxiliary fields for explainability analysis and verification. Data fields include: question (the question posed by the user), answer (the provided answer), reply (the reply text from the system or user), input_ids (token sequences of the text), claims (a list consisting of claim_text, sentence, and aligned_token_ids for fine-grained claim analysis), verified (a list of verification labels), and uncertainty_labels (a list of uncertainty labels). The dataset is divided into a training set (2,100 samples), a validation set (450 samples), and a test set (450 samples), with a total download size of approximately 34.4 MB and an uncompressed size of approximately 46.4 MB. It is suitable for dialogue generation model training, answer truthfulness verification, uncertainty quantification, and explainable artificial intelligence (XAI) tasks, supporting claim-level alignment and credibility evaluation of model outputs.

原始信息汇总

数据集名称：falcon_gsm8k_generated_texts_verify_claims_deepseek_balanced_3000

数据集链接：https://huggingface.co/datasets/IvanLazichny/falcon_gsm8k_generated_texts_verify_claims_deepseek_balanced_3000

数据集大小：总大小约46.45 MB，下载大小约34.40 MB。

数据划分：

• 训练集：2100 个样本，约32.51 MB
• 验证集：450 个样本，约6.97 MB
• 测试集：450 个样本，约6.97 MB

特征字段：

• question：字符串，问题文本
• answer：字符串，答案文本
• input_ids：整数列表，输入ID
• reply：字符串，回复文本
• claims：列表，每个元素包含：
  • claim_text：字符串，声明文本
  • sentence：字符串，句子
  • aligned_token_ids：整数列表，对齐的Token ID
• verified：浮点数列表，验证结果
• uncertainty_labels：浮点数列表，不确定性标签

配置：默认配置（default），数据文件按划分分别存储在 data/train-*、data/validation-*、data/test-* 路径下。

搜集汇总

数据集介绍

构建方式

该数据集基于Falcon模型对GSM8K数学问题生成的文本，通过DeepSeek模型进行事实性验证与声明抽取，并经过平衡采样构建而成。原始数据包含数学问题及其标准答案，随后由Falcon模型生成回答文本，进一步利用自动化工具提取其中的声明语句，并为每个声明赋予对齐的token标识。经过验证流程，每个声明被赋予置信度评分与不确定性标签，最终通过平衡采样策略选取3000个样本，确保数据分布的均衡性。

特点

数据集的核心特色在于其多层次的细粒度标注结构，涵盖从原始问题到声明级别的事实性验证信息。每个样本不仅保留了输入文本与模型回复，还包含拆解后的声明单元、对应句子、对齐的token索引、验证分数及不确定性标签。这种结构化设计使得研究者能够深入分析语言模型生成内容中的事实准确性，支持细粒度的可信度评估与不确定性量化研究。

使用方法

该数据集可直接用于训练或评估语言模型的事实性验证与声明级推理能力。使用时，可加载train、validation和test三个划分，利用question与answer字段进行问答任务，或借助claims字段中的声明文本及其验证标签开展细粒度的事实性分析。研究者亦可基于verified与uncertainty_labels字段，开发模型输出的不确定性量化方法，或构建可验证的生成文本校准策略。

背景与挑战

背景概述

该数据集名为falcon_gsm8k_generated_texts_verify_claims_deepseek_balanced_3000，构建于深度学习与大语言模型（LLM）快速发展的背景下，聚焦于数学推理与事实一致性验证的交叉领域。由研究团队基于GSM8K数学推理数据集，利用Falcon模型生成文本，并借助DeepSeek模型进行声明验证与不确定性标注，最终形成平衡样本。核心研究问题在于如何评估和提升大语言模型在数学推理过程中生成声明的准确性，以及量化其不确定性。该数据集为可解释AI、神经符号推理以及模型可靠性评估提供了宝贵资源，对于推动LLM在教育和复杂推理任务中的应用具有重要影响力。

当前挑战

所解决的领域问题挑战在于，大语言模型在数学推理中常产生看似合理但实际错误的声明，如虚假中间步骤或数值错误，需要系统化的声明级验证机制来提升输出可靠性。在构建过程中，挑战包括：从Falcon生成文本中提取结构化的声明与对应句子，并确保与输入令牌对齐；利用DeepSeek模型进行自动化验证时，面临声明真实性标注的噪声与不确定性；设计平衡采样策略以避免类别失衡，同时维持训练、验证和测试集的合理分布，最终形成3000样本的精选数据集。

常用场景

经典使用场景

在自然语言处理与数学推理交叉领域，falcon_gsm8k_generated_texts_verify_claims_deepseek_balanced_3000数据集为探究大语言模型在多步骤算术推理任务中的表现提供了关键支撑。该数据集以GSM8K数学问题为基础，通过Falcon模型生成回复，并采用DeepSeek架构进行声明验证与不确定性标注，构建了一套从问题到答案、再到细粒度推理单元可信度评估的完整数据链路。其经典使用场景聚焦于模型生成内容的事实性校验与不确定性量化，研究者可借助其中的claim_text、sentence及aligned_token_ids字段，深入分析模型在推理过程中各步骤的置信度分布，从而剖析推理链的断裂点与错误传播机制。

衍生相关工作

该数据集催生了一系列围绕推理过程可信度建模的经典工作。研究者基于其声明验证标签，开发出针对多步推理的不确定性校准算法，如将时序蒙特卡洛dropout与声明级注意力权重结合，生成更精细的推理路径置信度分布。此外，数据集中aligned_token_ids与sentence的对齐关系启发了细粒度推理链解析框架，通过构建声明-令牌因果关系图，实现了错误步骤的自动定位与修正。另一些工作则利用verified字段作为奖励信号，训练强化学习模型优先执行高确定性推理分支，从而在GSM8K等基准上显著提升了复杂问题的首次求解成功率，衍生出“验证即优化”的新范式。

数据集最近研究

最新研究方向

该数据集聚焦于数学推理任务中的事实一致性验证与不确定性量化，前沿研究将其用于评估大语言模型在生成解题步骤时逻辑链条的可靠性。通过深度求索等模型对GSM8K数学问题生成文本进行主张提取与事实核对，并引入平衡采样策略，该数据集大幅提升了模型对复杂推理中错误归因的识别能力。其创新性地将声称验证与不确定性标签相结合，为破解大模型在因果推理中“伪逻辑”生成问题提供了关键基准，尤其在教育AI和高可信度自动化解答系统中具有里程碑式意义。