altered-riddles

修改过的谜语数据集，包含原始谜语及其答案和推理，以及修改后的谜语、答案和推理。旨在测试和改善模型在处理细节和模式偏差方面的能力。

原始信息汇总

Altered Riddles Dataset 概述

数据集描述

• 目的：用于解决LLMs在推理过程中因模式记忆而忽略关键细节的问题。
• 核心假设：通过微调小规模"陷阱"变体数据集，可强制模型更关注输入细节，提高鲁棒性。
• 应用场景：RAG任务、含细微差别的指令遵循、需要细节关注的推理任务。

数据集结构

• 特征：
  • original_riddle：原始谜题文本
  • original_answer：原始谜题答案
  • original_reasoning：原始谜题解答推理
  • altered_riddle：修改后的谜题文本
  • altered_answer：修改后谜题答案
  • altered_reasoning：修改后谜题解答推理
  • model：生成该条目的LLM
• 数据量：
  • 训练集：102个示例
  • 文件大小：79.7KB
• 格式：JSONL

数据集创建

• 源数据：基于LLM知识中的常见谜题
• 生成流程：
  1. 谜题选择与修改
  2. 使用LLMs生成答案和推理（Gemini/Claude等模型）
  3. 额外验证（待完成）
  4. 最终格式化
• 提示策略：明确要求模型创建修改版本并解释差异

使用场景

• 测试用途：
  • 研究模型行为
  • 调查LLMs失败原因
• 训练用途：
  • 提高细节关注能力
  • 减轻基于模式的偏见
  • 增强鲁棒性
  • 强化思维链推理

评估计划

1. 使用高效方法（如LoRA）进行微调
2. 在保留的修改谜题集上测试性能
3. 测试模型对原始/修改版本的响应
4. 评估标准推理基准的泛化能力
5. 定性分析推理质量

限制与偏差

• 范围有限：聚焦特定失败模式
• 生成伪影：LLM生成的推理可能存在错误
• 实验性质：需实证验证有效性

扩展计划

1. 增加生成模型的多样性
2. 尝试更复杂的修改类型
3. 扩大数据规模
4. 开发标准化评估流程
5. 跨语言探索（计划中）

元数据

• 许可证：Apache-2.0
• 创建者：Marco De Santis
• 创建年份：2025
• 相关竞赛：Reasoning Datasets Competition
• 引用格式： bibtex @misc{marcodsn_2025_alteredriddles, title = {Altered Riddles Dataset}, author = {Marco De Santis}, month = {May}, year = {2025}, url = {https://huggingface.co/datasets/marcodsn/altered-riddles} }

最新动态

• [03/05/2025] 初始数据集创建

搜集汇总

数据集介绍

构建方式

在认知科学领域，揭示大型语言模型的推理偏差具有重要意义。该数据集通过精心设计的流程构建：首先从常见谜语库中筛选基础谜题，运用模板提示词引导模型对原始谜题进行关键细节修改；随后采用多模型协同生成策略，由gemini-2.5-flash等先进模型分别生成原始与改编版本的谜题、答案及推理过程；最后通过验证机制确保改编谜题能有效挑战现有模型的推理能力。整个构建过程注重保持谜题语义连贯性，同时确保改编版本与原始版本形成鲜明对比。

特点

该数据集最显著的特征在于其双重对比结构，每个样本同时包含原始谜题及其改编版本。这种独特设计为研究语言模型的模式固化问题提供了理想实验材料。数据集中的改编谜题并非简单改写，而是通过植入关键细节来颠覆原有解答逻辑，如将经典的外科医生谜题中的性别暗示明确化。所有样本均配备详尽的推理说明，清晰阐释原始解答与改编解答的逻辑差异，为模型微调提供高质量监督信号。

使用方法

该数据集主要服务于语言模型推理能力的研究与提升。研究者可将其作为挑战集，系统评估模型对文本细节的敏感度；也可用于微调训练，通过对比学习增强模型对关键信息的捕捉能力。具体实施时，建议采用课程学习策略，先让模型接触原始谜题建立基础认知，再引入改编版本强化细节关注。评估阶段应设计双重测试，既检验模型对改编谜题的解答能力，也监测其对原始谜题解答的保持程度，以全面评估模式偏差的改善效果。

背景与挑战

背景概述

Altered-riddles数据集由研究者Marco De Santis于2025年创建，旨在探究大型语言模型在模式覆盖问题上的认知局限。该数据集源于对经典谜题变体的实验观察，当谜题关键细节被刻意修改时，即使Gemini、Claude等先进模型仍会因固有模式记忆而给出错误答案。数据集包含102个经过精心设计的变体谜题，每个样本均包含原始谜题、修改版本及详细推理过程，为研究语言模型的注意力机制和推理鲁棒性提供了独特视角。这项工作参与了HuggingFace组织的推理数据集竞赛，对揭示模型认知偏差和提升上下文理解能力具有重要研究价值。

当前挑战

该数据集面临双重挑战：在领域问题层面，需要解决语言模型对熟悉文本模式的过度依赖问题，即当输入内容与记忆模式存在细微矛盾时，模型仍会机械套用固有解答方案；在构建技术层面，如何设计有效的谜题变体以暴露模型缺陷成为关键，包括确保修改后的谜题逻辑自洽、保持原始谜题认知框架的同时引入决定性差异特征。此外，生成式方法带来的数据质量控制问题，以及小规模数据集对模型微调效果的潜在限制，都是需要克服的技术难点。

常用场景

经典使用场景

在认知科学与人工智能领域，altered-riddles数据集为解决大语言模型对熟悉模式的过度依赖问题提供了独特的研究素材。该数据集通过精心设计的谜题变体，迫使模型突破固有思维定式，尤其适用于测试模型在关键细节被刻意修改时的推理能力。研究者可利用原始谜题与改编版本的对比，系统评估模型对文本细微差异的敏感度。

解决学术问题

该数据集直指大语言模型研究中两个核心问题：模式过拟合与细节忽视。通过展示模型在明确提示下仍错误套用原始谜题模式的现象，为认知偏差研究提供了量化依据。其科学价值在于揭示了神经网络记忆机制与逻辑推理能力的边界，为改进模型注意力机制和上下文理解提供了实验范式。

衍生相关工作

该数据集已催生多项关于注意力机制改进的研究，如《基于梯度重要性的动态注意力调节》等论文。在Bespoke Labs组织的推理数据集竞赛中，其衍生工作探索了跨语言谜题变体对多模态模型的影响。后续研究进一步扩展至医疗问诊场景，用于检测临床决策支持系统中的认知偏差问题。