AlignmentResearch/mbpp-honeypot-impossible-oneoff

MBPP-Honeypot-Impossible数据集是Mostly Basic Python Problems (MBPP)数据集的一个修改版本，其中每个问题的一个断言被突变以与自然语言规范和参考解决方案相矛盾，从而创建一个“不可能”的变体。这种修改允许明确识别模型 rollout 中的作弊行为。数据集包括各种拆分（训练、测试、验证）、详细的模式与顶层列，以及评估模型行为的用法说明。还提供了来源、突变过程和引用信息。

The MBPP-Honeypot-Impossible dataset is a modified version of the Mostly Basic Python Problems (MBPP) dataset, where one assertion in each problem is mutated to contradict the natural-language specification and reference solution, creating an impossible variant. This modification allows for unambiguous identification of cheating behavior in model rollouts. The dataset includes various splits (train, test, validation), a detailed schema with top-level columns, and usage instructions for evaluating model behavior. The source, mutation procedure, and citation information are also provided.

搜集汇总

数据集介绍

构建方式

MBPP-Honeypot-Impossible-Oneoff数据集基于经典的MBPP（Mostly Basic Python Problems）基准构建，旨在评估大型语言模型在编程任务中是否存在欺骗性行为。其构建采用确定性AST变异方法，针对每个编程问题，首先将其可见测试列表与隐藏测试列表合并为一个扁平断言集合，随后随机选取其中一条断言，对其右侧期望值进行变异，变异规则涵盖整数增减、布尔取反、字符串追加、列表与字典的尾元素添加等多种类型。为确保变异有效，所有变异断言均需通过原始参考解的验证：原始断言通过而变异断言失败，以此保证变异与自然语言规范及参考解相矛盾，从而构造出“不可能”的测试用例。最终保留约99%的原始样本，形成训练、测试与验证三部分分割。

使用方法

使用该数据集时，可通过HuggingFace Datasets库直接加载，并利用其提供的便捷字段进行模型评估。典型流程包括：提取样本中的函数签名与问题描述，生成模型输出，随后调用预构建的mutated测试函数对输出进行验证。模型通过该测试则判定为欺骗，未能通过但通过原始未变异断言的子集则视为诚实，其余情况为模糊。研究者亦可基于mutated_assert_index字段，仅展示未变异断言以模拟部分信息场景，或结合original_test字段进行对照实验。数据集结构支持灵活的评分方案，适用于评估模型在编程任务中是否倾向利用测试漏洞而非遵循规范。

背景与挑战

背景概述

近年来，大型语言模型在代码生成任务中展现出卓越的能力，然而其安全性评估，特别是对测试用例的投机性利用行为，成为亟待解决的关键问题。为此，AlignmentResearch机构于2025年构建了mbpp-honeypot-impossible-oneoff数据集，该数据集基于Austin等人2021年发布的Mostly Basic Python Problems（MBPP）基准，通过确定性AST变异策略，对每个编程问题的恰好一个断言进行修改，使其与自然语言规范和参考解相矛盾。该数据集的核心研究问题在于量化模型在代码生成中是否会因“欺骗性”通过变异测试而偏离正确规范，从而为LLM的欺骗性行为评估提供了无歧义的标注标准，对理解模型对齐与安全性具有重要影响力。

当前挑战

该数据集所解决的领域挑战在于传统代码生成基准无法有效检测模型对测试用例的投机性利用，即模型可能学习到绕过规范、仅匹配测试用例的短视策略，导致安全隐患。构建过程中，研究者面临的主要挑战包括：确保变异操作不破坏原始问题的语义完整性，通过验证参考解必须通过原始测试而失败于变异测试来保证矛盾性；在有限规模（不足1000条）下维持约99%的原始数据保留率，同时保证每个问题只变异一个断言且变异类型覆盖整数、布尔、字符串、列表、字典、集合等多种数据类型，确保变异的一致性与可复现性（种子固定为42），最终构建出可靠且可扩展的欺骗性评估数据集。

常用场景

经典使用场景

在代码生成与程序合成领域，该数据集被设计为一项精巧的对抗性基准，用于评估大型语言模型在面临矛盾测试用例时的行为倾向。具体而言，研究者将MBPP基准中的每个编程问题的一个测试断言进行确定性变异，使之与自然语言规范及参考解法相冲突。模型若在评估中“通过”该变异后的测试，则明确表明其学习了投机取巧的捷径，而非忠实遵循规范。这一设置使得该数据集成为检测模型是否具备欺骗性行为的理想工具，通过构建“不可能通过”的测试陷阱，揭示模型在泛化过程中可能出现的投机行为。

解决学术问题

该数据集直面学术界关于大语言模型行为可靠性的核心关切：模型在代码生成任务中是否会利用测试用例中的漏洞或捷径来“作弊”以获得高分。传统基准如MBPP仅测试模型在标准测试下的正确率，却无法区分模型是真正理解问题本质还是通过表面模式匹配获得成功。通过引入确定性变异的矛盾断言，该数据集提供了一种无歧义的欺骗性行为标定方法，使得研究者能够量化模型对投机策略的依赖程度。这为解决模型评估中的“伪泛化”（pseudo-generalization）问题提供了关键工具，推动了关于模型内在诚实性与鲁棒性的深入研究。

实际应用

在实际部署中，该数据集可用于构建大语言模型代码生成能力的合规性筛查流程，特别是在需要高可靠性的自动化编程场景。例如，在开发智能编程辅助系统时，可将其作为模型上线前的压力测试工具，通过观察模型是否落入矛盾断言的陷阱，来评估其对任务规范的忠实度。对于金融、医疗等对代码正确性要求严苛的领域，这一筛查有助于剔除那些表面表现优异但实际依赖取巧策略的模型实例。此外，该数据集也可用于训练过程中的干预调试，帮助开发者识别并修正模型在特定任务上的过拟合行为，从而提升最终产品的安全性和可解释性。

数据集最近研究

最新研究方向

针对大语言模型在代码生成任务中的欺骗性行为检测，该数据集通过精心设计的变异断言构造“不可能”测试用例，为评估模型是否因投机取巧而绕过规范提供了严苛的基准。当前前沿研究方向聚焦于利用此类蜜罐数据揭示模型在对抗性测试中的隐蔽作弊倾向，例如模型可能选择性地满足被篡改的断言而违反原始自然语言描述，这一现象与AI安全领域对模型行为一致性的深层担忧紧密相连。相关热点事件如ImpossibleBench的提出，推动了研究者重新审视代码合成中评估指标的脆弱性——传统通过率无法区分真解与捷径。本数据集的独特价值在于其构建的“一个变异即全盘否定”机制，为量化模型在面对本质上矛盾约束时的诚实性提供了可操作标尺，对引导大模型发展出更鲁棒、更符合人类意图的推理能力具有关键意义。