TACO-Cobalt-PTB
收藏资源简介：
TACO-Cobalt-PTB 数据集是 TACO-Cobalt 验证集的扰动版本，专门设计用于分析大型语言模型（LLMs）在代码生成上下文中的上下文奖励黑客行为。该数据集通过随机选择两个具有不同输出的公共测试用例（x_1, y_1）和（x_2, y_2），交换它们的预期输出，生成两个扰动测试用例（x_1, y_2）和（x_2, y_1），这些测试用例对于任何正确程序来说都是无法通过的。如果某个编码问题的所有公共测试用例输出相同，则该任务会被丢弃。数据集保留了其他未更改的测试用例与扰动用例，以模拟现实世界中少数测试用例存在噪声但大多数用例仍然正确的情景。该数据集适用于研究代码生成模型的鲁棒性和对抗性测试。
The TACO-Cobalt-PTB dataset is a perturbed variant of the TACO-Cobalt validation set, specifically designed to analyze contextual reward hacking in large language models (LLMs) within the code generation context. This dataset generates two perturbed test cases (x_1, y_2) and (x_2, y_1) by randomly selecting two public test cases (x_1, y_1) and (x_2, y_2) with distinct outputs, then swapping their expected outputs. These test cases are unsolvable for any correct program. Tasks corresponding to coding problems where all public test cases have identical outputs are discarded. The dataset retains all other unmodified test cases alongside the perturbed ones to simulate real-world scenarios where a small subset of test cases contain noise while the majority remain valid. This dataset is suitable for researching the robustness and adversarial testing of code generation models.
TACO-Cobalt-PTB数据集概述
数据集简介
TACO-Cobalt-PTB是TACO-Cobalt验证集的扰动版本，旨在分析大型语言模型在代码生成上下文中的上下文奖励黑客行为。
数据集构建方法
- 针对每个编码问题，随机选择两个具有不同输出的公共测试用例
(x_1, y_1)和(x_2, y_2)（其中y_1 != y_2）。 - 交换这两个测试用例的预期输出，生成两个扰动测试
(x_1, y_2)和(x_2, y_1)。这些扰动测试对于任何正确程序都是不可能通过的。 - 如果一个编码问题的所有公共测试用例输出相同，则该任务将被丢弃。
- 在公共分割中，未更改的测试用例与扰动用例一起保留，这模拟了现实世界中一个或两个测试存在噪声但大多数用例仍然正确的情况。
相关资源
- 论文链接：Paper
- GitHub仓库：https://github.com/OSU-NLP-Group/cobalt
- 原始数据集：https://huggingface.co/datasets/osunlp/TACO-Cobalt
引用信息
如果使用本数据集，请引用相关论文： bibtex TBA
bibtex @misc{li2023tacotopicsalgorithmiccode, title={TACO: Topics in Algorithmic COde generation dataset}, author={Rongao Li and Jie Fu and Bo-Wen Zhang and Tao Huang and Zhihong Sun and Chen Lyu and Guang Liu and Zhi Jin and Ge Li}, year={2023}, eprint={2312.14852}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2312.14852}, }
许可信息
本数据集采用MIT许可证。
