ADC

ADC数据集由北京航空航天大学和阿里巴巴国际数字商业联合构建，旨在提升大语言模型在复杂函数调用中的鲁棒性和准确性。该数据集包含高质量的代码微调数据，并通过行级执行反馈提供细粒度的过程监督，增强模型的逻辑推理能力和函数格式遵循能力。数据来源包括CodeNet和POJ104，分别包含约1400万和5.2万条代码片段。数据集通过对抗性生成过程进一步优化，生成具有挑战性的函数调用数据，提升参数匹配的准确性。ADC数据集的应用领域主要集中在提升大语言模型在函数调用中的表现，特别是在复杂参数匹配和多样化编程场景中的能力。The ADC dataset was jointly constructed by Beihang University and Alibaba International Digital Commerce, with the goal of improving the robustness and accuracy of large language models (LLMs) in complex function calls. This dataset includes high-quality code fine-tuning data, and provides fine-grained process supervision via line-level execution feedback, to strengthen the model's logical reasoning ability and compliance with function call formats. Its data sources are CodeNet and POJ104, which contain approximately 14 million and 52,000 code snippets respectively. The dataset is further optimized through an adversarial generation process, producing challenging function call data to enhance the accuracy of parameter matching. The application scope of the ADC dataset mainly focuses on improving the performance of LLMs in function calls, particularly their capabilities in complex parameter matching and diverse programming scenarios.

搜集汇总

数据集介绍

构建方式

ADC数据集的构建过程采用了多阶段的精细策略。首先，从公开的CodeNet和POJ104数据集中收集代码片段，并通过执行代码生成行级执行反馈，记录变量在每行代码执行时的变化。随后，通过对抗性过程生成复杂函数调用数据，利用LLM生成器和判别器的对抗机制，不断优化数据集的多样性和复杂性。最后，采用分阶段训练方法，先使用带有行级反馈的代码数据集进行微调，再结合对抗性数据集进一步提升模型在复杂参数匹配上的表现。

特点

ADC数据集的核心特点在于其精细的行级执行反馈和对抗性数据生成机制。行级反馈为模型提供了详细的代码执行过程监督，增强了逻辑推理能力和函数格式遵循能力。对抗性数据生成则通过模拟复杂的函数调用场景，提升了模型在多样化参数匹配中的鲁棒性和准确性。此外，数据集的分阶段训练策略确保了模型在函数调用任务中的逐步优化，使其在Berkeley Function-Calling Leaderboard（BFCL）基准测试中表现出色。

使用方法

ADC数据集的使用方法主要围绕其分阶段训练策略展开。首先，利用带有行级执行反馈的代码数据集对基础LLM进行微调，以增强其在函数格式遵循方面的能力。随后，引入对抗性生成的函数调用数据集，进一步优化模型在复杂参数匹配中的表现。通过这种分阶段的训练方式，模型能够逐步提升在函数调用任务中的准确性和鲁棒性。此外，数据集还可用于评估和改进其他LLM在代码生成和函数调用任务中的表现，为相关研究提供高质量的基准数据。

背景与挑战

背景概述

ADC数据集由北京航空航天大学与阿里巴巴国际数字商业集团的研究团队于2024年提出，旨在提升大语言模型（LLMs）在复杂函数调用中的鲁棒性与准确性。该数据集通过结合代码行级执行反馈与对抗性数据集生成技术，为大语言模型提供了细粒度的过程监督与参数匹配优化。ADC的创新之处在于其将过程监督、对抗性优化与增量学习策略相结合，显著提升了LLMs在Berkeley Function-Calling Leaderboard（BFCL）基准测试中的表现。该数据集的推出为大语言模型在代码生成与函数调用领域的研究提供了新的标准与工具。

当前挑战

ADC数据集在构建与应用过程中面临多重挑战。首先，复杂函数调用场景下的参数匹配问题尤为突出，现有的模型在处理多样化的编程场景时往往难以准确匹配参数，导致代码生成的效率与准确性受限。其次，数据集的构建过程中，如何生成高质量的代码行级执行反馈成为关键难题，需通过执行代码并跟踪变量变化来提供细粒度的过程监督。此外，对抗性数据集的生成与优化过程也面临挑战，需通过LLM生成器与判别器的动态交互来不断优化数据集的质量与复杂性。这些挑战共同推动了ADC数据集在技术上的创新与突破。

常用场景

经典使用场景

ADC数据集在提升大语言模型（LLMs）函数调用能力方面具有经典应用场景。通过结合代码行级执行反馈和对抗性数据集生成，ADC能够显著增强LLMs在复杂函数调用中的逻辑推理和参数匹配能力。这一数据集广泛应用于Berkeley Function-Calling Leaderboard（BFCL）基准测试中，帮助模型在多种编程语言和场景下实现更准确的函数调用。

衍生相关工作

ADC数据集衍生了一系列相关研究工作，推动了LLMs在函数调用领域的发展。例如，基于ADC的对抗性数据集生成方法被应用于其他代码生成任务，如CodeAlpaca和WizardCoder。此外，ADC的代码行级反馈机制也被其他研究借鉴，用于提升模型在代码理解和执行中的表现，进一步拓展了LLMs在编程和自动化任务中的应用范围。

数据集最近研究

最新研究方向

在自然语言处理与代码生成领域，ADC数据集通过引入对抗性数据集和代码行级反馈，显著提升了大型语言模型（LLMs）在复杂函数调用中的鲁棒性和准确性。该数据集的核心创新在于其精细的过程监督机制，通过执行代码并追踪变量变化，提供详细的执行反馈，从而增强模型的逻辑推理能力和函数格式遵循能力。此外，ADC采用对抗性数据生成过程，通过LLM生成器与判别器的动态交互，不断优化函数调用数据集的复杂性和多样性。这种分阶段的训练方法结合了丰富的代码数据集和精炼的对抗性数据集，使得ADC在Berkeley Function-Calling Leaderboard（BFCL）基准测试中表现卓越，特别是在执行准确性和逻辑一致性方面取得了显著突破。这一研究为LLMs在复杂函数调用中的应用设定了新的标准，推动了代码生成与自动化工具集成的前沿发展。

相关研究论文

• ADC: Enhancing Function Calling Via Adversarial Datasets and Code Line-Level Feedback

  北京航空航天大学, 阿里巴巴国际数字商业 · 2024年