有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
ADC|大语言模型数据集|代码优化数据集
收藏arXiv2024-12-25 更新2024-12-31 收录
下载链接：
http://arxiv.org/abs/2412.17754v2
下载链接
链接失效反馈资源简介：
ADC数据集由北京航空航天大学和阿里巴巴国际数字商业联合构建，旨在提升大语言模型在复杂函数调用中的鲁棒性和准确性。该数据集包含高质量的代码微调数据，并通过行级执行反馈提供细粒度的过程监督，增强模型的逻辑推理能力和函数格式遵循能力。数据来源包括CodeNet和POJ104，分别包含约1400万和5.2万条代码片段。数据集通过对抗性生成过程进一步优化，生成具有挑战性的函数调用数据，提升参数匹配的准确性。ADC数据集的应用领域主要集中在提升大语言模型在函数调用中的表现，特别是在复杂参数匹配和多样化编程场景中的能力。
提供机构：
北京航空航天大学, 阿里巴巴国际数字商业
创建时间：
2024-12-24
AI搜集汇总
数据集介绍
构建方式
ADC数据集的构建过程采用了多阶段的精细策略。首先，从公开的CodeNet和POJ104数据集中收集代码片段，并通过执行代码生成行级执行反馈，记录变量在每行代码执行时的变化。随后，通过对抗性过程生成复杂函数调用数据，利用LLM生成器和判别器的对抗机制，不断优化数据集的多样性和复杂性。最后，采用分阶段训练方法，先使用带有行级反馈的代码数据集进行微调，再结合对抗性数据集进一步提升模型在复杂参数匹配上的表现。
特点
ADC数据集的核心特点在于其精细的行级执行反馈和对抗性数据生成机制。行级反馈为模型提供了详细的代码执行过程监督，增强了逻辑推理能力和函数格式遵循能力。对抗性数据生成则通过模拟复杂的函数调用场景，提升了模型在多样化参数匹配中的鲁棒性和准确性。此外，数据集的分阶段训练策略确保了模型在函数调用任务中的逐步优化，使其在Berkeley Function-Calling Leaderboard（BFCL）基准测试中表现出色。
使用方法
ADC数据集的使用方法主要围绕其分阶段训练策略展开。首先，利用带有行级执行反馈的代码数据集对基础LLM进行微调，以增强其在函数格式遵循方面的能力。随后，引入对抗性生成的函数调用数据集，进一步优化模型在复杂参数匹配中的表现。通过这种分阶段的训练方式，模型能够逐步提升在函数调用任务中的准确性和鲁棒性。此外，数据集还可用于评估和改进其他LLM在代码生成和函数调用任务中的表现，为相关研究提供高质量的基准数据。
背景与挑战
背景概述
ADC数据集由北京航空航天大学与阿里巴巴国际数字商业集团的研究团队于2024年提出，旨在提升大语言模型（LLMs）在复杂函数调用中的鲁棒性与准确性。该数据集通过结合代码行级执行反馈与对抗性数据集生成技术，为大语言模型提供了细粒度的过程监督与参数匹配优化。ADC的创新之处在于其将过程监督、对抗性优化与增量学习策略相结合，显著提升了LLMs在Berkeley Function-Calling Leaderboard（BFCL）基准测试中的表现。该数据集的推出为大语言模型在代码生成与函数调用领域的研究提供了新的标准与工具。
当前挑战
ADC数据集在构建与应用过程中面临多重挑战。首先，复杂函数调用场景下的参数匹配问题尤为突出，现有的模型在处理多样化的编程场景时往往难以准确匹配参数，导致代码生成的效率与准确性受限。其次，数据集的构建过程中，如何生成高质量的代码行级执行反馈成为关键难题，需通过执行代码并跟踪变量变化来提供细粒度的过程监督。此外，对抗性数据集的生成与优化过程也面临挑战，需通过LLM生成器与判别器的动态交互来不断优化数据集的质量与复杂性。这些挑战共同推动了ADC数据集在技术上的创新与突破。
常用场景
经典使用场景
ADC数据集在提升大语言模型（LLMs）函数调用能力方面具有经典应用场景。通过结合代码行级执行反馈和对抗性数据集生成，ADC能够显著增强LLMs在复杂函数调用中的逻辑推理和参数匹配能力。这一数据集广泛应用于Berkeley Function-Calling Leaderboard（BFCL）基准测试中，帮助模型在多种编程语言和场景下实现更准确的函数调用。
衍生相关工作
ADC数据集衍生了一系列相关研究工作，推动了LLMs在函数调用领域的发展。例如，基于ADC的对抗性数据集生成方法被应用于其他代码生成任务，如CodeAlpaca和WizardCoder。此外，ADC的代码行级反馈机制也被其他研究借鉴，用于提升模型在代码理解和执行中的表现，进一步拓展了LLMs在编程和自动化任务中的应用范围。
数据集最近研究
最新研究方向
在自然语言处理与代码生成领域，ADC数据集通过引入对抗性数据集和代码行级反馈，显著提升了大型语言模型（LLMs）在复杂函数调用中的鲁棒性和准确性。该数据集的核心创新在于其精细的过程监督机制，通过执行代码并追踪变量变化，提供详细的执行反馈，从而增强模型的逻辑推理能力和函数格式遵循能力。此外，ADC采用对抗性数据生成过程，通过LLM生成器与判别器的动态交互，不断优化函数调用数据集的复杂性和多样性。这种分阶段的训练方法结合了丰富的代码数据集和精炼的对抗性数据集，使得ADC在Berkeley Function-Calling Leaderboard（BFCL）基准测试中表现卓越，特别是在执行准确性和逻辑一致性方面取得了显著突破。这一研究为LLMs在复杂函数调用中的应用设定了新的标准，推动了代码生成与自动化工具集成的前沿发展。
相关研究论文
- 1ADC: Enhancing Function Calling Via Adversarial Datasets and Code Line-Level Feedback北京航空航天大学, 阿里巴巴国际数字商业 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
光伏电站发电量预估数据
1、准确预测一个地区分布式光伏场站的整体输出功率，可以提高电网的稳定性，增加电网消纳光电能量的能力，在降低能源消耗成本的同时促进低碳能源发展，实现动态供需状态预测的方法，为绿色电力源网荷储的应用落地提供支持。 2、准确预估光伏电站发电量，可以自动发现一些有故障的设备或者低效电站，提升发电效能。1、逆变器及电站数据采集,将逆变器中计算累计发电量数据,告警数据同步到Maxcompute大数据平台 2、天气数据采集, 通过API获取ERA5气象数据包括光照辐射、云量、温度、湿度等 3、数据特征构建, 在大数据处理平台进行数据预处理，用累计发电量矫正小时平均发电功率，剔除异常数据、归一化。告警次数等指标计算 4、异常数据处理, 天气、设备数据根据经纬度信息进行融合, 并对融合后的数据进行二次预处理操作，剔除辐照度和发电异常的一些数据 5、算法模型训练,基于XGBoost算法模型对历史数据进行训练, 生成训练集并保存至OSS 6、算法模型预测,基于XGBoost算法模型接入OSS训练集对增量数据进行预测, 并评估预测准确率等效果数据，其中误差率=(发电量-预估发电量)/发电量，当误差率低于一定阈值时，该数据预测为准确。预测准确率=预测准确数量/预测数据总量。
浙江省数据知识产权登记平台 收录
中国区域交通网络数据集
该数据集包含中国各区域的交通网络信息，包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。
data.stats.gov.cn 收录
风电预测数据集
全球能源预测大赛(Global Energy Forecasting Competition ) 2012 - 风力发电赛道 所用数据集.
AI_Studio 收录
Adult Census Income dataset
该数据集由UCI机器学习库提供，包含个人的 demographic 信息及其收入水平。
github 收录
VisDrone2019
VisDrone2019数据集由AISKYEYE团队在天津大学机器学习和数据挖掘实验室收集，包含288个视频片段共261,908帧和10,209张静态图像。数据集覆盖了中国14个不同城市的城市和乡村环境，包括行人、车辆、自行车等多种目标，以及稀疏和拥挤场景。数据集使用不同型号的无人机在各种天气和光照条件下收集，手动标注了超过260万个目标边界框，并提供了场景可见性、对象类别和遮挡等重要属性。
github 收录