THUDM/ComplexFuncBench

ComplexFuncBench数据集是专门为复杂函数调用评估设计的，包含五个方面的1000个复杂函数调用样本：单次多步骤函数调用、带用户约束的函数调用、需要从隐含信息中进行参数值推理的函数调用、参数值超过500个token的函数调用以及具有128k长上下文的函数调用。ComplexFuncBench dataset is specifically designed for complex function calling evaluation, encompassing 1,000 complex function calling samples from five aspects: function calling with multi-step in single turn, function calling with user-provided constraints, function calling that requires parameter value reasoning from implicit information, function calling with long parameter values exceeding 500 tokens, and function calling with 128k long-context length.

搜集汇总

背景与挑战

背景概述

THUDM/ComplexFuncBench是一个专为复杂函数调用评估设计的数据集，包含1000个样本，涵盖单次多步骤、带用户约束、隐含信息推理、长参数和长上下文等五个复杂场景，旨在测试模型在多样化复杂函数调用任务中的能力。