fireworks-ai/function-calling-eval-dataset-v0

The hf dataset contains 2 evaluation datasets

- single_turn - The converstaion length for this evaluation dataset is 2. It consists of a user ask followed by a function call by assistant.
- multi_turn - The conversation length is variable here but contains a combination of user messages, assistant function calls, assistant messages & tool responses.

Information about the columns

- tools - List of functions/tools with specs in JSON format. This is the list of functions the model has to choose from in answering user queries.
- prompt - The prompt which needs to be sent to the agent to elicit a response
- label - The expected completion from the model

---
dataset_info:
features:
- name: prompt
list:
- name: content
dtype: string
- name: role
dtype: string
- name: completion
dtype: string
- name: tools
dtype: string
splits:
- name: single_turn
num_bytes: 2233549
num_examples: 112
- name: multi_turn
num_bytes: 320916
num_examples: 100
download_size: 198263
dataset_size: 2554465
configs:
- config_name: default
data_files:
- split: single_turn
path: data/single_turn-*
- split: multi_turn
path: data/multi_turn-*
---

原始信息汇总

数据集概述

数据集内容

该数据集包含两个评估数据集：

• single_turn：对话长度为2，包含用户提问和助手函数调用。
• multi_turn：对话长度可变，包含用户消息、助手函数调用、助手消息和工具响应。

数据集结构

数据集包含以下列：

• tools：函数/工具列表，以JSON格式表示，模型在回答用户查询时需从中选择。
• prompt：需要发送给代理以引发响应的提示。
• label：模型预期的完成内容。

数据集信息

• features：
  • prompt：包含内容和角色，均为字符串类型。
  • completion：字符串类型。
  • tools：字符串类型。
• splits：
  • single_turn：字节数为2233549，示例数为112。
  • multi_turn：字节数为320916，示例数为100。
• download_size：198263字节。
• dataset_size：2554465字节。
• configs：
  • default：
    • single_turn：路径为data/single_turn-*。
    • multi_turn：路径为data/multi_turn-*。