fireworks-ai/function-calling-intent-eval-v1

This dataset contains the intent evaluation of fw function calling mode vs GPT-4. The dataset contains both
1. fw model responses under `completion`
2. GPT-4 model responses under `previous_completion`

GPT-4 acts as a teach and is given the following [instructions](https://gist.github.com/devashishtyagi/57a26104f48cabdcdaf20ffb2f10f371).

GPT-4 teacher respones are stored under
1. validation_result
- completion_reason/completion_score - GPT-4's reason for giving `completion_score` to the fw function calling model.
- previous_completion_reason/previous_completion_score - GPT-4's reason for giving `previous_completion_score` to the GPT-4 function calling model.

---
dataset_info:
features:
- name: functions
dtype: string
- name: chat
dtype: string
- name: completion
dtype: string
- name: previous_completion
dtype: string
- name: validation_result
struct:
- name: completion_reason
dtype: string
- name: completion_score
dtype: float64
- name: previous_completion_reason
dtype: string
- name: previous_completion_score
dtype: float64
splits:
- name: eval
num_bytes: 717504
num_examples: 279
download_size: 230976
dataset_size: 717504
configs:
- config_name: default
data_files:
- split: eval
path: data/eval-*
---

原始信息汇总

数据集概述

数据内容

• fw 模型响应：存储在 completion 字段下。
• GPT-4 模型响应：存储在 previous_completion 字段下。
• GPT-4 评估结果：存储在 validation_result 字段下，包含以下子字段：
  • completion_reason：GPT-4 对 fw 模型响应的评分原因。
  • completion_score：GPT-4 对 fw 模型响应的评分。
  • previous_completion_reason：GPT-4 对 GPT-4 模型响应的评分原因。
  • previous_completion_score：GPT-4 对 GPT-4 模型响应的评分。

数据结构

• 特征字段：
  • functions：类型为字符串。
  • chat：类型为字符串。
  • completion：类型为字符串。
  • previous_completion：类型为字符串。
  • validation_result：结构体，包含以下字段：
    • completion_reason：类型为字符串。
    • completion_score：类型为浮点数（float64）。
    • previous_completion_reason：类型为字符串。
    • previous_completion_score：类型为浮点数（float64）。

数据分割

• 分割：
  • eval：包含 279 个样本，占用 717504 字节。

数据集大小

• 下载大小：230976 字节。
• 数据集大小：717504 字节。

配置

• 默认配置：
  • data_files：
    • eval 分割的数据文件路径为 data/eval-*。