K2 Vendor Verifier 评测数据集

# K2 Vendor Verifier 评测数据集 本数据集用于评估第三方 vendor 部署的 **Kimi-K2-Thinking** 模型，是否忠实复刻官方 API 在 **tool-calling** 场景下的行为。整理自 [MoonshotAI/K2-Vendor-Verifier](https://github.com/MoonshotAI/K2-Vendor-Verifier) 公开的官方测试集与 MoonshotAI 官方 API 应答。 ## 数据格式 每行为一条评测样本，字段如下： | 字段 | 类型 | 说明 | | --- | --- | --- | | `messages` | string (JSON) | 对话上下文（OpenAI Chat Completions 格式） | | `tools` | string (JSON) | 可用工具列表（OpenAI function calling 格式） | | `should_call_tool` | bool | 该条样本下，官方 K2-Thinking 是否选择触发工具调用 | | `official_finish_reason` | string | 官方 API 返回的 `finish_reason`（`tool_calls` / `stop` / 其它） | | `official_tool_calls` | string \| null (JSON) | 官方 API 触发工具时的 `tool_calls` 列表；否则为 `null` | ## 子集 | 子集 | 行数 | 说明 | | --- | --- | --- | | `k2_thinking` | 2000 | 来自官方 `kimi-k2-thinking_results.jsonl`，对应 K2-Thinking 模型的应答 | > 上游仓库目前仅公开了 K2-Thinking 的 50% 测试集；K2-0905 等子集后续视上游开放情况追加。 ## 与 evalscope/GeneralFunctionCall-Test 的差异 `evalscope/GeneralFunctionCall-Test` 是同一份原始样本的轻量版（仅保留 `messages`/`tools`/`should_call_tool`），用于通用 FC 评测（`general_fc` benchmark）。 本数据集额外保留了 `official_finish_reason` 和 `official_tool_calls`，使得 **`k2_verifier` benchmark** 可以计算与官方 API 的 **trigger similarity（与官方一致性 F1）**、tool-call payload 对照等"vendor 一致性"专属指标。 ## 使用方式 ```python from evalscope import TaskConfig, run_task run_task(TaskConfig( datasets=['k2_verifier'], model='your-model', api_url='https://your-vendor/v1', api_key='...', )) ``` ## 数据规范化 为去除模型品牌偏置，所有 system 中的 `You are Kimi, an AI assistant developed/provided by Moonshot AI.` 已统一替换为 `You are a help assistant.`，与 `evalscope/GeneralFunctionCall-Test` 保持一致。 ## 数据来源 - 原始官方应答：[K2-Vendor-Verifier/evaluation-dataset/tool-calls/kimi-k2-thinking_results.jsonl](https://github.com/MoonshotAI/K2-Vendor-Verifier/tree/main/evaluation-dataset/tool-calls) - 派生脚本：见 `evalscope` 仓库 `tools/stage_k2_verifier.py`