MiniMax Vendor Verifier 评测数据集

# MiniMax Vendor Verifier 评测数据集 本数据集用于检验第三方 vendor 部署的 **MiniMax M2 / M2.5 / M2.7** 模型，是否忠实复刻官方部署在 tool-calling、推理输出、JSON key 顺序、小语种、n-gram 退化等多维度的行为。整理自 [MiniMax-AI/MiniMax-Provider-Verifier](https://github.com/MiniMax-AI/MiniMax-Provider-Verifier)。 ## 数据布局 ``` default/test.jsonl # 102 条 prompt 样本（带 check_type 路由签） baseline/m2_5/loop_{01..10}.jsonl # M2.5 官方部署 10 轮逐行结果（精简版，~25KB/loop） baseline/m2_7/loop_{01..10}.jsonl # M2.7 官方部署 10 轮逐行结果（精简版） ``` ## prompt 样本字段（default/test.jsonl） | 字段 | 类型 | 说明 | | --- | --- | --- | | `messages` | list | 对话上下文 | | `tools` | list (optional) | 可用工具（OpenAI function calling 格式，部分样本无此字段） | | `check_type` | list[string] (optional) | 行级 validator 路由签，决定该条样本触发哪些 validator | | `expected_tool_call` | bool (optional) | 是否应当触发工具调用（True / False / 缺省=不参与混淆矩阵） | | `scenario_check` | dict (optional) | `scenario_check` validator 的参考期望字段顺序 | 支持的 `check_type` 取值： - `tool_calls`（默认，缺省时默认走此 validator） - `contains_russian_characters_unicode` — 小语种漏字检测 - `repeat_n_gram` — n-gram 重复退化检测 - `scenario_check` — JSON object key 顺序保持检测 此外 `error_only_reasoning`（推理-only 退化检测）为 always-on，与 `check_type` 无关。 ## 官方 baseline 字段（baseline/{m2_5,m2_7}/loop_*.jsonl） 仅保留 per-row 评测所需字段，已剥离原始 request/response 体（原始单 loop 13MB → 精简后 ~25KB）： | 字段 | 说明 | | --- | --- | | `data_index` | 与 `default/test.jsonl` 第 N 行对齐（1-indexed） | | `finish_reason` | 官方应答的 `finish_reason` | | `expected_tool_call` | 同 prompt 字段，回写以便独立分析 | | `tool_calls_finish_reason` / `tool_calls_valid` / `tool_calls_count` | tool_calls validator 的逐行结果（如适用） | | `error_only_reasoning_checked` / `error_only_reasoning` | always-on 推理-only 退化检测 | | `language_following_checked` / `language_following_valid` | 小语种漏字检测 | | `scenario_check_checked` / `scenario_check_valid` | JSON key 顺序保持检测 | | `error_repeating_checked` / `error_repeating` | n-gram 重复退化检测 | | `provider` | 该 loop 的实际 provider 标识（多为空字符串） | ## 子集 | 子集 | 行数 | 说明 | | --- | --- | --- | | `default` | 102 | MiniMax 官方混合测试集，涵盖 tool_calls + 小语种 + scenario 等 | ## 使用方式 ```python from evalscope import TaskConfig, run_task run_task(TaskConfig( datasets=['minimax_verifier'], model='your-model', api_url='https://your-vendor/v1', api_key='...', )) ``` `minimax_verifier` benchmark 将自动读取 `default/test.jsonl` 跑评测，并可选加载 `baseline/m2_7/loop_01.jsonl` 计算 trigger similarity（与官方一致性 F1）。 ## 数据来源 - 原始 prompt：[MiniMax-Provider-Verifier/sample.jsonl](https://github.com/MiniMax-AI/MiniMax-Provider-Verifier/blob/main/sample.jsonl) - 官方 baseline：[MiniMax-Provider-Verifier/output-dir/](https://github.com/MiniMax-AI/MiniMax-Provider-Verifier/tree/main/output-dir) - 派生脚本：见 `evalscope` 仓库 `tools/stage_minimax_verifier.py`