withmartian/routerbench

---
task_categories:
- text-generation
- question-answering
language:
- en
tags:
- code
pretty_name: RouterBench
size_categories:
- 10K<n<100K
---

RouterBench is a dataset comprising of over 30000 prompts and the responses from 11 different LLMs, with the prompts taken from standard benchmarks such as MBPP, GSM-8k, Winogrande, Hellaswag, MMLU, MT-Bench, and more.
The data includes the prompt, the model response, the estimated cost associated with that response, and a performance score to answer if the model got the answer correct. All prompts have a correct answer that the LLM generation
is compared against. These datasets are designed to be used with Martian's [routerbench](https://github.com/withmartian/alt-routing-methods/tree/public-productionize) package for training and evaluating various model routing
methods.

There are two versions of the dataset, one where there is 5-shot generation, and one with 0-shot results. Both datasets can be used with the `routerbench` package individually or in combination.

任务类别：
- 文本生成（text-generation）
- 问答（question-answering）
语言：
- 英语（en）
标签：
- 代码（code）
数据集展示名称：RouterBench
数据规模区间：
- 10000 < n < 100000（即1万至10万条数据）

RouterBench是一款涵盖超3万条提示词（prompt）及11种不同大语言模型（Large Language Model）生成回复的数据集，其中提示词取自MBPP、GSM-8k、Winogrande、Hellaswag、MMLU、MT-Bench等多项标准基准测试集。
该数据集包含提示词、模型回复、该回复对应的预估成本，以及用于判定模型答案正确性的性能评分。所有提示词均配有标准答案，可作为对照基准，用于评估大语言模型的生成结果。
本数据集专为配合Martian开发的[routerbench](https://github.com/withmartian/alt-routing-methods/tree/public-productionize)工具包设计，可用于训练与评估各类模型路由方法。
该数据集包含两个版本：其一为少样本（Few-shot）生成版本，其二为零样本（Zero-shot）结果版本。两个数据集均可单独或组合配合`routerbench`工具包使用。

原始信息汇总

RouterBench 数据集概述

任务类别

• 文本生成
• 问答

语言

• 英语

标签

• 代码

数据集名称

• RouterBench

数据集大小

• 10K<n<100K

数据集描述

RouterBench 数据集包含超过 30000 个提示及其来自 11 种不同大型语言模型（LLMs）的响应。这些提示来自多个标准基准，如 MBPP、GSM-8k、Winogrande、Hellaswag、MMLU、MT-Bench 等。数据集包括提示、模型响应、与响应相关的估计成本以及一个性能评分，用于判断模型是否正确回答了问题。所有提示都有一个正确答案，用于与 LLM 生成的答案进行比较。这些数据集旨在与 Martian 的 routerbench 包一起使用，用于训练和评估各种模型路由方法。

数据集版本

• 5-shot 生成版本
• 0-shot 结果版本

这两个版本的数据集可以单独或组合使用 routerbench 包。

搜集汇总

数据集介绍

构建方式

RouterBench数据集汇聚了超过三万个提示词（prompts），这些提示词源自MBPP、GSM-8k、Winogrande、Hellaswag、MMLU、MT-Bench等标准基准测试。针对每个提示词，数据集收集了来自11种不同大语言模型（LLMs）的响应结果，并记录了每项响应的预估成本以及一个性能评分，用以判定模型回答是否正确。所有提示词均配有标准答案，用于与模型生成内容进行比对。该数据集包含两个版本：一个采用5次少样本（5-shot）生成策略，另一个为零样本（0-shot）结果，两者均可独立或组合使用。

特点

RouterBench的核心特色在于其多维度、多模型的响应评估体系。它不仅涵盖了来自11种不同LLMs的响应，还创新性地引入了与每项响应相关的预估成本指标，使得模型路由选择能够在性能与成本之间进行权衡。此外，数据集中每个提示词均具有明确的正确答案，确保了性能评分的客观性与可比性。该数据集专为与Martian的routerbench包协同设计，为训练和评估模型路由方法提供了标准化且丰富的资源。

使用方法

RouterBench数据集专为配合Martian的routerbench包（https://github.com/withmartian/alt-routing-methods/tree/public-productionize）使用而构建。用户可直接利用该数据集进行模型路由方法的训练与评估。数据集的两个版本（5-shot与0-shot）支持单独使用或组合使用，以适应不同的实验需求。通过加载数据集中的提示词、模型响应、成本及性能评分，用户能够构建并测试路由策略，实现根据任务特性动态选择最优模型，从而在保证性能的同时优化推理成本。

背景与挑战

背景概述

RouterBench数据集诞生于大型语言模型（LLM）部署成本与性能权衡的迫切需求之中。由Martian团队于近期创建，该数据集聚焦于模型路由这一新兴研究问题——即如何根据输入提示动态选择最优LLM以平衡推理成本与回答准确性。数据集整合了超过30,000条提示，涵盖MBPP、GSM-8k、Winogrande、Hellaswag、MMLU及MT-Bench等标准基准测试，并收录了11种不同LLM的响应。每条记录不仅包含提示与模型输出，还标注了估算的推理成本以及基于标准答案的性能评分。RouterBench的发布为模型路由方法的系统评估提供了标准化测试平台，推动了高效LLM服务策略的发展，在降低计算开销的同时维持高任务表现，对资源受限的部署场景具有重要影响力。

当前挑战

RouterBench所解决的领域问题在于，现有LLM服务往往采用单一模型或简单规则分配，无法在性能与成本间实现动态优化。数据集构建过程中的挑战包括：1) 提示来源的多样性整合——需从多个异构基准中统一格式并确保所有提示具有可验证的标准答案，这涉及对MBPP的代码正确性、GSM-8k的数学推导及MMLU的多领域知识进行严格判据对齐；2) 成本估算的标准化——不同LLM的API定价差异与推理长度波动使得单次响应成本难以精确量化，需设计鲁棒的估算模型；3) 性能评分的二元性简化——将模型输出与标准答案的匹配转化为离散正确/错误标签，可能丢失部分正确或近似答案的语义信息，影响路由策略的泛化能力。

常用场景

经典使用场景

RouterBench数据集汇集了来自11种不同大型语言模型在MBPP、GSM-8k、Winogrande、Hellaswag、MMLU、MT-Bench等标准基准测试上的超过三万条提示及其对应回复，为模型路由策略的研究提供了丰富的实验素材。其核心应用场景在于训练和评估智能路由算法，通过分析提示特征、模型响应质量与推理成本之间的微妙关联，实现将不同难度的查询动态分配给最适宜的语言模型，从而在保证输出准确性的前提下优化资源消耗。这一数据集的出现，使得模型路由从经验驱动的粗放式选择迈向数据驱动的精细化决策，为构建经济高效的多模型协作系统奠定了坚实基础。

衍生相关工作

RouterBench的发布催生了一系列围绕模型路由与选择性推理的经典工作。研究者基于该数据集开发了多种路由策略，包括基于分类器的静态路由、基于强化学习的动态路由以及结合不确定性估计的自适应选择方法。其中，部分工作深入探索了路由特征工程，利用提示的语义嵌入、模型置信度分数和任务类型标签来提升路由决策的准确性。另有研究将RouterBench与模型蒸馏、集成学习等技术相结合，试图在保持性能的同时进一步压缩推理成本。这些衍生工作不仅验证了数据集的有效性，更推动了模型路由从单一基准测试向实际生产环境的迁移，形成了以数据驱动为核心的模型协作研究新范式。

数据集最近研究

最新研究方向

在大规模语言模型（LLM）推理成本与性能权衡的背景下，RouterBench数据集应运而生，聚焦于模型路由这一前沿方向。该数据集整合了来自MBPP、GSM-8k、MMLU等十余个标准基准的超过3万条提示，并收录了11种不同LLM的响应、推理成本估算及准确性评分。其核心价值在于为动态路由算法提供标准化训练与评估平台，推动智能选择最优模型以平衡推理质量与计算开销这一热点问题。随着多模型协作架构的兴起，RouterBench通过引入零样本与五样本两种生成版本，为研究模型选择策略的泛化能力与鲁棒性提供了关键资源，对构建高效、经济的LLM服务系统具有深远意义。