categories-benchmark-eval

Within each bench there are
- data folder
- files contain the candidate models' labels in the field `"category_tag"`.
- ground truth files.
- contain ground truth labels by larger models in the field `"label"`
- vote files contain labels calculated from the votes of `claude-3-7-sonnet`, `deepseek-r1`, `gemini-2.0-pro`, and `gpt-4.5`
- vote_2 : true if >= 2 models vote true
- vote_3 : true if >= 3 models vote true
- individual votes are specified in the field `"votes"`

每个基准分组内包含以下内容：
- 数据文件夹
- 其内文件存储了候选模型的标签，相关标签位于`"category_tag"`字段中。
- 真值标签文件
- 其内包含由大模型生成的真值标签，相关标签位于`"label"`字段中。
- 投票文件包含由`claude-3-7-sonnet`、`deepseek-r1`、`gemini-2.0-pro`及`gpt-4.5`的投票结果计算得到的标签：
- `vote_2`：当至少有2个模型投票为真时，该字段取值为真
- `vote_3`：当至少有3个模型投票为真时，该字段取值为真
- 各模型的单独投票结果存储于`"votes"`字段中。

搜集汇总

背景与挑战

背景概述

该数据集是一个用于评估的基准数据集，包含候选模型标签、由大型模型提供的地面真值标签以及基于多个模型投票计算的标签文件。数据集采用Apache 2.0许可证，由lmarena-ai维护并更新于2025年4月29日。