evaleval/EEE_datastore

Every Eval Ever Datastore项目是一个共享模式和众包评估数据库，用于存储AI评估结果。它包括一个元数据模式、验证以及现有评估日志的转换器。数据集结构包含各种基准测试和模型，并为贡献者提供了详细的提交新基准测试和评估的指南。该数据集旨在标准化不同框架评估结果的比较、复制和重用。The Every Eval Ever Datastore project is a shared schema and crowdsourced eval database for storing AI evaluation results. It includes a metadata schema, validation, and converters for existing evaluation logs. The dataset is structured with various benchmarks and models, and it provides detailed instructions for contributors on how to submit new benchmarks and evals. The dataset is designed to standardize the comparison, reproduction, and reuse of evaluation results from different frameworks.

原始信息汇总

数据集概述

数据集名称

Every Eval Ever Datastore (EEE_datastore)

维护方

EvalEval Coalition

• 点赞数: 28
• 关注数: 76

数据集规模

• 总行数: 10K - 100K
• 模态: Text（文本）
• 许可证: MIT

数据集结构

数据集采用扁平化存储视图（Flat datastore view），每个基准测试作为逻辑上的数据集子集（subset/config），包含两个逻辑分割（split）：

分割名称	说明
aggregate	每个 UUID 对应一个聚合结果 JSON 对象
instance_level	每个实例对应一行 JSONL 记录，并链接回其聚合对象 UUID

子集（Subset）数量: 92 个，涵盖多种基准测试，包括但不限于：

• GAIA
• IFEval
• MMMU-Multiple-Choice / MMMU-Open-Ended
• MathVista
• ace / agentharm / alphaxiv
• arc-agi / artificial-analysis-llmsbfcl
• big_bench_hard / browsecompplus
• caparena-auto / cocoabench / commonsense_qa
• cvebench / cybench / cyse2 系列
• facts-grounding / fibble 系列
• gdm_intercode_ctf / global-mmlu-lite / gpqa_diamond
• gsm-mc / gsm8k
• hal 系列（hal-assistantbench, hal-corebench-hard, hal-gaia 等）
• hellaswag / helm 系列（helm_air_bench, helm_capabilities, helm_instruct 等）
• hfopenllm_v2 / hle / journalistic-bias / judgebench_samples
• la_leaderboard / live_bench / livecodebenchpro
• llm-stats / math-mc / mbpp / mmlu-pro / mt-bench
• multi-swe-bench-leaderboard / openai_humaneval / openeval
• piqa / reward-bench / reward-bench-2 / sciarena
• swe-bench / swe-bench-verified-leaderboard 等
• tau-bench-2 系列（airline, retail, telecom）
• terminal-bench-2.0 / theory_of_mind_samples / vals-ai
• wmt25_bhojpuri_maasai / wordle_arena

注意: 部分子集（如 helm_classic）当前显示为 ❌（不可用/不存在）。

数据用途

该数据集是 Every Eval Ever 项目的核心数据存储库，旨在为 AI 评估结果定义一个标准化的元数据格式，存储来自排行榜爬取、研究论文和本地评估运行等不同来源的评估结果。主要目标包括：

• 使来自不同框架的评估结果能够进行比较、复现和复用

数据提交方式

用户可以两种方式贡献新数据：

1. Option A: 通过 Hugging Face 拖放上传，以 Pull Request 形式提交
2. Option B: 克隆 GitHub 仓库，在 data/ 目录下添加数据后发起 PR

数据结构规范

• JSON Schema: 遵循 eval.schema.json（当前版本 0.2.0）
• UUID 命名: 每个评估结果文件使用 UUID v4 命名，确保唯一性
• 文件夹结构: data/{benchmark_name}/{developer_name}/{model_name}/
• 实例级数据: 可选的 {uuid}.jsonl 文件存储每个样本的详细结果，支持三种交互类型：
  • single_turn（标准问答、多选题、分类）
  • multi_turn（多轮对话评估）
  • agentic（工具调用与沙箱执行评估）

仓库结构

data/ └── {benchmark_name}/ └── {developer_name}/ └── {model_name}/ ├── {uuid}.json # 聚合结果 └── {uuid}.jsonl # 实例级结果（可选）

搜集汇总

数据集介绍

构建方式

在人工智能评估领域，数据标准化是确保结果可比性与可复现性的基石。EEE_datastore采用众包协作模式构建，通过统一的元数据模式规范评估结果的存储格式。该数据集以层级目录结构组织，遵循“基准名称/开发者名称/模型名称”的路径范式，每个模型的评估结果以符合JSON Schema的独立文件存储，并采用UUID命名机制确保唯一性。数据提交过程严格遵循自动化验证流程，利用预定义的转换器将主流评估框架的输出转化为标准化格式，从而实现了多源异构评估数据的系统化整合。

特点

该数据集的核心特征在于其精心设计的元数据架构，能够全面捕获评估过程的上下文信息。它不仅记录模型性能分数，更详细纳入评估来源、生成配置、时间戳及指标定义等关键元数据，支持数值型与等级型指标的标准化表示。数据集特别强调实例级数据的完整性，通过配套的JSONL文件存储单轮对话、多轮交互及智能体评估的详细样本记录，实现了从宏观统计到微观样本的全粒度覆盖。这种设计使得跨基准、跨框架的深度对比分析与可解释性研究成为可能。

使用方法

研究人员可通过HuggingFace平台直接访问数据集的多个配置版本，每个配置对应特定的评估基准集合。使用前需熟悉其JSON Schema规范，理解模型命名、评估标识及时间戳等字段的标准化约定。对于新数据的贡献，用户可选择通过HuggingFace界面上传或克隆仓库提交拉取请求，并利用内置的验证工具确保数据合规性。数据集提供的评估转换器工具链支持将Inspect AI、HELM等框架的原始日志转化为标准格式，极大简化了历史评估数据的集成流程。实例级数据与聚合数据的关联查询为细粒度性能分析提供了结构化支持。

背景与挑战

背景概述

EEE_datastore 数据集由 EvalEval 联盟于2026年构建，旨在解决人工智能评估领域长期存在的碎片化问题。该数据集通过定义标准化的元数据模式，整合了来自多个主流评估框架（如HELM、lm-eval-harness）以及公开排行榜（如Open LLM Leaderboard）的评估结果。其核心研究问题聚焦于如何实现跨框架评估结果的可比性、可复现性与可重用性，为模型性能的横向对比提供了统一基准。该数据集的建立标志着评估科学向系统化、规范化迈出了关键一步，对推动大语言模型的透明化评估具有深远影响。

当前挑战

EEE_datastore 面临的核心挑战在于解决评估生态系统的异构性。具体而言，不同评估框架在指标定义、数据格式和评分标准上存在显著差异，导致结果难以直接比较。构建过程中的挑战则体现在数据整合的复杂性上，需要设计兼顾灵活性与严格性的元数据模式，以容纳从简单分类任务到复杂智能体评估的多样化场景。同时，确保海量贡献数据的质量与模式一致性，以及处理包含时间戳、推理平台等动态元数据的标准化，均是数据集构建中需要克服的技术难题。

常用场景

经典使用场景

在人工智能模型评估领域，EEE_datastore作为标准化评估结果的集中存储库，其经典使用场景在于为研究者提供跨框架、跨基准的统一比较平台。通过整合来自HELM、Inspect AI、lm-evaluation-harness等多种评估框架的输出，该数据集使得不同模型在MMLU、SWE-Bench等多样化基准上的性能能够以规范化的元数据格式进行对齐与对比，极大地促进了模型能力评估的透明性与可复现性。

实际应用

在实际应用层面，EEE_datastore为模型开发者、企业及政策制定者提供了决策支持工具。开发者可利用该数据集进行竞品分析，精准定位自身模型在代码生成、推理能力等维度的优势与不足；企业能够基于标准化评估结果筛选适合特定场景的模型；政策制定者则可借助其透明、可审计的评估记录，推动人工智能治理与负责任部署。数据集支持的实例级数据进一步赋能细粒度错误分析与模型迭代。

衍生相关工作

围绕EEE_datastore的标准化理念，已衍生出一系列重要的相关工作。EvalEval联盟基于该Schema发起了ACL 2026共享任务，激励社区共同构建统一的评估数据库。同时，配套开发的评估转换器（如针对HELM、lm-eval的转换工具）降低了数据集成门槛。这些工作共同推动了如“全局MMLU Lite”、“LiveCodeBench Pro”等基准数据的标准化入库，为构建下一代模型评估生态系统奠定了基础。