EarthBench-Fixed

# EarthBench-Fixed 发布版本 `2026-10-31-contracts-v3`。用于固定工具观测环境下的 Earth observation agent 评测。 包含 248 道题、13684 个输入文件、2341 次参考工具调用、569 条固定感知观测与 39 张掩膜。 保留全部题干和 104 个工具的公开参数、description；修复工具实现、缓存、参考链和答案之间的不一致。 被测模型的历史轨迹和成绩不修改。 ## 使用 代码仓库为 `haodijia/GeoEvolve`。在代码仓库运行： ```bash uv sync --locked uv run --locked python -m benchmark.prepare uv run --locked python -m benchmark.prepare --check uv run --locked python scripts/validate_mcp_tools.py --replay-ground-truth ``` 本数据仓库根目录内容放入 `benchmark/earthbench/`。`data/` 为输入， `perception/observations.csv` 为唯一固定观测表，掩膜位于 `perception/masks/`。 不需要模型服务，不安装外置缓存补丁；未知请求明确报错。 `questions.json` 只含 agent 输入。参考答案与调用存放在 `ground_truth.json`； `provenance/reference-plan.json` 保存依赖计划，回放通过真实工具执行并保存返回值。 `provenance/answer-review.json` 保存答案算术证据；这些内容不进入 agent 提示词。 `manifest.json` schema 2 记录文件路径与大小，代码版本锁固定 ModelScope commit。 不新增文件哈希；下载及离线检查按发布文件清单和大小校验。 ## 本版修订 - 数值统计排除 NoData，只统计目标波段；归一化指数处理无效输入和零分母。 - TES 修正发射率差口径，ATI 应用反照率元数据并保留原公式符号。 - 修正部分栅格 scale 和地理变换；从同源 Q180 补齐 Q179 的 26 个已有输入。 - 569 条冻结观测包含经审核的历史请求补充，旧外置补丁已整合。 - 实际回放参考链后统一必要的选项值、关系、答案字母与开放题精度。 - 上版问题、参考和观测表完整保存在 `provenance/previous_release/`。 来源和逐项记录见 `provenance/SOURCES.md`、`release-v3.json`、`answer-corrections.json`、 `observations-v3.json`、`albedo-metadata-repair.json`、`thermal-grid-repair.json`、 `reverse-scan-grid-repair.json` 和 `fire-input-repair.json`。 固定观测不等于所有目标均经过人工重标；补充记录保留实际后端及审核来源。 部分源题文字日期与提供文件日期不一致，参考使用可用输入的实际日期，不改题干。 Q148/149 沿用根据固定统计量合成的输入，非原始遥感影像；原有声明继续保留。 TES 为简化 NEM / beta / MMD 估计，不宣称完整大气校正产品。 ## 许可 沿用上游声明的 Apache-2.0；见 LICENSE、provenance/NOTICE。