latkes/inside-out-replication-v2-judge-labels
收藏Hugging Face2026-05-16 更新2026-05-31 收录
下载链接：
https://hf-mirror.com/datasets/latkes/inside-out-replication-v2-judge-labels
下载链接
链接失效反馈官方服务：
资源简介：
该数据集名为inside-out-replication-v2-judge-labels，包含对去重采样答案的评判标签。方法采用exact_match（当规范化答案等于标准答案时）或使用Qwen2.5-14B模型按关系进行链式思维（CoT）评判生成等级A/B/C/D（其中A/B映射为CORRECT/INCORRECT）。数据集共有2901127行和9列，包括问题ID、答案、计数、标签、方法、等级、模型、关系和拆分等列。用于评估模型在特定关系上的答案正确性。
Judge labels for deduplicated sampled answers. Method is exact_match where the normalized answer equals gold, else a Qwen2.5-14B per-relation CoT judge producing grade A/B/C/D.
提供机构：
latkes
