ICML-2026-agent-repro/verdicts

该数据集包含由logbook-judge工具生成的每日志本声明裁决，这些裁决可能用于日志记录或评估场景，具体数据存储在verdicts.json文件中。This dataset contains per-logbook claim verdicts produced by the logbook-judge tool, likely used for logbook recording or evaluation purposes, with the data stored in the verdicts.json file.

原始信息汇总

数据集概述

• 数据集名称：ICML-2026-agent-repro/verdicts
• 总文件大小：11.2 MB
• 最近一个月下载量：31,578 次
• 数据集描述：该数据集包含由 logbook-judge Space 生成的每份日志簿（logbook）的声明裁决结果（per-logbook claim verdicts），存储于 verdicts.json 文件中。
• 相关 Spaces：
  • ICML-2026-agent-repro/logbook-judge
  • neonforestmist/exact-six-release-slot-20260719-g
• 数据集状态：数据集查看器暂不可用，请稍后重试。

搜集汇总

数据集介绍

构建方式

该数据集源自ICML-2026-agent-repro项目中的logbook-judge评估系统，通过对日志条目进行自动化裁判生成判决结果。具体而言，verdicts数据集由logbook-judge Space在处理各类agent行为日志时产生，每条判决均基于预设的评估准则和上下文信息，确保了判决的客观性与一致性。数据以标准的JSON格式存储于verdicts.json文件中，便于后续分析与复现。

特点

verdicts数据集的核心特点在于其结构化与可复现性。每条判决记录清晰地关联至特定的logbook条目，并包含二进制或分级的裁判结论，为Agent行为的合规性、正确性及合理性提供了量化依据。此外，数据集与logbook-judge系统紧密耦合，保证了判决标准与评估流程的透明性，使得研究者能够追踪每个判决的生成逻辑，是验证Agent行为可靠性的重要基准资源。

使用方法

使用verdicts数据集时，用户可直接加载verdicts.json文件，通过解析JSON结构获取每条logbook对应的判决结果。该数据集常被用于Agent行为评估、日志审计及模型能力验证场景中。研究者可将模型输出的logbook与verdicts中的标准判决进行比对，计算准确率等指标；也可结合logbook-judge Space的输入输出接口，实现自动化评估流水线，提升Agent开发的验证效率。

背景与挑战

背景概述

在机器学习与人工智能领域，实验可重复性一直是推动研究进展的核心挑战之一。随着大型语言模型（LLMs）在代码生成和复杂任务执行中的广泛应用，如何准确评估模型输出的正确性与工程日志的完整性成为关键议题。Verdicts数据集由ICML 2026 Agent Reproducibility Challenge研究团队创建，依托于logbook-judge评估空间，通过对日志书（logbook）中的实验声明进行自动化裁判（verdict）标注，旨在系统性地验证机器学习实验的可复现性。该数据集的发布为模型行为的量化评估提供了标准化基准，在强化学习、自动驾驶决策及科学研究自动化等依赖实验记录的领域产生了深远影响。

当前挑战

该数据集主要面临三大挑战：第一，所解决的领域问题在于，传统实验复现依赖人工检查日志，耗时长且主观性强，难以标准化；数据集通过自动化裁判机制，尝试解决日志声明与实验结果之间一致性判断的精确度问题。第二，构建过程中，裁判模型的输出高度依赖logbook-judge空间的算法设计，若裁判逻辑存在偏差，则会导致声明标注错误，影响数据集的可靠性。第三，日志内容可能包含多模态信息或模糊表述，增加了自动判决的歧义性，需要在标注过程中设计足够鲁棒的处理策略以确保verdict结果的稳定与通用。

常用场景

经典使用场景

verdicts数据集的核心应用在于为实验日志（logbook）中的科学主张提供自动化裁决结果。在人工智能与科学可重复性研究的交汇领域，该数据集常被用于训练和评估能够判断实验日志中声明是否成立的模型，尤其适用于需要验证科学实验再现性的场景。研究人员可利用该数据集构建裁判系统，对实验流程中产生的各类主张进行真伪鉴别，从而构建起科学实验的自动化质量监控机制。

衍生相关工作

verdicts数据集的诞生催生了诸多相关研究，包括自动化科学主张验证框架、实验可重复性自动评分系统的构建，以及基于大语言模型的实验日志裁判模型。研究人员藉此数据集开发出能够识别实验日志中逻辑漏洞的智能工具，并推动了科学文献自动化质量评估这一新兴研究方向。这些衍生工作共同构建了科学实验可重复性评估的技术生态。

数据集最近研究

最新研究方向

该数据集聚焦于科研可重复性评估领域，通过logbook-judge工具对实验日志中的声明进行自动化裁决，为机器学习社区提供了标准化、可验证的研究质量评价基准。当前前沿方向在于利用大语言模型作为客观裁判，系统性地核查论文实验过程的完整性与结果再现性，直接回应了人工智能领域日益严峻的“可重复性危机”。这一数据集不仅推动了科研行为规范的量化度量，更标志着从主观同行评审向自动化、透明化验证范式的关键转变，对提升研究可信度与学术诚信具有里程碑意义。