corral-reports-october-runs-v1

该数据集在 HuggingFace 上以 dataset_info 元数据形式组织，未在 README 中提供自然语言简介。它由多个环境-难度级别配置组成，配置名称采用 environment-level 形式，另有 runs 聚合配置。所有已完整显示的 level 配置均包含 train split，样本为单次智能体或模型在特定环境与难度级别下的试验执行记录；stargazer-level_1 的 split 信息在给定 README 中未提供。字段覆盖运行标识，包括 environment、level、agent、model、model_id、run_id、task_id、trial、execution_id；评估结果，包括 score、success、surrendered、error；耗时与资源消耗，包括 duration_s、tool_execution_duration_s、input_tokens、output_tokens、reasoning_tokens、llm_calls、tool_calls；可观测性信息，包括 langfuse_session_id、langfuse_trace_id、langfuse_trace_url；报告与序列化日志，包括 report_file、output_json、evaluation_json、messages_json、tool_calls_json。其中 JSON 字段使用 large_string 存储。runs 配置是聚合统计表，字段包括 environment、level、agent、model、model_id、run_id、tasks、trials_per_task、trials、passes、error_trials、average_score、pass_at_1、pass_at_k、pass_hat_k、input_tokens、output_tokens、generated_at、report_file、report_sha256、langfuse_session_url。该配置可用于查看每个运行的任务数、试验数、通过数、错误试验数、平均分和不同 pass 指标。配置与规模如下：afm-level_1 有 150 个样本，dataset_size 为 14742083 字节，download_size 为 3654885 字节；afm-level_2 有 50 个样本，dataset_size 为 3304280 字节，download_size 为 765179 字节；corral_md-level_1 有 350 个样本，dataset_size 为 383277222 字节，download_size 为 116498648 字节；corral_md-level_2 有 350 个样本，dataset_size 为 471720168 字节，download_size 为 156650417 字节；inference_opt-level_1 有 350 个样本，dataset_size 为 686711395 字节，download_size 为 221765367 字节；inference_opt-level_2 有 350 个样本，dataset_size 为 798614744 字节，download_size 为 255030412 字节；psychometrics-level_1 有 350 个样本，dataset_size 为 443093752 字节，download_size 为 145561976 字节；psychometrics-level_2 有 350 个样本，dataset_size 为 469476659 字节，download_size 为 151129154 字节；resistor_network-level_1 有 350 个样本，dataset_size 为 503647821 字节，download_size 为 154108688 字节；resistor_network-level_2 有 350 个样本，dataset_size 为 521690508 字节，download_size 为 160831539 字节；retrosynthesis-level_2 有 350 个样本，dataset_size 为 428044416 字节，download_size 为 89761567 字节；retrosynthesis-level_3 有 350 个样本，dataset_size 为 410367926 字节，download_size 为 98684820 字节；runs 有 116 个样本，dataset_size 为 58589 字节，download_size 为 29526 字节；spectra_elucidation-level_1 有 700 个样本，dataset_size 为 324251448 字节，download_size 为 90108055 字节；spectra_elucidation-level_2 有 700 个样本，dataset_size 为 302871286 字节，download_size 为 84368751 字节；stargazer-level_1 在给定 README 中特征列表被截断，未提供 split 规模、dataset_size 和 download_size。除 stargazer-level_1 外，已提供规模信息的 15 个配置合计 5216 个样本。适用任务或应用场景：基于字段和配置可推断，该数据集适合用于分析语言模型或智能体在 afm、corral_md、inference_opt、psychometrics、resistor_network、retrosynthesis、spectra_elucidation、stargazer 等环境和多难度级别下的任务执行表现，包括成功率、平均分、pass_at_1、pass_at_k、pass_hat_k、错误或放弃情况、耗时和 token 或工具调用消耗；也可用于模型与智能体对比、运行日志审计、可观测性追踪和结果复现。README 未明确给出数据来源、采集流程、任务定义或基准说明。

原始信息汇总

数据集标识

项目	内容
数据集 ID	jablonkagroup/corral-reports-october-runs-v1
数据集详情页	https://huggingface.co/datasets/jablonkagroup/corral-reports-october-runs-v1
配置数量	README 中列出 16 个 config_name
数据划分	已给出 splits 的配置均仅包含 train 划分

配置与划分统计

配置名	split	num_examples	num_bytes	download_size	dataset_size
afm-level_1	train	150	14742083	3654885	14742083
afm-level_2	train	50	3304280	765179	3304280
corral_md-level_1	train	350	383277222	116498648	383277222
corral_md-level_2	train	350	471720168	156650417	471720168
inference_opt-level_1	train	350	686711395	221765367	686711395
inference_opt-level_2	train	350	798614744	255030412	798614744
psychometrics-level_1	train	350	443164171	145589675	443164171
psychometrics-level_2	train	350	469476659	151129154	469476659
resistor_network-level_1	train	350	503647821	154108688	503647821
resistor_network-level_2	train	350	521690508	160831539	521690508
retrosynthesis-level_2	train	350	428044416	89761567	428044416
retrosynthesis-level_3	train	350	410367926	98684820	410367926
runs	train	116	58589	29505	58589
spectra_elucidation-level_1	train	700	324251448	90108055	324251448
spectra_elucidation-level_2	train	700	302871286	84368751	302871286

通用特征结构

除 runs 外的配置使用以下 features 结构：

字段名	dtype
environment	string
level	int32
agent	string
model	string
model_id	string
run_id	string
task_id	string
trial	int32
execution_id	string
score	float64
success	bool
surrendered	bool
error	string
duration_s	float64
tool_execution_duration_s	float64
input_tokens	int64
output_tokens	int64
reasoning_tokens	int64
llm_calls	int64
tool_calls	int64
langfuse_session_id	string
langfuse_trace_id	string
langfuse_trace_url	string
report_file	string
output_json	large_string
evaluation_json	large_string
messages_json	large_string
tool_calls_json	large_string

runs 配置特征结构

字段名	dtype
environment	string
level	int64
agent	string
model	string
model_id	string
run_id	string
tasks	int64
trials_per_task	int64
trials	int64
passes	int64
error_trials	int64
average_score	float64
pass_at_1	float64
pass_at_k	float64
pass_hat_k	float64
input_tokens	int64
output_tokens	int64
generated_at	string
report_file	string
report_sha256	string
langfuse_session_url	string

截断说明

• stargazer-level_1：提供的 README 内容在 reasoning_tokens 的 dtype 行截断，未包含该字段完整类型、后续 features 及 splits 统计。

搜集汇总

数据集介绍

构建方式

在智能体评测日益倚重运行级证据的背景下，corral-reports-october-runs-v1 以十月多环境评测报告为素材，将各基准、难度层级与试验执行结果按配置组织为可追溯数据集。其记录源自 CORRAL 运行流水线，每行对应一次 agent 在特定 environment、level、task_id 与 trial 下的 execution，统一保存模型标识、运行标识、得分、成功或放弃或错误状态、耗时、工具调用、输入输出与推理 token、LLM 调用次数，以及 Langfuse 追踪信息和 output、evaluation、messages、tool_calls 的 JSON 序列化内容。汇总配置 runs 进一步按运行聚合任务数、试验数、通过数、错误试验、平均分与 pass_at_1、pass_at_k、pass_hat_k 等指标，形成明细与概览并置的结构。

特点

作为面向智能体行为审计与基准比较的资源，该数据集呈现出多环境、多难度和细粒度追踪并重的特征。配置覆盖 afm、corral_md、inference_opt、psychometrics、resistor_network、retrosynthesis、spectra_elucidation、stargazer 等任务域，层级从 level_1 延伸至 level_3，单配置样本量介于 50 至 700 之间。字段体系兼顾结果与过程：score、success、surrendered、error 刻画终态，duration_s、tool_execution_duration_s、input_tokens、output_tokens、reasoning_tokens、llm_calls、tool_calls 记录成本与效率，Langfuse 标识及 JSON 大字段保留可复核轨迹。runs 配置则提供通过率与 pass_at_k 等聚合视图，便于横向对照。

使用方法

研究者若需利用该数据集开展智能体评测，可通过 Hugging Face datasets 接口按配置名与 train 划分加载，例如读取 corral_md-level_1、inference_opt-level_2 或 runs 等子集。加载后可依据 environment、level、agent、model、task_id、run_id、trial 等字段筛选与分组，进而计算成功率、平均分、耗时分布、token 消耗与工具调用强度。large_string 类型的 output_json、evaluation_json、messages_json、tool_calls_json 可解析为结构化对象，用于重建对话、评估理由与工具轨迹；langfuse_trace_url 则支持跳转至观测链路。runs 配置中的 pass_at_1、pass_at_k、pass_hat_k 与 report_sha256 可用于汇总校验和跨模型比较。

背景与挑战

背景概述

面向人工智能驱动的科学发现与自主智能体评测，corral-reports-october-runs-v1 以十月运行批次为名，汇聚 afm、corral_md、inference_opt、psychometrics、resistor_network、retrosynthesis、spectra_elucidation 与 stargazer 等多环境配置，记录智能体在分级任务中的得分、成功、让步、错误、耗时、令牌消耗、工具调用及 Langfuse 轨迹。其核心问题在于考察大语言模型代理能否借由工具增强完成科学推理、优化与多步决策，并以 pass@1、pass@k、pass^k 等指标刻画能力边界。README 未披露创建时间、研究团队与机构，故不宜臆断；其命名暗示十月首版发布，对可复现智能体基准与失败分析具有潜在价值。

当前挑战

围绕科学发现自动化与工具增强智能体评测，该数据集需直面多重挑战：领域层面，逆合成、光谱解析、电阻网络、心理测量与推理优化等任务蕴含长程规划、领域知识调用、工具选择与错误恢复，单一模型往往难以稳定胜任；构建层面，异构环境需统一字段与评分口径，运行轨迹、消息、工具调用和输出与评估 JSON 体量庞大，令牌、时长与 pass@k 统计需跨配置对齐，且要处理让步、异常、重试与可复现性验证。数据版本、任务难度分层与运行批次差异亦可能影响结论外推。

常用场景

经典使用场景

在大语言模型智能体由静态问答迈向工具增强与多步推理的进程中，标准化运行报告成为刻画能力边界的重要基础设施。corral-reports-october-runs-v1 汇集了 afm、corral_md、inference_opt、psychometrics、resistor_network、retrosynthesis、spectra_elucidation 与 stargazer 等多环境、多难度等级的智能体运行记录。其经典使用场景在于对模型或智能体开展离线基准评估：以 run_id、task_id、trial 为单位计算得分、成功率、pass@1 与 pass@k，并借助 messages_json、tool_calls_json 及 Langfuse trace 还原推理轨迹与工具调用过程，从而系统比较不同模型、智能体和工具链在复杂任务上的表现。

衍生相关工作

围绕智能体运行日志与基准报告，后续研究常沿轨迹分析、失败归因与评估协议改进等方向展开。corral-reports-october-runs-v1 的细粒度字段促进了基于 messages_json 与 tool_calls_json 的行为分析、工具调用策略学习和错误分类工作；其 pass@k 与分层 level 设计也为多难度基准分析、统计显著性检验和可复现评测提供参照。由此延伸的相关经典工作涵盖智能体轨迹可视化、成本敏感型评估、科学发现智能体评测以及 Langfuse 生态下的可观测性研究，推动了智能体评测从单一分数报告走向过程透明与证据驱动的范式。

数据集最近研究

最新研究方向

伴随自主智能体向科学发现与工程优化渗透，corral-reports-october-runs-v1所代表的细粒度运行报告数据集正推动评测从单一准确率转向过程可观测与成本约束并重。其前沿聚焦跨环境、分级难度的智能体基准，覆盖retrosynthesis、spectra_elucidation、inference_opt、psychometrics、resistor_network与stargazer等任务，并以score、success、surrendered、error、duration_s、tool_execution_duration_s、token用量、llm_calls与tool_calls刻画推理及工具轨迹。runs配置中的pass@1、pass@k、pass_hat_k和Langfuse trace链接支撑可复现审计。该方向呼应自主科研智能体评测、失败诊断与推理成本控制热点，对模型选型、智能体架构迭代和开放基准建设具有参考意义。