corral-reports-october-runs-summary-v1

该数据集是面向智能体或模型在任务环境中运行表现评估的记录与汇总数据集，用于分析和比较不同智能体、模型在多种环境与级别下的任务执行效果。README 仅以 dataset_info 形式给出元数据，未提供自然语言背景说明。数据集包含三个配置：runs、tasks 和 trials，均只有 train 划分，数据文件分别位于 runs/train-*、tasks/train-* 和 trials/train-*。整体规模为 7,916 条样本，其中 runs 配置 116 条，tasks 配置 1,300 条，trials 配置 6,500 条；dataset_size 分别为 75,894、446,144、3,484,005 字节，总计 4,006,043 字节；download_size 分别为 48,301、77,270、780,301 字节，总计 905,872 字节。三个配置共享 environment、level、agent、model、model_id 和 run_id 标识维度，用于描述运行环境、级别、智能体、模型、模型 ID 与运行 ID。runs 配置提供运行级聚合结果，字段包括 tasks、trials_per_task、trials、passes、error_trials、agent_error_trials、infrastructure_error_trials、average_score、pass_at_1 至 pass_at_5、pass_hat_1 至 pass_hat_5、average_duration_s、total_duration_s、wall_clock_s、total_input_tokens、total_output_tokens、total_reasoning_tokens、total_llm_calls、total_tool_calls、total_agent_steps、generated_at、report_file、report_sha256 和 langfuse_session_url。tasks 配置提供任务级统计，额外包含 task_id、success_rate，并记录每个任务的 trials、passes、error_trials、average_score、pass_at_1 至 pass_at_5、pass_hat_1 至 pass_hat_5、average_duration_s、total_duration_s、total_input_tokens、total_output_tokens、total_reasoning_tokens、total_llm_calls、total_tool_calls 和 total_agent_steps。trials 配置提供单次试验级记录，额外包含 trial、execution_id、score、success、surrendered、error、error_category、error_kind、duration_s、tool_execution_duration_s、input_tokens、output_tokens、reasoning_tokens、llm_calls、tool_calls、agent_steps、langfuse_session_id、langfuse_trace_id 和 langfuse_trace_url。从字段结构可推断，该数据集可用于分析不同智能体和模型在多种环境与级别下的任务执行表现，包括通过率、成功率、平均得分、错误类型与错误归属、耗时、token 消耗、LLM 调用、工具调用和智能体步数等，并可借助 Langfuse 会话或追踪字段关联运行记录。This dataset is a recording and aggregation dataset for evaluating the runtime performance of agents or models in task environments. The README provides metadata only in dataset_info form and does not include natural-language background notes. The dataset contains three configurations: runs, tasks, and trials, all with only a train split, with data files located at runs/train-*, tasks/train-*, and trials/train-*. The overall size is 7,916 samples: 116 in runs, 1,300 in tasks, and 6,500 in trials. Their dataset_size values are 75,894, 446,144, and 3,484,005 bytes respectively, totaling 4,006,043 bytes; their download_size values are 48,301, 77,270, and 780,301 bytes respectively, totaling 905,872 bytes. The three configurations share identifier dimensions including environment, level, agent, model, model_id, and run_id, describing the execution environment, level, agent, model, model ID, and run ID. The runs configuration provides run-level aggregate results, with fields including tasks, trials_per_task, trials, passes, error_trials, agent_error_trials, infrastructure_error_trials, average_score, pass_at_1 through pass_at_5, pass_hat_1 through pass_hat_5, average_duration_s, total_duration_s, wall_clock_s, total_input_tokens, total_output_tokens, total_reasoning_tokens, total_llm_calls, total_tool_calls, total_agent_steps, generated_at, report_file, report_sha256, and langfuse_session_url. The tasks configuration provides task-level statistics, additionally including task_id and success_rate, and records each tasks trials, passes, error_trials, average_score, pass_at_1 through pass_at_5, pass_hat_1 through pass_hat_5, average_duration_s, total_duration_s, total_input_tokens, total_output_tokens, total_reasoning_tokens, total_llm_calls, total_tool_calls, and total_agent_steps. The trials configuration provides individual trial-level records, additionally including trial, execution_id, score, success, surrendered, error, error_category, error_kind, duration_s, tool_execution_duration_s, input_tokens, output_tokens, reasoning_tokens, llm_calls, tool_calls, agent_steps, langfuse_session_id, langfuse_trace_id, and langfuse_trace_url. From the field structure, it can be inferred that the dataset can be used to analyze the task execution performance of different agents and models across multiple environments and levels, including pass rate, success rate, average score, error types and error attribution, duration, token consumption, LLM calls, tool calls, and agent steps, and to associate run records via Langfuse session or trace fields.

原始信息汇总

数据集总结

基本信息

• 数据集页面：https://huggingface.co/datasets/jablonkagroup/corral-reports-october-runs-summary-v1
• 配置数量：3
• 配置名称：runs、tasks、trials
• 数据划分：每个配置均包含 train 划分

配置汇总

配置	划分	样本数	划分字节数	下载大小	数据集大小	数据文件
runs	train	116	75,894	48,237	75,894	https://huggingface.co/datasets/jablonkagroup/corral-reports-october-runs-summary-v1/resolve/main/runs/train-*
tasks	train	1,300	446,144	77,262	446,144	https://huggingface.co/datasets/jablonkagroup/corral-reports-october-runs-summary-v1/resolve/main/tasks/train-*
trials	train	6,500	3,483,959	780,307	3,483,959	https://huggingface.co/datasets/jablonkagroup/corral-reports-october-runs-summary-v1/resolve/main/trials/train-*

字段结构

runs

• string：environment、agent、model、model_id、run_id、generated_at、report_file、report_sha256、langfuse_session_url
• int64：level、tasks、trials_per_task、trials、passes、error_trials、agent_error_trials、infrastructure_error_trials、total_input_tokens、total_output_tokens、total_reasoning_tokens、total_llm_calls、total_tool_calls、total_agent_steps
• float64：average_score、pass_at_1、pass_hat_1、pass_at_2、pass_hat_2、pass_at_3、pass_hat_3、pass_at_4、pass_hat_4、pass_at_5、pass_hat_5、average_duration_s、total_duration_s、wall_clock_s

tasks

• string：environment、agent、model、model_id、run_id、task_id
• int64：level、trials、passes、error_trials、total_input_tokens、total_output_tokens、total_reasoning_tokens、total_llm_calls、total_tool_calls、total_agent_steps
• float64：average_score、success_rate、pass_at_1、pass_hat_1、pass_at_2、pass_hat_2、pass_at_3、pass_hat_3、pass_at_4、pass_hat_4、pass_at_5、pass_hat_5、average_duration_s、total_duration_s

trials

• string：environment、agent、model、model_id、run_id、task_id、execution_id、error、error_category、error_kind、langfuse_session_id、langfuse_trace_id、langfuse_trace_url
• int64：level、trial、input_tokens、output_tokens、reasoning_tokens、llm_calls、tool_calls、agent_steps
• float64：score、duration_s、tool_execution_duration_s
• bool：success、surrendered

搜集汇总

数据集介绍

构建方式

在语言模型智能体评测日益重视运行级可复现与审计追踪的背景下，corral-reports-october-runs-summary-v1 以十月运行报告为素材，采用分层聚合方式构造成型。数据分为 runs、tasks、trials 三类配置，分别汇总完整运行、任务表现与单次试验。字段体系涵盖环境、等级、智能体、模型、运行与任务标识，并记录评分、通过率、pass@k、pass_hat_k、时延、token 消耗、LLM 调用、工具调用、智能体步数、错误分类及 Langfuse 追踪链接、报告文件与 SHA256 校验值，由此形成可追溯、可复核的评测汇总数据。

特点

面向智能体基准测试中宏观比较与微观诊断并重的需求，该数据集呈现出多层级、跨模型与强追溯性的特征。runs 配置含116条样本，tasks 含1300条样本，trials 含6500条样本，覆盖运行、任务与试验三个尺度。指标包括平均分、成功率、pass_at_1 至 pass_at_5、pass_hat_1 至 pass_hat_5，能够反映多次尝试下的稳定性；同时记录持续时间、输入输出及推理 token、LLM 调用、工具调用和智能体步数，便于评估效率。错误字段区分智能体错误与基础设施错误，并在试验级提供错误类别与种类，辅以追踪标识，为失败归因和复现提供支撑。

使用方法

在智能体评测分析、实验复盘与模型对比场景中，该数据集可通过 Hugging Face datasets 接口按配置加载。选择 runs、tasks 或 trials，即可分别获取运行级汇总、任务级统计和试验级明细，用于比较不同智能体、模型、环境与等级的表现，定位具体任务波动，并深入检查单次执行的成功、放弃、错误及资源消耗。分析者可依据 pass@k 与 pass_hat_k 评估稳定性，结合 token 消耗、调用次数、工具调用、智能体步数和持续时间考察效率，并通过 Langfuse 链接与 SHA256 校验开展追踪审计。三个配置均标注为 train 划分，但主要用于评测汇总与诊断，而非直接训练模型。

背景与挑战

背景概述

该数据集名为 corral-reports-october-runs-summary-v1，呈现智能体评测报告在十月运行中的多层汇总形态。公开卡片未标明创建时间、主要研究人员或机构，故其来源与发布时间尚待补充。其核心研究问题在于，将不同环境、层级、智能体与模型的运行结果，聚合为运行级、任务级和试验级记录，并借由通过率、pass@k、pass_hat@k、平均得分、错误试验、令牌消耗、工具调用与智能体步数等指标，刻画自主智能体在复杂任务中的表现谱系。该数据集为智能体基准评测、模型比较与可复现性分析提供了细粒度经验材料，亦为错误归因和资源效率研究奠定数据基础。

当前挑战

该数据集所回应的领域难题，在于自主智能体面对多步推理、工具使用、环境交互与动态反馈时，其成功率、稳定性与成本效率仍高度波动。构建过程中的挑战包括：统一异构运行日志与任务轨迹的模式，确保运行、任务、试验三个层级可准确关联；处理缺失值、失败试验、代理错误与基础设施错误的区分与归因；计算 pass@k 与 pass_hat@k 等统计量时维持试验独立性；整合 Langfuse 会话与追踪链接并保护敏感信息；在有限样本中兼顾粒度、可复现性与跨环境可比性，避免汇总偏差。

常用场景

经典使用场景

伴随大语言模型智能体由静态问答迈向跨环境、多步骤任务求解，corral-reports-october-runs-summary-v1 的经典用途体现为对智能体运行结果的系统化沉淀与横向评测。其 runs、tasks、trials 三层结构将环境、难度层级、智能体、模型、运行标识与任务标识逐级关联，并借助 pass_at_k、pass_hat_k、average_score、成功率、耗时、令牌消耗、LLM 调用、工具调用与智能体步骤等指标，刻画不同配置在多任务基准上的稳定性、效率与失败模式。研究者与工程师据此能够复现实验、比较智能体框架，并追踪单任务与单试验层面的表现差异。

实际应用

在工业级智能体研发、部署与运维场景中，corral-reports-october-runs-summary-v1 可用于模型选型、版本回归、上线前验证与线上质量监控。团队能够依据环境、难度和任务维度比较不同智能体的得分、通过率、平均时延、总运行时长、输入输出令牌、推理令牌、工具调用与步骤数量，从而在性能、成本与稳定性之间进行权衡。langfuse 会话与轨迹链接进一步支持失败诊断，将错误试验回溯至具体执行过程，辅助定位工具调用、模型推理或基础设施层面的异常。

衍生相关工作

围绕这一报告型数据资产，后续相关工作多表现为智能体排行榜复现、错误分类分析、令牌效率研究与工具调用策略比较。基于 runs、tasks、trials 的层级字段，研究者可构建标准化评测流水线，将 pass@k、pass_hat_k 与资源消耗联合纳入模型能力画像；工程团队则可开发可观测性仪表盘与回归测试套件，借助 Langfuse 轨迹链接实现失败案例归因。此类衍生实践推动了智能体评测从单一准确率转向可靠性、效率与可解释性的综合考察。