XUO/terminal-bench

Terminal-Bench数据集包含来自[Terminal-Bench](https://github.com/laude-institute/terminal-bench)的任务，这是一个用于在真实终端环境中评估AI代理的基准。每个任务都打包为一个完整的、自包含的存档，保留了精确的目录结构、二进制文件、Docker配置和测试脚本，以确保忠实再现。数据集使研究人员能够：以字节完美的保真度重现官方结果；构建自定义评估工具同时保持兼容性；在不提取存档的情况下分析任务特征；根据已建立的排行榜对新代理进行基准测试。数据集结构包括任务ID、存档（包含完整任务目录的gzipped tarball）、任务YAML内容、难度级别、标签、作者电子邮件、主要任务类别、基本描述文本、代理执行超时时间、测试验证超时时间、SHA-256哈希值、压缩存档大小、任务目录中的文件数量以及存档创建时间戳。

This dataset contains tasks from [Terminal-Bench](https://github.com/laude-institute/terminal-bench), a benchmark for evaluating AI agents in real terminal environments. Each task is packaged as a complete, self-contained archive that preserves the exact directory structure, binary files, Docker configurations, and test scripts needed for faithful reproduction. The dataset enables researchers to: **Reproduce official results** with byte-perfect fidelity; **Build custom evaluation harnesses** while maintaining compatibility; **Analyze task characteristics** without extracting archives; **Benchmark new agents** against the established leaderboard. The dataset structure includes task_id, archive (gzipped tarball containing the complete task directory), task_yaml (raw YAML content with task description and configuration), difficulty (easy/medium/hard), tags (list of strings for categorization), author_email (contact email of task author), category (primary task category), base_description (main task instruction text), max_agent_timeout_sec (agent execution timeout in seconds), max_test_timeout_sec (test validation timeout in seconds), tar_sha256 (SHA-256 hash for integrity verification), archive_bytes (size of the compressed archive in bytes), n_files (number of files in the task directory), and generated_at (ISO-8601 timestamp when the archive was created).

搜集汇总

数据集介绍

构建方式

在人工智能代理评估领域，真实终端环境下的端到端任务测试一直是衡量系统实用性的关键。Terminal-Bench 数据集的构建基于官方基准测试仓库，通过将每个任务封装为完整的、自包含的 gzip 压缩 tar 归档文件，精确保留了原始目录结构、二进制文件、Docker 配置及测试脚本。每个样本均包含任务标识符、配置文件、难度等级、标签分类及完整性校验哈希值，确保了评估过程的忠实可复现性。数据集共收录 112 个任务，涵盖算法实现、数据处理、系统调试、机器学习模型训练等多元类别，并按照简单、中等、困难三个难度层级进行划分。

使用方法

使用该数据集进行代理评估时，研究者首先通过 Hugging Face Datasets 库加载测试集，随后从二进制归档字段中提取并解压任务目录。评估流程分为四个核心阶段：解析 task.yaml 获取配置参数，基于 Dockerfile 或 docker-compose.yaml 构建并启动容器，在限定时间内执行代理的解决方案脚本，最后将测试文件复制至容器内运行 pytest 验证。数据集提供了详尽的 Python 评估框架示例，涵盖完整性校验、容器管理、超时控制及结果记录，研究者可据此构建自定义评估管道，或直接复用官方实现以复现基准结果。

背景与挑战

背景概述

终端环境作为人工智能代理（AI Agent）与真实计算系统交互的核心界面，其复杂性长期制约着智能体在系统管理、软件工程与自动化运维等领域的实际应用。为系统评估智能体在真实终端场景中的任务完成能力，由Laude Institute研究团队于2025年4月发布的Terminal-Bench数据集应运而生。该基准测试聚焦于一个关键研究问题：如何构建一个兼具可复现性与生态多样性的标准化评估框架，以衡量AI代理在编译代码、模型训练、服务器部署及系统调试等端到端任务中的表现。通过提供112个精心设计的任务，涵盖算法实现、数据处理、安全分析等十余个类别，Terminal-Bench填补了现有基准测试在真实终端操作、多文件交互与Docker化环境验证方面的空白，为智能体领域的研究提供了可靠的评估基石。

当前挑战

Terminal-Bench所解决的领域挑战在于，现有基准测试多聚焦于受限的文本或图形界面任务，难以反映AI代理在真实终端中面对复杂文件系统、多进程协作及环境依赖时的决策与执行能力。该数据集通过构建包含二进制文件、预训练模型、系统日志等多样化工件的任务，迫使智能体必须掌握文件解析、命令执行与结果验证等综合技能。数据集构建过程中亦面临严峻挑战：112个任务的归档需确保字节级精确复制，涉及1031个文件的目录结构、Docker配置与测试脚本的完整封装；同时，任务难度分级（易/中/难）需兼顾可操作性，避免因环境差异（如网络依赖、特权模式需求）导致评估失真，这对数据集的标准化与鲁棒性提出了极高要求。

常用场景

经典使用场景

在人工智能体研究的蓬勃发展中，终端环境作为人机交互的基石，其自动化评估始终是衡量智能体实用性的关键标尺。Terminal-Bench数据集应运而生，它精心设计了112项涵盖编译代码、训练模型、配置服务器及系统调试等真实终端任务，为研究者提供了一个标准化、可复现的评估平台。该数据集最经典的使用场景在于，通过Docker容器化技术将每个任务封装为完整且字节级精确的归档包，研究者可直接调用其内置的评估框架，对智能体在真实终端环境中的任务完成率、执行效率及鲁棒性进行量化测评，从而在统一的基准上比较不同智能体架构的优劣。

解决学术问题

长期以来，人工智能体在终端操作中的研究面临两大桎梏：一是缺乏涵盖多元系统级任务的标准化基准，导致各研究成果难以横向对比；二是任务环境的高度异构性使得实验复现困难重重，阻碍了学术社区的协同进步。Terminal-Bench数据集以其精妙的归档机制和详尽的元数据标注，系统性地解决了这些痛点。它不仅构建了从系统编程到数据科学、从机器学习到安全分析的全面任务图谱，更通过SHA-256完整性校验和精确的Docker配置，确保了评估过程的绝对可复现性。这一贡献使得研究者能够聚焦于智能体决策算法的本质创新，而无需在环境搭建上耗费精力，极大地推动了终端智能体从理论构想到实证验证的范式转型。

实际应用

该数据集的现实影响力远超实验室围墙，其设计的任务直接映射了企业级IT运维与软件开发的真实需求。在实际应用中，Terminal-Bench已成为评估和选拔AI驱动的自动化运维助手的核心工具，例如测试智能体能否独立完成C/C++项目编译优化、数据库故障诊断、甚至遗留COBOL系统的现代化改造。这些能力直接转化为生产力：缩短了DevOps流程中的排障时间，降低了人工配置服务器的错误率，并为非技术用户提供了通过自然语言指令操作复杂系统的可能。随着云原生和边缘计算场景的激增，该数据集所倡导的终端智能体评估范式，正成为验证下一代自动化基础设施可靠性的黄金标准。

数据集最近研究

最新研究方向

随着大语言模型在代码生成与指令执行领域的突破，如何评估智能体在真实终端环境中的综合操作能力成为前沿焦点。Terminal-Bench 数据集应运而生，它聚焦于AI智能体在Docker容器中执行编译、调试、模型训练及服务器部署等端到端任务的基准测试，标志着从静态问答向动态系统级交互评估的范式跃迁。该数据集涵盖112个精心设计的任务，横跨系统编程、机器学习、DevOps与安全分析等多元领域，为评估智能体的工具调用、环境适应与容错能力提供了标准化框架。其意义在于推动可复现的智能体研究，促进从代码补全到自主运维的实用化进程，并与当前AI Agent在自动化运维、科学计算与云原生部署中的热点应用深度耦合。