openhands-index

OpenHands Index数据集是OpenHands Index排行榜的一个快照，用于评估和比较不同语言模型在代码与智能体相关任务上的性能。数据集内容是从openhands-index-results仓库的特定提交（commit 35ed0c2）自动构建生成的，与Hugging Face Spaces上展示的排行榜表格保持一致。数据集中包含了多个评估类别，每个类别对应一个具体的基准测试：问题解决（Issue Resolution）对应SWE-Bench，前端开发（Frontend）对应SWE-Bench Multimodal，绿地开发（Greenfield）对应Commit0，测试（Testing）对应SWT-Bench，信息收集（Information Gathering）对应GAIA。数据集中的每条记录代表一个模型在排行榜上的评估结果，主要字段包括语言模型名称（language_model）、SDK版本（sdk_version）、代理名称（agent_name）、平均得分（average_score，即模型在已完成的各基准测试上的平均分）、已完成类别数（categories_completed）以及发布日期（release_date）。该快照版本为2026.05.30-35ed0c2，包含30行数据，生成于2026-05-30 15:10:58 UTC。该数据集适用于研究人员和开发者分析、比较不同AI模型在代码生成、问题修复、前端开发、测试编写和信息检索等任务上的性能表现。

The OpenHands Index dataset is a snapshot of the OpenHands Index leaderboard, which is used to evaluate and compare the performance of different language models on code and agent-related tasks. The dataset content is automatically generated from a specific commit (commit 35ed0c2) of the openhands-index-results repository, consistent with the leaderboard table displayed on Hugging Face Spaces. The dataset includes multiple evaluation categories, each corresponding to a specific benchmark: Issue Resolution corresponds to SWE-Bench, Frontend corresponds to SWE-Bench Multimodal, Greenfield corresponds to Commit0, Testing corresponds to SWT-Bench, and Information Gathering corresponds to GAIA. Each record in the dataset represents the evaluation result of a model on the leaderboard, with key fields including language model name (language_model), SDK version (sdk_version), agent name (agent_name), average score (average_score, i.e., the average score of the model on completed benchmarks), number of categories completed (categories_completed), and release date (release_date). This snapshot version is 2026.05.30-35ed0c2, containing 30 rows of data, generated on 2026-05-30 15:10:58 UTC. The dataset is suitable for researchers and developers to analyze and compare the performance of different AI models in tasks such as code generation, issue fixing, frontend development, test writing, and information retrieval.

原始信息汇总

数据集概述：OpenHands Index Leaderboard

许可证：Apache-2.0

主要标签：排行榜、代码、智能体、基准测试

数据集版本：2026.05.30-35ed0c2（基于 openhands-index-results 仓库 commit 35ed0c24000b85e5c370a7a2a88a3c3825b84392 的快照）

数据格式：包含一个 test 分片，数据文件为 test.parquet。

加载方式：

• 最新版：load_dataset("OpenHands/openhands-index", split="test")
• 指定快照：load_dataset("OpenHands/openhands-index", split="test", revision="v2026.05.30-35ed0c2")

后接基准测试类别：

类别	对应基准测试
Issue Resolution（问题解决）	SWE-Bench
Frontend（前端）	SWE-Bench Multimodal
Greenfield（绿地开发）	Commit0
Testing（测试）	SWT-Bench
Information Gathering（信息收集）	GAIA

关键字段说明：

• average_score：模型已完成的各基准测试分数的平均值。
• categories_completed：模型已完成运行的基准测试数量。

当前快照详情：

• 行数：30
• 生成时间：2026-05-30 15:10:58 UTC
• 源代码提交：35ed0c24000b85e5c370a7a2a88a3c3825b84392

Top 15 模型（按平均得分排序）：

语言模型	SDK版本	智能体名称	平均得分	完成的类别数	发布日期
claude-opus-4-7	v1.11.0	OpenHands	68.18	5	2026-04-16
claude-opus-4-6	v1.11.0	OpenHands	66.72	5	2026-02-05
GPT-5.5	v1.18.1	OpenHands	65.94	5	2026-04-23
GPT-5.4	v1.13.0	OpenHands	64.28	5	2026-03-05
claude-opus-4-5	v1.8.3	OpenHands	60.58	5	2025-11-24
GPT-5.2	v1.8.3	OpenHands	58.84	5	2025-12-11
GPT-5.2-Codex	v1.8.3	OpenHands	58.28	5	2025-12-18
GLM-5.1	v1.11.5	OpenHands	58.24	5	2026-04-07
Kimi-K2.6	v1.11.5	OpenHands	57.14	5	2026-04-20
Gemini-3.1-Pro	v1.11.5	OpenHands	56.98	5	2026-01-15
claude-sonnet-4-5	v1.8.3	OpenHands	53.00	5	2025-09-29
Qwen3.6-Plus	v1.11.5	OpenHands	52.86	5	2026-04-01
GLM-5	v1.11.5	OpenHands	49.44	5	2026-02-11
Kimi-K2.5	v1.8.3	OpenHands	49.18	5	2026-01-27
Gemini-3-Pro	v1.8.3	OpenHands	49.04	5	2025-11-18

搜集汇总

数据集介绍

构建方式

OpenHands Index是一个针对代码智能体在多项软件工程基准任务上的表现进行评测的排行榜数据集。该数据集依托于OpenHands项目的研究成果，通过自动化流水线在每次代码推送至主分支时自动发布并更新。数据集构建基于五个经典基准测试：涵盖故障修复的SWE-Bench、前端开发的多模态SWE-Bench Multimodal、项目初始化Commit0、测试生成SWT-Bench以及信息检索GAIA。每个条目记录了一个语言模型在特定SDK版本和智能体配置下的综合表现，最终以平均值作为核心评判指标。当前快照版本为2026.05.30-35ed0c2，包含30条评测记录。

使用方法

使用者可通过HuggingFace的datasets库便捷加载该数据集。加载方法极为简洁：执行'datasets.load_dataset("OpenHands/openhands-index", split="test")'即可获取最新快照。若需固定至特定版本进行研究复现，可指定revision参数，如设置revision='v2026.05.30-35ed0c2'。加载后返回的Dataset对象包含模型名称、SDK版本、智能体名称、平均得分、完成类别数及发布日期等字段。该数据集支持科学研究的基准对比分析、模型性能追踪，亦可用于智能体研发过程中的阶段性评估与方案优化，是衡量代码智能体综合能力的重要工具。

背景与挑战

背景概述

OpenHands Index排行榜数据集由OpenHands社区于2026年发布，旨在系统性地评估代码智能体在复杂软件工程任务中的综合能力。该数据集由多个基准测试（如SWE-Bench、SWE-Bench Multimodal、Commit0、SWT-Bench及GAIA）构成，覆盖问题修复、前端开发、代码生成、测试编写及信息搜集等关键维度。通过对不同语言模型与代理系统的性能进行量化比较，该数据集为研究智能代理在真实开发场景中的通用性与鲁棒性提供了标准化评估框架，从而推动了自主编程范式在工业级应用中的发展。

当前挑战

当前OpenHands Index面临的主要挑战包括：其一，软件工程任务的高度开放性与评估全面性之间的张力，单一基准难以完全覆盖真实开发流程中的隐性需求与环境动态变化；其二，数据集构建过程中的复杂性，例如各子基准的评分标准统一、任务间耦合度控制以及跨平台代理执行的稳定性保障；其三，随着模型能力迅速提升，排行榜更新频率与结果归因的透明度成为维护评估公信力的核心难题，尤其在代理版本迭代与参数差异带来性能波动时，如何公平区分模型进步与工程优化效果仍待探索。

常用场景

经典使用场景

在智能体与软件工程交叉领域，OpenHands Index作为一项综合性排行榜基准数据集，广泛应用于评估代码生成智能体在多维度软件开发任务中的能力。该数据集整合了SWE-Bench的问题解决、SWE-Bench Multimodal的前端开发、Commit0的绿色场项目构建、SWT-Bench的测试生成以及GAIA的信息检索五大核心基准，为研究者提供了统一的评估框架。经典使用方式是通过加载该数据集的测试集，计算各模型在五个子任务上的平均得分，从而系统性衡量智能体在真实软件工程场景下的综合表现，尤其适用于对比不同语言模型与智能体框架的性能差异。

解决学术问题

OpenHands Index解决了学术界长期以来缺乏标准化、多维度代码智能体评估基准的难题。传统软件工程任务评估往往散落于各自独立的基准中，难以全面反映智能体在端到端开发流程中的真实能力。该数据集通过统一排行榜结构，使得研究者能够直接对比不同语言模型和代理框架在问题修复、前端开发、创新项目构建、测试编写及信息收集等多个核心维度的表现，显著降低了跨基准比较的复杂性。其发布推动了代码智能体评测领域的规范化进程，为理解前沿模型的优势与不足提供了可量化的实证依据，进而引导研究方向聚焦于智能体在复杂真实世界软件任务中的泛化能力与鲁棒性。

实际应用

在实际产业环境中，OpenHands Index的评估结果直接服务于智能辅助编程工具和自动化软件开发平台的性能优化。软件工程团队可以依据该数据集中不同模型在五大基准上的得分，选择最适合其业务场景的代码智能体——例如，在需要高效解决开源仓库问题的场景中，可优先选用在Issue Resolution子任务上表现优异的模型；而对于前端项目快速原型开发，则侧重参考Frontend维度的评价。此外，该数据集还可作为持续集成流水线中的自动化评测环节，实时追踪模型版本迭代带来的能力变化，为智能体在自动化代码审查、缺陷修复、测试用例生成等实际部署提供关键的绩效标尺。

数据集最近研究

最新研究方向

在代码智能体与软件工程自动化领域，OpenHands Index 作为集成多维度基准测试的动态排行榜，正成为评估大语言模型驱动的自主编程能力的重要风向标。当前前沿研究聚焦于模型在多任务场景下的泛化性能与鲁棒性，例如该数据集中收录的 Claude Opus 4-7 与 GPT-5.5 等模型在问题修复、前端开发、绿色场域代码生成、测试编写及信息检索五个子基准上的综合表现。热点事件包括各大语言模型厂商竞相冲击平均分新高，推动了从单一代码补全到全生命周期软件工程智能体的范式跃迁。其深远意义在于，通过标准化、可复现的评测体系，加速了代码智能体从实验室走向产业落地的进程，为自主软件开发基础设施的可靠性提供了量化基石。