openhands-index
收藏资源简介：
OpenHands Index数据集是OpenHands Index排行榜的一个快照，用于评估和比较不同语言模型在代码与智能体相关任务上的性能。数据集内容是从openhands-index-results仓库的特定提交（commit 35ed0c2）自动构建生成的，与Hugging Face Spaces上展示的排行榜表格保持一致。数据集中包含了多个评估类别，每个类别对应一个具体的基准测试：问题解决（Issue Resolution）对应SWE-Bench，前端开发（Frontend）对应SWE-Bench Multimodal，绿地开发（Greenfield）对应Commit0，测试（Testing）对应SWT-Bench，信息收集（Information Gathering）对应GAIA。数据集中的每条记录代表一个模型在排行榜上的评估结果，主要字段包括语言模型名称（language_model）、SDK版本（sdk_version）、代理名称（agent_name）、平均得分（average_score，即模型在已完成的各基准测试上的平均分）、已完成类别数（categories_completed）以及发布日期（release_date）。该快照版本为2026.05.30-35ed0c2，包含30行数据，生成于2026-05-30 15:10:58 UTC。该数据集适用于研究人员和开发者分析、比较不同AI模型在代码生成、问题修复、前端开发、测试编写和信息检索等任务上的性能表现。
The OpenHands Index dataset is a snapshot of the OpenHands Index leaderboard, which is used to evaluate and compare the performance of different language models on code and agent-related tasks. The dataset content is automatically generated from a specific commit (commit 35ed0c2) of the openhands-index-results repository, consistent with the leaderboard table displayed on Hugging Face Spaces. The dataset includes multiple evaluation categories, each corresponding to a specific benchmark: Issue Resolution corresponds to SWE-Bench, Frontend corresponds to SWE-Bench Multimodal, Greenfield corresponds to Commit0, Testing corresponds to SWT-Bench, and Information Gathering corresponds to GAIA. Each record in the dataset represents the evaluation result of a model on the leaderboard, with key fields including language model name (language_model), SDK version (sdk_version), agent name (agent_name), average score (average_score, i.e., the average score of the model on completed benchmarks), number of categories completed (categories_completed), and release date (release_date). This snapshot version is 2026.05.30-35ed0c2, containing 30 rows of data, generated on 2026-05-30 15:10:58 UTC. The dataset is suitable for researchers and developers to analyze and compare the performance of different AI models in tasks such as code generation, issue fixing, frontend development, test writing, and information retrieval.
数据集概述：OpenHands Index Leaderboard
许可证：Apache-2.0
主要标签：排行榜、代码、智能体、基准测试
数据集版本：2026.05.30-35ed0c2（基于 openhands-index-results 仓库 commit 35ed0c24000b85e5c370a7a2a88a3c3825b84392 的快照）
数据格式：包含一个 test 分片，数据文件为 test.parquet。
加载方式：
- 最新版：
load_dataset("OpenHands/openhands-index", split="test") - 指定快照：
load_dataset("OpenHands/openhands-index", split="test", revision="v2026.05.30-35ed0c2")
后接基准测试类别：
| 类别 | 对应基准测试 |
|---|---|
| Issue Resolution（问题解决） | SWE-Bench |
| Frontend（前端） | SWE-Bench Multimodal |
| Greenfield（绿地开发） | Commit0 |
| Testing（测试） | SWT-Bench |
| Information Gathering（信息收集） | GAIA |
关键字段说明：
average_score：模型已完成的各基准测试分数的平均值。categories_completed：模型已完成运行的基准测试数量。
当前快照详情：
- 行数：30
- 生成时间：
2026-05-30 15:10:58 UTC - 源代码提交：
35ed0c24000b85e5c370a7a2a88a3c3825b84392
Top 15 模型（按平均得分排序）：
| 语言模型 | SDK版本 | 智能体名称 | 平均得分 | 完成的类别数 | 发布日期 |
|---|---|---|---|---|---|
| claude-opus-4-7 | v1.11.0 | OpenHands | 68.18 | 5 | 2026-04-16 |
| claude-opus-4-6 | v1.11.0 | OpenHands | 66.72 | 5 | 2026-02-05 |
| GPT-5.5 | v1.18.1 | OpenHands | 65.94 | 5 | 2026-04-23 |
| GPT-5.4 | v1.13.0 | OpenHands | 64.28 | 5 | 2026-03-05 |
| claude-opus-4-5 | v1.8.3 | OpenHands | 60.58 | 5 | 2025-11-24 |
| GPT-5.2 | v1.8.3 | OpenHands | 58.84 | 5 | 2025-12-11 |
| GPT-5.2-Codex | v1.8.3 | OpenHands | 58.28 | 5 | 2025-12-18 |
| GLM-5.1 | v1.11.5 | OpenHands | 58.24 | 5 | 2026-04-07 |
| Kimi-K2.6 | v1.11.5 | OpenHands | 57.14 | 5 | 2026-04-20 |
| Gemini-3.1-Pro | v1.11.5 | OpenHands | 56.98 | 5 | 2026-01-15 |
| claude-sonnet-4-5 | v1.8.3 | OpenHands | 53.00 | 5 | 2025-09-29 |
| Qwen3.6-Plus | v1.11.5 | OpenHands | 52.86 | 5 | 2026-04-01 |
| GLM-5 | v1.11.5 | OpenHands | 49.44 | 5 | 2026-02-11 |
| Kimi-K2.5 | v1.8.3 | OpenHands | 49.18 | 5 | 2026-01-27 |
| Gemini-3-Pro | v1.8.3 | OpenHands | 49.04 | 5 | 2025-11-18 |
