OpenHands/openhands-index

OpenHands Index排行榜数据集是一个用于跟踪和比较不同大型语言模型在代码生成与代理任务中性能的排行榜快照。数据集包含了多个基准测试类别的结果，包括问题解决（SWE-Bench）、前端开发（SWE-Bench Multimodal）、新项目开发（Commit0）、测试（SWT-Bench）和信息收集（GAIA）。每个模型记录包含语言模型名称、SDK版本、代理名称、平均分数、完成的类别数量和发布日期。数据来源于OpenHands项目对模型在真实代码任务中表现的评估，旨在为研究者和开发者提供模型性能的透明比较。

Snapshot of the OpenHands Index leaderboard built from openhands-index-results commit 4591af5e80a268fec7a6b0370ed6e68c3bb8cd6a on 2026-06-12 13:00:44 UTC.

搜集汇总

数据集介绍

构建方式

OpenHands Index数据集是对OpenHands框架下多模型多智能体在代码工程任务中表现的系统性快照，其构建依托开源仓库openhands-index-results的持续集成流程，每当主分支有更新时自动触发发布流程。该数据集以parquet格式存储，包含一条test分片，记录了2026年6月12日UTC时间的32行评测结果，每行对应一个模型-智能体组合在五类基准测试上的综合表现。构建过程严格对齐HuggingFace Spaces上实时更新的排行榜，确保数据集与线上展示的指标完全一致，并通过版本号v2026.06.12-4591af5实现精确可追溯。

特点

该数据集的核心特点在于其多维度、多基准的评测架构，覆盖问题解决、前端开发、全新项目构建、测试编写和信息收集五大领域，分别对应SWE-Bench、SWE-Bench Multimodal、Commit0、SWT-Bench和GAIA等权威基准测试。每个条目不仅包含语言模型名称、SDK版本和智能体类型等元信息，还提供了average_score作为跨基准平均得分，以及categories_completed字段反映模型完成的评测类别数量，为研究者提供了从微观到宏观的性能评估视角。数据集的自动更新机制确保其始终反映最新的技术进展，而版本快照功能则支持历史回溯与对比分析。

使用方法

研究者可通过HuggingFace datasets库轻松加载该数据集，使用load_dataset('OpenHands/openhands-index', split='test')即可获取最新快照，并通过ds.info.version属性访问版本标识。如需固定到某个历史快照，可在加载时指定revision参数，例如revision='v2026.06.12-4591af5'，从而实现可重复的实验基准。数据集以高效的parquet格式存储，便于进行数据分析、可视化建模或作为强化学习与迁移学习研究的评测基准。使用者可基于average_score进行模型排序，或利用categories_completed字段筛选特定覆盖范围的方法，结合release_date时间戳追踪性能演化趋势。

背景与挑战

背景概述

近年来，基于大规模语言模型的自主智能体在软件工程任务中展现出巨大潜力，然而其性能评估却因缺乏统一、多维度基准而陷入碎片化困境。由OpenHands团队于2026年创建的OpenHands Index排行榜数据集，旨在填补这一空白，通过整合Issue Resolution（SWE-Bench）、Frontend（SWE-Bench Multimodal）、Greenfield（Commit0）、Testing（SWT-Bench）及Information Gathering（GAIA）五大基准，构建一个涵盖代码缺陷修复、前端开发、从零项目构建、测试生成与信息检索等核心能力的综合评估框架。该数据集以自动化流水线方式从GitHub仓库同步生成排行榜快照，记录了不同语言模型与代理配置在多类别任务上的平均得分与类别完成数，为智能体研发社区提供了可追溯、可复现的对比基准，有力推动了该领域从单一指标向多元化评价体系的演进。

当前挑战

OpenHands Index所面临的挑战可从领域问题与构建过程两个层面剖析。在领域问题方面，智能体在软件工程全流程中的表现评估面临三大核心难题：其一，各子任务（如问题修复、前端开发）对模型的语言理解、代码生成、环境交互等能力要求迥异，单一分数难以捕捉性能差异；其二，真实软件工程场景中环境配置的复杂性与随机性，如何确保跨模型、跨版本评测的公平性与可复现性；其三，随着模型能力快速迭代，如何动态更新基准以反映前沿需求。在构建过程中，挑战集中于数据整合的异构性：五大基准的数据格式、评估指标及难度分布各不相同，需设计统一的标准化流程；此外，排行榜的快照机制要求每次更新时保证数据版本的可追溯性，而自动化流水线可能因上游基准变更或运行时错误引入偏差，亟需稳健的异常检测与回滚策略。

常用场景

经典使用场景

在代码智能体与大型语言模型持续进化的浪潮中，OpenHands Index被塑造成评估自主编程系统综合能力的核心基准平台。该数据集最经典的使用场景在于对多维度软件开发任务进行全景式的能力评测，涵盖问题修复、前端开发、项目从零构建、单元测试生成以及信息检索等关键环节。研究者可藉此对比不同语言模型与智能体框架在统一协议下的表现，从而洞察模型在真实编程场景中的鲁棒性与泛化能力。

衍生相关工作

围绕OpenHands Index这一评测框架，研究社区已衍生出多项具有启发性的前沿工作。例如，基于其公开的排行榜快照，有学者提出了面向不同编程领域的自适应质量加权策略，以更合理地聚合跨任务得分。此外，该数据集催生了一系列关于智能体推理链路的可解释性分析，以及利用对抗样本评估模型在复杂软件工程场景下鲁棒性的研究。这些衍生成果不断丰富着代码智能体从理论到应用的知识图谱。

数据集最近研究

最新研究方向

OpenHands Index作为面向代码智能体的多维度排行榜，深度整合了SWE-Bench、SWE-Bench Multimodal、Commit0、SWT-Bench与GAIA等前沿基准，构建了覆盖问题修复、前端开发、绿地项目、测试生成及信息检索的综合性评估体系。该数据集通过对Claude Opus 4、GPT-5.5、Gemini 3.1 Pro等主流大语言模型在统一开源框架下的横向对比，揭示了当下代码智能体在任务成功率与跨类别泛化能力上的蜕变趋势。榜单记录显示，顶尖模型平均得分已突破70%门槛，标志着LLM驱动的编程智能体正从实验室走向真实软件工程场景，同时OpenHands的持续迭代体现了开源社区在智能体可复现评测上的关键推动作用，为业界提供了透明、动态的模型能力参照系。