nebius/SWE-rebench-openhands-trajectories

SWE-rebench-OpenHands-Trajectories是一个用于软件工程任务的多轮代理轨迹数据集，通过使用Qwen/Qwen3-Coder-480B-A35B-Instruct模型和OpenHands (v0.54.0)代理脚手架收集。该数据集捕获了代理在尝试解决来自nebius/SWE-rebench的真实GitHub问题时的完整执行轨迹。每个轨迹包含代理的逐步推理、行动和环境观察。数据集结构包括轨迹ID、实例ID、仓库标识、对话历史、最终代码修改、退出状态、解决状态等字段，并包含代理生成测试的评估指标。

**SWE-rebench-OpenHands-Trajectories** is a dataset of multi-turn agent trajectories for software engineering tasks, collected using [Qwen/Qwen3-Coder-480B-A35B-Instruct](https://huggingface.co/Qwen/Qwen3-Coder-480B-A35B-Instruct) with OpenHands (v0.54.0) agent scaffolding. This dataset captures complete agent execution traces as they attempt to resolve real GitHub issues from [nebius/SWE-rebench](https://huggingface.co/datasets/nebius/SWE-rebench). Each trajectory contains the agents step-by-step reasoning, actions, and environmental observations.

搜集汇总

数据集介绍

构建方式

在软件工程智能体研究领域，高质量的多轮交互轨迹数据集对于训练和评估自主代码修复模型至关重要。该数据集依托于OpenHands v0.54.0智能体框架，以Qwen3-Coder-480B-A35B-Instruct模型为引导引擎，系统性地收集了智能体在解决来自nebius/SWE-rebench的真实GitHub问题时的完整执行轨迹。每条轨迹均详细记录了智能体的逐步推理过程、执行动作以及环境反馈，最终构建了一个包含67,074条轨迹的大规模数据集，其中成功解决任务的轨迹达32,161条，覆盖1,823个软件仓库。

特点

该数据集在多个维度展现出显著优势。首先，它聚焦于真实世界中的软件工程问题，而非合成任务，确保了数据的高生态效度。其次，数据集不仅包含传统的解决状态标签，还创新性地引入了对智能体生成测试的评估指标，如gen_tests_correct和pred_passes_gen_test，能够同时衡量智能体的代码修复能力与测试编写能力。此外，其轨迹平均轮次高达64.3，远超同类数据集，反映了智能体在复杂任务中的深度探索行为，为研究长序列决策提供了宝贵资源。

使用方法

数据集可通过HuggingFace Datasets库便捷加载，使用load_dataset函数即可获取训练集。每条数据包含trajectory_id、instance_id、repo等标识字段，以及完整的对话历史trajectory，其中角色包括系统提示、模型推理、用户指令和工具观察。特别需要注意的是，trajectory中助手步骤的tool_calls内的arguments字段为字符串格式，在训练前应使用json.loads进行反序列化，以确保与聊天模板的兼容性。用户亦可借助提供的filter_and_deserialize函数高效处理数据，快速提取并解析轨迹信息用于模型微调或评估。

背景与挑战

背景概述

近年来，随着大语言模型在代码生成与自动化任务中的广泛应用，软件工程领域对智能代理（agent）的轨迹数据需求日益增长。在此背景下，Nebius团队于2025年发布了SWE-rebench-OpenHands-Trajectories数据集，由Maria Trofimova、Anton Shevtsov等研究人员主导构建。该数据集聚焦于一个核心研究问题：如何利用开源模型生成高质量、多轮交互的代理轨迹，以辅助软件工程任务的自动化解决。基于Qwen3-Coder-480B-A35B-Instruct模型和OpenHands框架，数据集收录了超过6.7万条轨迹，覆盖1823个真实GitHub仓库，并包含3772个已解决问题。其独特价值在于，不仅提供完整的代理执行日志，还首次在公开轨迹数据中引入了对代理生成测试的评估，从而为模型训练与代理行为分析提供了更全面的基准。该数据集在规模与真实性上超越了同类作品，如SWE-bench/SWE-smith-trajectories，显著推动了软件工程智能体领域的研究进展。

当前挑战

该数据集在构建与应用中面临多重挑战。首先，在领域问题层面，软件工程任务本身具有高度复杂性，代理需在多步推理中准确理解问题、定位代码缺陷并生成有效补丁，这对模型的规划能力与代码理解力构成严峻考验。其次，构建过程中，数据收集依赖OpenHands框架与Qwen3-Coder模型的协同工作，但代理轨迹的平均轮次高达64.3，远超其他数据集，这增加了数据生成的计算成本与时间开销。此外，从1823个仓库中筛选真实GitHub问题并确保任务的可复现性，需依赖Docker镜像的精确配置，而不同仓库的环境差异进一步加剧了数据采集的难度。最后，数据集虽包含对代理生成测试的评估指标，但如何确保这些测试的可靠性与泛化性，仍是当前未完全解决的挑战，直接影响轨迹数据在模型微调中的实际效用。

常用场景

经典使用场景

在软件工程与人工智能的交叉领域中，SWE-rebench-OpenHands-Trajectories数据集为多轮智能体轨迹研究提供了宝贵的资源。该数据集收录了由Qwen3-Coder-480B-A35B-Instruct模型驱动、基于OpenHands框架生成的完整代理执行轨迹，旨在模拟智能体在解决真实GitHub软件仓库问题时的逐步推理、行动与环境反馈过程。其经典使用场景集中于训练和评估能够执行复杂软件维护任务的代码智能体，尤其是在多步骤、多工具调用的动态环境中。研究者可借助该数据集构建监督式微调（SFT）或强化学习（RL）的训练管线，提升智能体在代码修改、测试生成与错误修复等环节的自主决策能力。

实际应用

在实际应用层面，该数据集直接服务于智能软件开发助手的研发与优化。基于这些轨迹数据，工程团队可以训练出能够自动定位代码缺陷、生成修复补丁并验证解决方案正确性的AI代理，显著提升软件维护与版本迭代的效率。例如，在持续集成（CI）流程中，智能体可依据数据集中习得的策略，对自动化测试失败的问题进行自主诊断与修复，减少人工介入成本。此外，该数据集还可用于构建代码审查辅助系统，帮助开发者理解常见错误模式与修复路径。其覆盖的1,823个真实仓库与3,792个已解决问题，为跨项目、跨语言的通用修复模型训练提供了坚实的数据支撑，加速了AI辅助编程从实验室走向产业落地的进程。

衍生相关工作

该数据集的出现催生了一系列具有影响力的衍生研究工作。一方面，它作为基准数据，推动了针对代码智能体轨迹建模的算法创新，如基于序列到序列的决策策略学习、分层强化学习的任务分解方法，以及结合代码结构信息的状态表示学习。另一方面，研究者利用该数据集对比分析了不同基础模型（如GPT-4o、Claude系列）在相同代理框架下的行为差异，揭示了模型能力与任务复杂度之间的关联。此外，数据集中包含的代理生成测试评估指标，激发了关于自我监督学习与自动验证的新探索，例如通过对比模型补丁与黄金补丁的测试通过率来优化训练目标。这些工作共同丰富了软件工程自动化领域的理论体系，并推动了更鲁棒、更高效的代码智能体架构设计。