funes-nvidia-Open-SWE-Traces

Funes召回存储库 — NVIDIA Open-SWE-Traces（已解决版本）是一个基于NVIDIA Open-SWE-Traces数据集构建的预构建funes索引。该数据集不是原始轨迹数据，而是将源轨迹分块为内容块并进行嵌入处理，存储为Lance表格式（同时提供自动转换的Parquet格式）。数据集源自nvidia/Open-SWE-Traces，包含65,244个已解决的轨迹会话，涵盖openhands和sweagent两种测试框架以及Minimax-M2.5和Qwen3.5-122B两种模型。最终将包含约25.3百万个内容块，每个块使用BAAI/bge-small-en-v1.5嵌入模型生成384维向量。每行数据表示一个内容块，包含文本内容、嵌入向量以及完整的来源元数据（包括会话ID、轮次UUID、角色、块类型、工具名称、源路径和测试框架）。数据集采用CC-BY-4.0许可证，归功于NVIDIA，并在索引时对敏感信息进行了脱敏处理。该存储库目前正在增量构建中，提供了一个包含200个会话的预览版本供立即使用。Funes Recall Repository — NVIDIA Open-SWE-Traces (Resolved Version) is a pre-built funes index based on the NVIDIA Open-SWE-Traces dataset. The dataset is not raw trace data, but instead chunks source traces into content blocks and embeds them, stored in Lance table format (with automatically converted Parquet format also provided). The dataset originates from nvidia/Open-SWE-Traces, containing 65,244 resolved trace sessions, covering two test frameworks (openhands and sweagent) and two models (Minimax-M2.5 and Qwen3.5-122B). It will ultimately contain approximately 25.3 million content blocks, each block generated with the BAAI/bge-small-en-v1.5 embedding model to produce 384-dimensional vectors. Each row of data represents a content block, including text content, embedding vectors, and complete source metadata (including session ID, round UUID, role, chunk type, tool name, source path, and test framework). The dataset uses the CC-BY-4.0 license, credited to NVIDIA, and has been anonymized for sensitive information during indexing. The repository is currently under incremental construction, providing a preview version with 200 sessions for immediate use.

原始信息汇总

数据集概述：Funes recall store — NVIDIA Open-SWE-Traces (resolved)

• 数据集名称：Funes recall store — NVIDIA Open-SWE-Traces (resolved)
• 数据集页面：https://huggingface.co/datasets/dacorvo/funes-nvidia-Open-SWE-Traces
• 许可证：CC-BY-4.0，源自 NVIDIA 的 nvidia/Open-SWE-Traces 数据集（同样采用 CC-BY-4.0 许可），需注明出处。
• 语言：英语

核心内容

该数据集不是一个原始的跟踪数据集，而是一个预构建的 funes 索引。它通过对源数据集中被标记为“已解决”（resolved==1）的轨迹进行分块和嵌入处理，存储为 Lance 表。

• 来源数据集：nvidia/Open-SWE-Traces
• 数据规模：
  • 会话数：65,244 个已解决轨迹
  • 最终块数：约 2530 万
• 嵌入模型：BAAI/bge-small-en-v1.5（384 维）
• 使用的框架：SWE-agent 和 OpenHands
• 数据格式：Lance（同时提供自动转换的 Parquet 格式）

数据结构

数据集的每一行对应一个内容块，包含以下信息：

• 文本块内容（text 列）
• 嵌入向量
• 来源信息：session_id（会话 ID）、turn_uuid（轮次 UUID）、role（角色）、block_type（块类型）、tool_name（工具名称）、source_path（源路径，包含 instance_id 和 harness 字段）

其他说明

• 索引构建中：该索引正在增量构建和推送，最终块数将增至约 2530 万。可使用 200 个会话的预览版：https://huggingface.co/datasets/dacorvo/funes-nvidia-Open-SWE-Traces-200-sessions
• 安全措施：在索引时会对秘密信息进行脱敏处理，推送出口扫描会拦截遗漏的内容。

搜集汇总

数据集介绍

构建方式

本数据集并非原始轨迹数据集的简单复现，而是基于NVIDIA发布的Open-SWE-Traces中标记为已解决（resolved==1）的65,244条智能体执行轨迹，通过funes框架构建的检索索引。构建过程首先将原始轨迹切分为语义完整的内容块，随后利用BAAI/bge-small-en-v1.5嵌入模型将每个块转化为384维的向量表示，最终以Lance表格式存储为chunks.lance文件。每个数据行包含了内容块的文本、嵌入向量及其溯源信息，如会话标识、轮次编号、角色、块类型和工具名称，确保对原始数据的忠实还原与高效检索。

使用方法

使用者可直接通过Lance表格接口加载chunks.lance文件，利用其嵌入向量进行基于余弦相似度的语义检索，快速定位与目标问题相关的软件工程执行轨迹片段。由于数据集提供了自动转换的Parquet格式，也可通过传统数据分析工具（如Pandas、DuckDB）进行读取与处理。对于需要快速体验的用户，团队还提供了包含200个会话的预览子集，便于在完整索引构建完成前进行算法验证与原型开发。所有数据均遵循CC-BY-4.0许可协议，使用时应标注原始数据来源至NVIDIA。

背景与挑战

背景概述

在软件工程领域，自动化智能代理（如SWE-agent和OpenHands）的轨迹数据对于理解代码修复过程与提升模型推理能力至关重要。由NVIDIA主导、依托HuggingFace Funes框架构建的Open-SWE-Traces数据集，于近期发布，旨在为研究社区提供大规模、高质量、结构化的软件工程代理轨迹索引。该数据集基于65,244个已解决的代理会话片段，通过BAAI/bge-small-en-v1.5嵌入模型将其切分为约2530万个内容块，形成高效的Lance表格式索引。它不仅记录了任务实例、工具调用与角色交互等细粒度信息，还填补了从原始轨迹到可检索语义存储之间的空白，为多智能体协同、代码理解与检索增强生成等前沿研究奠定了数据基础。

当前挑战

构建funes-nvidia-Open-SWE-Traces面临多重挑战。研究层面，原始轨迹数据来自SWE-agent和OpenHands两种框架及多个模型，不同框架在会话格式、操作语义和日志完整性上存在差异，亟需统一的结构化切分策略以确保索引的可迁移性与泛化能力。工程层面，处理超过6.5万个完整会话并生成约2500万个高维度嵌入向量，对计算资源与存储系统提出极高要求。同时，隐私泄露风险不容忽视：源代码中隐含的密钥等敏感信息必须在索引阶段被自动识别与遮蔽，并辅以推送阶段的出口扫描来阻断任何遗漏，这要求构建稳健的过滤机制以维护数据合规性与安全性。

常用场景

经典使用场景

在软件工程与人工智能的交叉领域，Funes-NVIDIA-Open-SWE-Traces数据集作为一项预处理索引库，其经典使用场景聚焦于强化代码生成与调试智能体的检索增强能力。通过将NVIDIA Open-SWE-Traces中65,244个已解决的项目问题轨迹进行分块嵌入（采用BAAI/bge-small-en-v1.5模型产生384维向量），并以Lance格式高效存储，该数据集为研究者和工程师提供了可直接查询的语义记忆基座。典型应用是作为大型语言模型的外部记忆模块，在软件工程任务中实现从历史解决方案到当前问题的快速知识迁移，例如在自动程序修复、代码补全或缺陷定位时，智能体能通过向量相似性检索最相关的历史修复步骤或代码片段。

解决学术问题

该数据集有效回应了软件工程智能化中的核心挑战：如何使AI代理具备跨实例的长期记忆与经验复用能力。传统的单一会话模型常因缺乏历史参照而陷入重复错误或低效探索，Funes-NVIDIA-Open-SWE-Traces通过结构化的索引策略，将离散调试成功的经验（涵盖不同模型与工具链，如Minimax-M2.5、Qwen3.5-122B及OpenHands、SWE-agent两类框架）转化为可机读的知识库。这推动了检索增强型软件代理的研究发展，系统性地解决了经验回溯中语义对齐不足、索引衰减及跨任务泛化性弱等学术难题，为构建具有持续学习能力的智能编程助手奠定了数据基础设施。

实际应用

在实际工业场景中，该数据集可直接嵌入持续集成与部署流水线，赋能自动化代码审核与版本回归测试。开发团队可以将其搭载于LLM驱动的DevOps工具内，借助预构建的高维索引快速检索相似历史缺陷修复模式，从而在代码合并请求提交时即时提供根因分析或补丁建议。此外，面向开源软件维护场景，该索引库能辅助新手贡献者通过自然语言描述问题，自动关联社区中已验证的解决方案路径，显著降低大型项目中未知错误的定位与修复时间成本。

数据集最近研究

最新研究方向

当前，软件工程智能体（SWE-agent）领域的核心研究已从简单的行为记录转向对智能体决策轨迹的结构化解析与可复用索引构建。在此背景下，NVIDIA Open-SWE-Traces数据集聚焦于软件工程智能体在解决真实缺陷时产生的成功轨迹（resolved==1），并通过funes记忆存储机制将超6.5万次会话片段化、嵌入化处理，形成大规模语义索引。这一研究前沿不仅揭示了智能体在OpenHands与SWE-agent两种框架下调用Minimax-M2.5、Qwen3.5-122B等模型时的行为模式差异，更通过25M级稠密向量索引实现对高效情景检索的支撑，推动了面向软件工程任务的情境增强型智能体范式，标志着该领域从粗粒度数据收集向细粒度、可检索、可复用的结构化记忆系统的重要跃迁。