zvzv1919/plain_claudehaiku45-40t_prompterv2-healed

---
license: mit
---

# plain_claudehaiku45-40t_prompterv2-healed

## Summary

| Metric | Value |
| --- | --- |
| Total instances | 200 |
| File matches | 176 (88%) |
| Function matches | 157 (78%) |
| File mismatches | 16 |
| No result | 8 |
| Avg turns | 17.4 |

## Config

```yaml
agent_func: locate
agent_module: agents.locator.plain
bench_name: plain_claudehaiku45-40t_prompterv2-healed
collection: zvzv1919/swe-lite-sympy-11400-69d146b3787b38cf81b3a888
dataset: zvzv1919/prompter_v2
limit: 200
max_turns: 40
max_workers: 30
model: claude-haiku-4-5-20251001
repo_path: sympy__sympy-11400/sympy
repo_path_prefix: /Users/xuan.zhao/Documents/GitHub-zv/
shuffle: false
split: train
```

--- 许可证：MIT ---

# plain_claudehaiku45-40t_prompterv2-healed

## 摘要

| 指标 | 数值 |
| --- | --- |
| 总实例数 | 200 |
| 文件匹配数 | 176 (88%) |
| 函数匹配数 | 157 (78%) |
| 文件不匹配数 | 16 |
| 无结果数 | 8 |
| 平均交互轮次 | 17.4 |

## 配置

yaml
智能体函数: locate
智能体模块: agents.locator.plain
基准测试名称: plain_claudehaiku45-40t_prompterv2-healed
数据集集合: zvzv1919/swe-lite-sympy-11400-69d146b3787b38cf81b3a888
数据集标识: zvzv1919/prompter_v2
实例上限: 200
最大交互轮次: 40
最大工作线程数: 30
所用模型: claude-haiku-4-5-20251001
代码仓库路径: sympy__sympy-11400/sympy
仓库路径前缀: /Users/xuan.zhao/Documents/GitHub-zv/
是否打乱数据: false
数据集拆分方式: train

搜集汇总

数据集介绍

构建方式

在软件工程领域，自动化代码修复与定位任务对提升开发效率至关重要。plain_claudehaiku45-40t_prompterv2-healed数据集基于Claude Haiku模型，采用定位代理机制构建而成。该过程从zvzv1919/prompter_v2数据集中抽取200个实例，以sympy__sympy-11400/sympy代码库为基准环境，通过模拟多轮对话交互来生成数据。每个实例的平均对话轮次达到17.4，最大轮次限制为40，确保了交互的深度与完整性。数据构建时还设置了严格的匹配标准，其中文件匹配率为88%，函数匹配率为78%，体现了对代码元素准确关联的高度重视。

特点

该数据集专注于代码定位任务，其核心特征体现在多轮对话的交互模式与高精度的匹配指标上。数据实例平均包含17.4轮对话，这种深度交互能够模拟真实的开发者与AI助手之间的协作过程，有助于捕捉复杂的代码上下文与推理路径。数据集中约88%的实例实现了文件级别的匹配，78%达到了函数级别的匹配，这反映了数据集在代码元素关联上的可靠性与一致性。同时，数据集配置明确限定了最大对话轮次与工作线程数，确保了生成过程的可控性与效率，为研究代码理解与定位提供了结构清晰、质量较高的基准资源。

使用方法

使用该数据集时，研究者可将其应用于代码定位、自动化调试或智能编程助手等领域的模型训练与评估。数据集以训练集划分提供，包含200个实例，每个实例记录了多轮对话的完整轨迹，适合用于序列到序列或对话式模型的输入。用户可通过加载指定的配置信息，复现数据生成的环境与参数，例如模型版本、代码库路径及最大对话轮次。在实际应用中，可依据文件匹配与函数匹配指标来量化模型性能，或利用对话轮次分析交互效率，从而推动代码智能相关技术的进步。

背景与挑战

背景概述

在软件工程领域，自动化代码定位与修复是提升开发效率的关键研究方向。plain_claudehaiku45-40t_prompterv2-healed数据集由研究人员zvzv1919于近期构建，依托于SymPy数学库的特定版本，旨在评估大型语言模型在代码库中精准定位目标函数或文件的能力。该数据集通过模拟真实开发场景中的多轮对话交互，核心研究问题聚焦于探索智能代理在复杂代码结构中的导航与理解效能，为代码智能辅助工具的演进提供了实证基础。

当前挑战

该数据集致力于应对代码定位任务中的核心挑战，即在庞大且嵌套的代码库中，准确识别与特定功能相关的代码片段，这要求模型具备深层次的语义理解和上下文推理能力。在构建过程中，研究人员面临数据对齐的复杂性，例如文件匹配率仅达88%，函数匹配率为78%，部分实例存在结果缺失或错位，反映出代码结构多样性与标注一致性之间的张力。此外，多轮对话平均长达17.4轮，凸显了交互过程中保持逻辑连贯与效率平衡的难度。

常用场景

经典使用场景

在软件工程与代码生成领域，plain_claudehaiku45-40t_prompterv2-healed数据集主要用于评估大型语言模型在代码定位任务中的性能。该数据集通过模拟真实开发场景，要求模型根据自然语言描述在复杂代码库中准确找到对应的函数或文件，从而检验模型对代码语义的理解与检索能力。这种评估方式为代码智能辅助工具的研发提供了基准测试环境，推动了自动化代码导航技术的发展。

实际应用

在实际软件开发流程中，该数据集支撑的代码定位技术可集成至智能集成开发环境，帮助开发者快速导航大型代码库。例如，当程序员需要查找实现特定功能的代码段时，系统能根据自然语言查询直接定位相关文件或函数，显著提升代码阅读与维护效率。此类工具尤其适用于开源项目协作或遗留系统重构，降低了理解复杂代码结构的认知负担，加速了软件开发周期。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在代码检索模型的优化与评估框架的拓展。研究者基于其任务设计提出了多种神经网络架构，如结合图注意力机制的代码表示学习模型，以提升对代码依赖关系的捕捉能力。同时，该数据集也催生了针对跨语言代码搜索、代码摘要生成等相邻任务的基准测试集，形成了以代码智能为核心的研究生态链，持续推动着软件工程与人工智能的交叉领域进展。