13point5/swe-grep-rlm-reputable-recent-5plus

--- pretty_name: swe-grep-rlm-reputable-recent-5plus task_categories: - text-retrieval language: - en tags: - code - software-engineering - issue-localization - bug-localization - github - retrieval size_categories: - 100<n<1K --- # swe-grep-rlm-reputable-recent-5plus This dataset is a GitHub-mined collection of issue- or PR-linked retrieval examples for repository-level code search and localization. Each row is built from a merged pull request in a reputable, actively maintained open-source repository. The target labels are the PR's changed files, with a focus on non-test files. ## Summary - Rows: 799 - Repositories: 46 - Query source: - 519 rows use linked issue title/body when GitHub exposed it - 280 rows fall back to PR title/body - Non-test file count: - minimum: 5 - median: 8 - maximum: 264 - Distribution: - 501 rows with 5-10 non-test files - 169 rows with 11-20 non-test files - 129 rows with 21+ non-test files ## Files - `reputable_recent_5plus.jsonl`: primary dataset file - `reputable_recent_5plus.csv`: flattened mirror for quick inspection - `reputable_recent_repos.txt`: repo seed list used for the sweep - `scrape_github_prs.py`: collection script ## Schema Each example includes: - `repo` - `pr_number` - `pr_url` - `pr_title` - `pr_body` - `merged_at` - `query_text` - `query_source` - `linked_issues` - `file_count` - `non_test_file_count` - `test_file_count` - `files` - `non_test_files` - `test_files` - `additions` - `deletions` - `source` ## Construction Notes - Only merged PRs were considered. - Rows were filtered to keep `non_test_file_count >= 5`. - The collector prefers linked issue title/body when available, and otherwise falls back to PR text. - For PRs with more than 100 changed files, additional file pages were fetched so the file lists are not truncated at the initial GraphQL response. - File-type classification is heuristic. In particular, "non-test" is broader than "implementation-only" and may still include docs, config, changelog, or generated artifacts in some projects. ## Intended Use This dataset is designed for: - repository-level code retrieval - issue localization - training or evaluating rerankers and retrieval policies - weak supervision for query-to-files tasks It is not a gold-standard human-annotated benchmark. Labels come from merged PR diffs and linked issue/PR metadata. ## Provenance The data is derived from public GitHub repositories and metadata from their issues and pull requests. Upstream repository licenses vary by project.--- ### 元数据 - 数据集标识：swe-grep-rlm-reputable-recent-5plus - 任务类别：文本检索（text-retrieval） - 语言：英语 - 标签：代码（code）、软件工程（software-engineering）、问题定位（issue localization）、缺陷定位（bug localization）、GitHub（GitHub）、检索（retrieval） - 规模区间：100 < 样本数 < 1000 --- # swe-grep-rlm-reputable-recent-5plus 本数据集是从GitHub采集的、关联问题或拉取请求（Pull Request，PR）的检索示例集合，用于仓库级代码搜索与定位。每条数据均来自信誉良好且持续维护的开源仓库中的已合并拉取请求，目标标签为该PR修改的文件，且优先选择非测试文件。 ## 统计摘要 - 数据条目数：799 - 涉及仓库数：46 - 查询来源： - 519条数据使用GitHub公开的关联问题标题与正文作为查询内容 - 280条数据回退使用PR的标题与正文作为查询内容 - 非测试文件数量： - 最小值：5 - 中位数：8 - 最大值：264 - 分布情况： - 501条数据的非测试文件数为5~10个 - 169条数据的非测试文件数为11~20个 - 129条数据的非测试文件数为21个及以上 ## 数据集文件 - `reputable_recent_5plus.jsonl`：主数据集文件 - `reputable_recent_5plus.csv`：用于快速查看的扁平化镜像文件 - `reputable_recent_repos.txt`：本次数据采集所用的仓库种子列表 - `scrape_github_prs.py`：数据采集脚本 ## 数据模式 每条数据包含以下字段： - `repo`：仓库标识 - `pr_number`：PR编号 - `pr_url`：PR链接 - `pr_title`：PR标题 - `pr_body`：PR正文 - `merged_at`：合并时间 - `query_text`：查询文本 - `query_source`：查询来源 - `linked_issues`：关联问题列表 - `file_count`：总修改文件数 - `non_test_file_count`：非测试文件数 - `test_file_count`：测试文件数 - `files`：所有修改文件列表 - `non_test_files`：非测试修改文件列表 - `test_files`：测试修改文件列表 - `additions`：新增代码行数 - `deletions`：删除代码行数 - `source`：数据来源 ## 构建说明 - 仅纳入已合并的PR - 对数据条目进行过滤，保留`non_test_file_count >=5`的样本 - 采集流程优先使用可用的关联问题标题与正文，若无则回退使用PR文本 - 对于修改文件数超过100的PR，会额外获取文件分页数据，确保文件列表不会因初始GraphQL响应而被截断 - 文件类型分类采用启发式方法。具体而言，“非测试文件”的范畴比“仅实现文件”更广，在部分项目中仍可能包含文档、配置文件、变更日志或生成的产物。 ## 预期用途 本数据集旨在用于： - 仓库级代码检索 - 问题定位（issue localization） - 训练或评估重排序模型与检索策略 - 面向查询-文件任务的弱监督学习 本数据集并非经过人工标注的金标准基准测试集，其标签源自已合并PR的差异内容以及关联问题/PR的元数据。 ## 数据溯源 本数据集源自公开的GitHub仓库及其关联的问题与PR元数据，上游仓库的许可证因项目而异。