open-github-issues
收藏资源简介：
OpenGitHub Issues 是一个包含14个公共GitHub仓库完整开发元数据的开源数据集，数据通过GitHub REST API和GraphQL API获取并转换为Parquet格式。数据集包含13.6百万行数据，分布在8个表中（issues、pull_requests、comments、review_comments、reviews、timeline_events、pr_files、commit_statuses），总大小1.1GB（Zstd压缩）。数据集记录了每个问题、拉取请求、评论、代码审查、时间线事件、文件变更和CI状态检查的完整信息。主要应用场景包括代码审查研究、项目健康指标分析、问题分类和软件工程过程挖掘。数据集采用Open Data Commons Attribution License (ODC-By) v1.0许可，最后更新于2026年4月7日。
OpenGitHub Issues is an open dataset containing complete development metadata from 14 public GitHub repositories. The data was collected via GitHub REST API and GraphQL API, then converted to Parquet format. The dataset contains 13.6 million rows across 8 tables: issues, pull_requests, comments, review_comments, reviews, timeline_events, pr_files, and commit_statuses, with a total size of 1.1 GB when compressed with Zstd. It records comprehensive information about each issue, pull request, comment, code review, timeline event, file change, and CI status check. Its primary application scenarios include code review research, project health metric analysis, issue classification, and software engineering process mining. The dataset is licensed under Open Data Commons Attribution License (ODC-By) v1.0, and was last updated on April 7, 2026.
OpenGitHub Issues 数据集概述
数据集基本信息
- 数据集名称: OpenGitHub Issues
- 托管地址: https://huggingface.co/datasets/open-index/open-github-issues
- 许可证: Open Data Commons Attribution License (ODC-By) v1.0
- 任务类别: 特征提取
- 支持语言: 英语、多语言
- 数据规模: 10M < n < 100M
- 标签: GitHub、元数据、问题、拉取请求、代码审查、开源、软件工程
- 最后更新: 2026-04-07 08:38 UTC
数据集内容与规模
该数据集包含从14个公共GitHub仓库的GitHub REST API和GraphQL API获取的完整开发元数据，已转换为Parquet格式以便于访问。
- 总数据量: 13.6M 行，分布在8个表中，总计1.1 GB（Zstd压缩的Parquet格式）。
- 核心内容: 每个问题、拉取请求、评论、代码审查、时间线事件、文件更改和CI状态检查都存储为独立的表，可单独加载或联合查询。
- 配套数据集: 此数据集是OpenGitHub的配套数据集，后者通过GH Archive镜像了实时的GitHub事件流。
包含的仓库
数据集涵盖以下14个公共GitHub仓库的开发元数据：
| 仓库 | 问题数 | 拉取请求数 | 评论数 | 审查数 | 时间线事件数 | 总计 | 最后更新 |
|---|---|---|---|---|---|---|---|
| ClickHouse/ClickHouse | 100.8K | 72.8K | 303.4K | 100.9K | 14.4K | 1.3M | 2026-04-07 00:16 UTC |
| duckdb/duckdb | 18.1K | 11.4K | 0 | 9.5K | 10.0K | 181.0K | 2026-04-07 08:04 UTC |
| etcd-io/etcd | 21.0K | 13.8K | 124.1K | 28.5K | 11.4K | 319.2K | 2026-04-06 23:32 UTC |
| facebook/react | 33.7K | 19.2K | 170.7K | 20.1K | 251.2K | 861.0K | 2026-04-07 07:32 UTC |
| golang/go | 75.9K | 4.9K | 536.2K | 323 | 268.2K | 957.3K | 2026-04-06 23:24 UTC |
| mdn/content | 41.5K | 31.5K | 157.4K | 18.9K | 13.2K | 412.6K | 2026-04-07 00:20 UTC |
| microsoft/TypeScript | 62.1K | 19.1K | 336.7K | 41.9K | 13.2K | 1.1M | 2026-04-07 00:00 UTC |
| pingcap/tidb | 67.2K | 44.5K | 487.4K | 162.6K | 10.1K | 1.2M | 2026-04-07 00:58 UTC |
| python/cpython | 145.8K | 69.8K | 864.5K | 149.9K | 25.0K | 1.9M | 2026-04-07 00:20 UTC |
| redis/redis | 14.6K | 7.6K | 81.5K | 27.2K | 10.9K | 207.3K | 2026-04-06 20:10 UTC |
| rust-lang/rust | 154.0K | 92.2K | 1.5M | 185.8K | 46.2K | 3.7M | 2026-04-07 00:14 UTC |
| swiftlang/swift | 84.4K | 66.8K | 447.3K | 108.5K | 13.9K | 1.4M | 2026-04-07 00:00 UTC |
| vuejs/core | 12.1K | 6.1K | 35.7K | 4.8K | 10.4K | 90.3K | 2026-04-07 00:05 UTC |
| vuejs/docs | 3.3K | 2.2K | 7.0K | 2.7K | 10.0K | 40.4K | 2026-04-03 19:23 UTC |
数据集结构
数据文件位于 data/{table}/{owner}/{repo}/0.parquet 路径下。数据集包含以下8个配置（表）：
issues: 包含问题和拉取请求的共享元数据。关键字段包括：number、is_pull_request、title、body、state、author、created_at、labels（JSON）、assignees（JSON）、reactions（JSON）等。pull_requests: 拉取请求的特定字段。关键字段包括：number、merged、merged_at、additions、deletions、changed_files、base_ref、head_ref等。comments: 问题和拉取请求上的对话评论。关键字段包括：id、issue_number、author、body、created_at、author_association、reactions（JSON）等。review_comments: PR差异中的内联代码审查评论。关键字段包括：id、pr_number、review_id、author、body、path、line、side、diff_hunk等。reviews: PR审查决策。关键字段包括：id、pr_number、author、state、body、submitted_at、commit_id等。timeline_events: 每个问题和PR的完整生命周期事件。关键字段包括：id、issue_number、event_type、actor、created_at、label_name、assignee_login、data（JSON）等。pr_files: 每个拉取请求更改的文件及每文件的差异统计。关键字段包括：pr_number、path、additions、deletions、status、previous_filename等。commit_statuses: 每个提交的CI/CD状态检查和GitHub Actions结果。关键字段包括：sha、context、state、description、target_url、created_at等。
各表数据统计
| 表 | 行数 | 描述 |
|---|---|---|
issues |
834.4K | 问题和拉取请求（共享元数据） |
pull_requests |
462.0K | PR特定字段（合并状态、差异、引用） |
comments |
4.1M | 问题和PR上的对话评论 |
review_comments |
945.6K | PR差异中的内联代码审查评论 |
reviews |
861.5K | PR审查决策 |
timeline_events |
708.2K | 活动时间线（标签、关闭、合并、分配） |
pr_files |
5.6M | 每个拉取请求中更改的文件 |
commit_statuses |
164.0K | 每个提交的CI/CD状态检查 |
| 总计 | 13.6M |
主要用途
- 代码审查研究: 附带特定差异行内联评论。
- 项目健康指标: 如合并率、审查周转时间、标签使用情况。
- 问题分类与分类: 包含完整文本、标签和时间线。
- 软件工程过程挖掘: 从时间线事件序列中挖掘。
技术细节与使用
- 数据格式: Zstd压缩的Parquet文件。
- 兼容工具: 可直接与DuckDB、
datasets、pandas和huggingface_hub配合使用。 - 访问方式: 支持通过DuckDB直接查询、使用Python的
datasets库流式加载或下载特定文件。 - 数据位置: 标准Hugging Face Parquet布局。
已知限制
- 时间点快照: 数据反映最后一次同步时的状态，非实时。增量更新会捕获自上次同步以来的所有更改。
- 包含机器人活动: 来自机器人（Dependabot、Renovate、GitHub Actions等）的评论和PR未被过滤。如需仅限人类活动，请根据
author字段筛选。 - JSON列:
labels、assignees、reactions和data列包含JSON字符串。 - 正文文本可能很大: 问题和评论正文包含完整的Markdown，有时包含嵌入式图像。
- 时间线数据因事件类型而异:
timeline_events表中的data字段包含原始的JSON事件负载，其模式取决于event_type。
隐私与许可说明
- 用户名、用户ID和作者关联信息按其在GitHub API中的出现形式包含在内。所有数据在GitHub上已是公开可访问的。
- 电子邮件地址未出现在此数据集中（它们仅存在于git提交对象中，这些对象位于单独的代码存档中，不在此处）。
- 不包含任何私有仓库数据。
- 数据根据Open Data Commons Attribution License (ODC-By) v1.0发布。原始数据受GitHub服务条款约束。
