cpeng89/github-issues-hg_datasets

该数据集包含与GitHub仓库相关的信息，涵盖了各种URL、用户信息、标签、状态、评论、时间戳等字段。数据集包含一个训练集，大小为39552804字节，包含6993个样本。数据集的下载大小为11528432字节。

This dataset contains information related to GitHub repositories, including various URLs, user information, labels, statuses, comments, timestamps, and other fields. The dataset includes a training set with a size of 39552804 bytes, containing 6993 samples. The download size of the dataset is 11528432 bytes.

原始信息汇总

数据集概述

数据集信息

特征

• url: 字符串类型
• repository_url: 字符串类型
• labels_url: 字符串类型
• comments_url: 字符串类型
• events_url: 字符串类型
• html_url: 字符串类型
• id: 64位整数类型
• node_id: 字符串类型
• number: 64位整数类型
• title: 字符串类型
• user: 结构体类型
  • avatar_url: 字符串类型
  • events_url: 字符串类型
  • followers_url: 字符串类型
  • following_url: 字符串类型
  • gists_url: 字符串类型
  • gravatar_id: 字符串类型
  • html_url: 字符串类型
  • id: 64位整数类型
  • login: 字符串类型
  • node_id: 字符串类型
  • organizations_url: 字符串类型
  • received_events_url: 字符串类型
  • repos_url: 字符串类型
  • site_admin: 布尔类型
  • starred_url: 字符串类型
  • subscriptions_url: 字符串类型
  • type: 字符串类型
  • url: 字符串类型
• labels: 列表类型
  • color: 字符串类型
  • default: 布尔类型
  • description: 字符串类型
  • id: 64位整数类型
  • name: 字符串类型
  • node_id: 字符串类型
  • url: 字符串类型
• state: 字符串类型
• locked: 布尔类型
• assignee: 结构体类型
  • avatar_url: 字符串类型
  • events_url: 字符串类型
  • followers_url: 字符串类型
  • following_url: 字符串类型
  • gists_url: 字符串类型
  • gravatar_id: 字符串类型
  • html_url: 字符串类型
  • id: 64位整数类型
  • login: 字符串类型
  • node_id: 字符串类型
  • organizations_url: 字符串类型
  • received_events_url: 字符串类型
  • repos_url: 字符串类型
  • site_admin: 布尔类型
  • starred_url: 字符串类型
  • subscriptions_url: 字符串类型
  • type: 字符串类型
  • url: 字符串类型
• assignees: 列表类型
  • avatar_url: 字符串类型
  • events_url: 字符串类型
  • followers_url: 字符串类型
  • following_url: 字符串类型
  • gists_url: 字符串类型
  • gravatar_id: 字符串类型
  • html_url: 字符串类型
  • id: 64位整数类型
  • login: 字符串类型
  • node_id: 字符串类型
  • organizations_url: 字符串类型
  • received_events_url: 字符串类型
  • repos_url: 字符串类型
  • site_admin: 布尔类型
  • starred_url: 字符串类型
  • subscriptions_url: 字符串类型
  • type: 字符串类型
  • url: 字符串类型
• milestone: 结构体类型
  • closed_at: 字符串类型
  • closed_issues: 64位整数类型
  • created_at: 字符串类型
  • creator: 结构体类型
    • avatar_url: 字符串类型
    • events_url: 字符串类型
    • followers_url: 字符串类型
    • following_url: 字符串类型
    • gists_url: 字符串类型
    • gravatar_id: 字符串类型
    • html_url: 字符串类型
    • id: 64位整数类型
    • login: 字符串类型
    • node_id: 字符串类型
    • organizations_url: 字符串类型
    • received_events_url: 字符串类型
    • repos_url: 字符串类型
    • site_admin: 布尔类型
    • starred_url: 字符串类型
    • subscriptions_url: 字符串类型
    • type: 字符串类型
    • url: 字符串类型
  • description: 字符串类型
  • due_on: 字符串类型
  • html_url: 字符串类型
  • id: 64位整数类型
  • labels_url: 字符串类型
  • node_id: 字符串类型
  • number: 64位整数类型
  • open_issues: 64位整数类型
  • state: 字符串类型
  • title: 字符串类型
  • updated_at: 字符串类型
  • url: 字符串类型
• comments: 字符串序列类型
• created_at: 时间戳类型（纳秒，UTC时区）
• updated_at: 时间戳类型（纳秒，UTC时区）
• closed_at: 时间戳类型（纳秒，UTC时区）
• author_association: 字符串类型
• active_lock_reason: 64位浮点数类型
• draft: 64位浮点数类型
• pull_request: 结构体类型
  • diff_url: 字符串类型
  • html_url: 字符串类型
  • merged_at: 字符串类型
  • patch_url: 字符串类型
  • url: 字符串类型
• body: 字符串类型
• reactions: 结构体类型
  • +1: 64位整数类型
  • -1: 64位整数类型
  • confused: 64位整数类型
  • eyes: 64位整数类型
  • heart: 64位整数类型
  • hooray: 64位整数类型
  • laugh: 64位整数类型
  • rocket: 64位整数类型
  • total_count: 64位整数类型
  • url: 字符串类型
• timeline_url: 字符串类型
• performed_via_github_app: 64位浮点数类型
• state_reason: 字符串类型
• is_pull_request: 布尔类型

数据集分割

• train:
  • 字节数: 39552804
  • 样本数: 6993

数据集大小

• 下载大小: 11528432 字节
• 数据集大小: 39552804 字节

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

搜集汇总

数据集介绍

构建方式

在开源协作与软件工程研究领域，GitHub Issue 数据是理解项目动态、开发者行为及社区交互模式的重要资源。cpeng89/github-issues-hg_datasets 数据集通过系统化地从 Hugging Face 生态相关仓库中采集 Issue 记录构建而成。其数据来源直接依托 GitHub API，完整抓取了包括 Issue 标题、正文、标签、状态、评论、里程碑、事件时间戳以及用户与协作者信息在内的多维结构化字段。每条记录不仅保留了基础元数据如 URL、ID 和编号，还嵌套了用户档案、标签详情、指派对象、反应计数及关联的 Pull Request 信息，形成了一份高度细粒度的 Issue 全貌快照。数据以 Parquet 格式存储，并划分为单一的训练集，共计 6993 条样本，方便研究者直接用于分析与建模。

特点

该数据集最显著的特点在于其信息维度的丰富性与结构化的嵌套设计。每条 Issue 记录不仅包含标题、正文和状态等基础属性，还深度集成了用户信息（含头像、组织链接等 18 个字段）、标签体系（含颜色、描述与默认标记）、指派对象列表、里程碑详情（含创建者与时间节点）以及详尽的反应计数（支持 +1、-1、心、火箭等 10 种类型）。此外，数据还记录了 Issue 的创建、更新与关闭时间戳，并特别标注了是否为 Pull Request 以及关联的 PR 链接，为分析 Issue 与代码变更的关联提供了桥梁。这种多层次、高覆盖的数据结构，使其成为研究开源社区协作模式、Issue 生命周期演化以及开发者情绪反应的理想素材。

使用方法

该数据集的使用流程简洁高效，依托 Hugging Face Datasets 库即可快速加载。用户可通过 `load_dataset("cpeng89/github-issues-hg_datasets")` 一键获取训练数据，返回的 Dataset 对象支持直接访问各字段，如通过 `dataset["title"]` 提取 Issue 标题，或利用 `dataset["labels"]` 获取嵌套的标签列表。对于需要处理复杂嵌套结构的研究，可借助 `flatten` 方法将用户、标签等子字段展开为扁平表格，便于后续进行统计分析或机器学习建模。数据以 Parquet 格式存储，兼顾了存取效率与跨平台兼容性，适用于文本分类、情感分析、时间序列预测及社区网络分析等多种下游任务。

背景与挑战

背景概述

在软件工程与开源生态蓬勃发展的今天，GitHub作为全球最大的代码托管平台，其Issue（问题追踪）数据蕴含着丰富的软件维护、协作与缺陷管理信息。cpeng89/github-issues-hg_datasets数据集应运而生，旨在为自然语言处理与软件工程交叉领域提供结构化、多维度的研究资源。该数据集由研究者cpeng89构建，收录了来自多个仓库的数千条Issue记录，涵盖标题、正文、标签、用户信息、里程碑及反应（Reactions）等元数据，时间戳精确至UTC时区。其核心研究问题聚焦于利用大规模Issue数据推动自动化问题分类、情感分析、开发者协作模式挖掘以及代码仓库健康度评估等任务。作为连接开发者行为数据与机器学习模型的桥梁，该数据集为理解开源社区协作机制、提升项目管理效率提供了重要的基准支撑。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：GitHub Issue数据具有高度非结构化特征，正文常包含代码片段、链接与多语言混合内容，传统文本处理方法难以有效解析其中语义；同时，标签体系因仓库而异，缺乏统一标准，给跨仓库的自动分类与知识迁移带来困难。在构建过程中，挑战同样显著：数据采集需应对GitHub API的速率限制与数据异构性，确保不同时间点、不同仓库的Issue字段一致性；此外，注释（comments）以序列形式存储，其时间顺序与回复关系对建模上下文依赖提出更高要求；而反应字段（如+1、heart等）虽能反映社区反馈，但稀疏性与噪声问题突出，需设计鲁棒的归一化策略以避免模型偏见。

常用场景

经典使用场景

在软件工程与自然语言处理的交叉研究中，GitHub Issue数据是理解开发者协作模式与项目演化的重要窗口。cpeng89/github-issues-hg_datasets数据集系统性地收集了HuggingFace生态下多个核心仓库的议题记录，涵盖标题、正文、标签、状态、评论及用户交互等丰富字段。该数据集最经典的使用场景是训练议题分类与优先级预测模型，研究者可基于标签、状态和反应信息，构建多标签分类器自动识别Bug报告、功能请求或文档改进等议题类型。同时，利用时间戳与关闭状态，可对议题解决周期进行回归分析，从而辅助开源维护者优化工作流。

实际应用

在实际应用中，该数据集赋能了一系列智能开发工具。例如，基于议题分类模型，可开发GitHub插件自动为新提交的议题打上建议标签，减少维护者手动分类的负担。利用评论时间序列与反应数据，可构建社区健康度仪表盘，实时监控议题活跃度与解决效率。此外，通过分析议题与拉取请求的关联（如pull_request字段），可自动化生成项目更新日志，提升版本发布的透明度。这些应用已在HuggingFace社区中初步落地，显著降低了核心团队的维护成本。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作。在自然语言处理领域，研究者利用其丰富的文本内容微调了如BERT和RoBERTa等预训练模型，用于议题语义理解与摘要生成。在软件工程方向，有工作基于该数据构建了议题演化图谱，结合图注意力网络预测议题的最终关闭状态。此外，多模态分析方面，通过融合议题中的代码片段与自然语言描述，衍生出代码缺陷定位与修复建议生成等任务。这些工作不仅验证了数据集的多功能性，也推动了从议题数据中挖掘开发者意图与项目趋势的学术前沿。