ppl418/test-github-issues

--- dataset_info: features: - name: url dtype: string - name: repository_url dtype: string - name: labels_url dtype: string - name: comments_url dtype: string - name: events_url dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: number dtype: int64 - name: title dtype: string - name: user struct: - name: login dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: labels list: - name: id dtype: int64 - name: node_id dtype: string - name: url dtype: string - name: name dtype: string - name: color dtype: string - name: default dtype: bool - name: description dtype: string - name: state dtype: string - name: locked dtype: bool - name: assignee struct: - name: login dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: assignees list: - name: login dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: milestone dtype: 'null' - name: comments sequence: string - name: created_at dtype: timestamp[s] - name: updated_at dtype: timestamp[s] - name: closed_at dtype: timestamp[s] - name: author_association dtype: string - name: active_lock_reason dtype: 'null' - name: draft dtype: bool - name: pull_request struct: - name: url dtype: string - name: html_url dtype: string - name: diff_url dtype: string - name: patch_url dtype: string - name: merged_at dtype: timestamp[s] - name: body dtype: string - name: reactions struct: - name: url dtype: string - name: total_count dtype: int64 - name: '+1' dtype: int64 - name: '-1' dtype: int64 - name: laugh dtype: int64 - name: hooray dtype: int64 - name: confused dtype: int64 - name: heart dtype: int64 - name: rocket dtype: int64 - name: eyes dtype: int64 - name: timeline_url dtype: string - name: performed_via_github_app dtype: 'null' - name: state_reason dtype: string - name: is_pull_request dtype: bool splits: - name: train num_bytes: 410377 num_examples: 100 download_size: 183986 dataset_size: 410377 --- # Dataset Card for "test-github-issues" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 特征字段： - 字段名：url，数据类型：字符串类型 - 字段名：repository_url（仓库统一资源定位符），数据类型：字符串类型 - 字段名：labels_url（标签统一资源定位符），数据类型：字符串类型 - 字段名：comments_url（评论统一资源定位符），数据类型：字符串类型 - 字段名：events_url（事件统一资源定位符），数据类型：字符串类型 - 字段名：html_url（HTML统一资源定位符），数据类型：字符串类型 - 字段名：id（标识符），数据类型：64位整数类型 - 字段名：node_id（节点标识符），数据类型：字符串类型 - 字段名：number（编号），数据类型：64位整数类型 - 字段名：title（标题），数据类型：字符串类型 - 字段名：user（用户结构体），包含以下子字段： - 字段名：login（登录名），数据类型：字符串类型 - 字段名：id（标识符），数据类型：64位整数类型 - 字段名：node_id（节点标识符），数据类型：字符串类型 - 字段名：avatar_url（头像统一资源定位符），数据类型：字符串类型 - 字段名：gravatar_id（Gravatar标识符），数据类型：字符串类型 - 字段名：url（统一资源定位符），数据类型：字符串类型 - 字段名：html_url（HTML统一资源定位符），数据类型：字符串类型 - 字段名：followers_url（关注者统一资源定位符），数据类型：字符串类型 - 字段名：following_url（被关注者统一资源定位符），数据类型：字符串类型 - 字段名：gists_url（代码片段统一资源定位符），数据类型：字符串类型 - 字段名：starred_url（星标项目统一资源定位符），数据类型：字符串类型 - 字段名：subscriptions_url（订阅统一资源定位符），数据类型：字符串类型 - 字段名：organizations_url（组织统一资源定位符），数据类型：字符串类型 - 字段名：repos_url（仓库统一资源定位符），数据类型：字符串类型 - 字段名：events_url（事件统一资源定位符），数据类型：字符串类型 - 字段名：received_events_url（接收事件统一资源定位符），数据类型：字符串类型 - 字段名：type（类型），数据类型：字符串类型 - 字段名：site_admin（站点管理员权限），数据类型：布尔类型 - 字段名：labels（标签列表），列表类型，元素包含以下子字段： - 字段名：id（标识符），数据类型：64位整数类型 - 字段名：node_id（节点标识符），数据类型：字符串类型 - 字段名：url（统一资源定位符），数据类型：字符串类型 - 字段名：name（名称），数据类型：字符串类型 - 字段名：color（颜色），数据类型：字符串类型 - 字段名：default（默认标记），数据类型：布尔类型 - 字段名：description（描述信息），数据类型：字符串类型 - 字段名：state（状态），数据类型：字符串类型 - 字段名：locked（锁定状态），数据类型：布尔类型 - 字段名：assignee（经办人结构体），包含以下子字段： - 字段名：login（登录名），数据类型：字符串类型 - 字段名：id（标识符），数据类型：64位整数类型 - 字段名：node_id（节点标识符），数据类型：字符串类型 - 字段名：avatar_url（头像统一资源定位符），数据类型：字符串类型 - 字段名：gravatar_id（Gravatar标识符），数据类型：字符串类型 - 字段名：url（统一资源定位符），数据类型：字符串类型 - 字段名：html_url（HTML统一资源定位符），数据类型：字符串类型 - 字段名：followers_url（关注者统一资源定位符），数据类型：字符串类型 - 字段名：following_url（被关注者统一资源定位符），数据类型：字符串类型 - 字段名：gists_url（代码片段统一资源定位符），数据类型：字符串类型 - 字段名：starred_url（星标项目统一资源定位符），数据类型：字符串类型 - 字段名：subscriptions_url（订阅统一资源定位符），数据类型：字符串类型 - 字段名：organizations_url（组织统一资源定位符），数据类型：字符串类型 - 字段名：repos_url（仓库统一资源定位符），数据类型：字符串类型 - 字段名：events_url（事件统一资源定位符），数据类型：字符串类型 - 字段名：received_events_url（接收事件统一资源定位符），数据类型：字符串类型 - 字段名：type（类型），数据类型：字符串类型 - 字段名：site_admin（站点管理员权限），数据类型：布尔类型 - 字段名：assignees（经办人列表），列表类型，元素子字段与上述经办人结构体一致 - 字段名：milestone（里程碑），数据类型：空值 - 字段名：comments（评论），序列类型，元素为字符串类型 - 字段名：created_at（创建时间），数据类型：秒级时间戳 - 字段名：updated_at（更新时间），数据类型：秒级时间戳 - 字段名：closed_at（关闭时间），数据类型：秒级时间戳 - 字段名：author_association（作者关联关系），数据类型：字符串类型 - 字段名：active_lock_reason（活跃锁定原因），数据类型：空值 - 字段名：draft（草稿状态），数据类型：布尔类型 - 字段名：pull_request（拉取请求结构体），包含以下子字段： - 字段名：url（统一资源定位符），数据类型：字符串类型 - 字段名：html_url（HTML统一资源定位符），数据类型：字符串类型 - 字段名：diff_url（差异文件统一资源定位符），数据类型：字符串类型 - 字段名：patch_url（补丁文件统一资源定位符），数据类型：字符串类型 - 字段名：merged_at（合并时间），数据类型：秒级时间戳 - 字段名：body（正文内容），数据类型：字符串类型 - 字段名：reactions（反应统计结构体），包含以下子字段： - 字段名：url（统一资源定位符），数据类型：字符串类型 - 字段名：total_count（总反应数），数据类型：64位整数类型 - 字段名：+1（点赞反应），数据类型：64位整数类型 - 字段名：-1（踩击反应），数据类型：64位整数类型 - 字段名：laugh（大笑反应），数据类型：64位整数类型 - 字段名：hooray（欢呼反应），数据类型：64位整数类型 - 字段名：confused（困惑反应），数据类型：64位整数类型 - 字段名：heart（爱心反应），数据类型：64位整数类型 - 字段名：rocket（火箭庆祝反应），数据类型：64位整数类型 - 字段名：eyes（注视反应），数据类型：64位整数类型 - 字段名：timeline_url（时间线统一资源定位符），数据类型：字符串类型 - 字段名：performed_via_github_app（通过GitHub应用执行），数据类型：空值 - 字段名：state_reason（状态原因），数据类型：字符串类型 - 字段名：is_pull_request（是否为拉取请求），数据类型：布尔类型 数据集拆分： - 拆分名称：训练集（train），字节占用量：410377，样本数量：100 下载大小：183986 数据集存储总大小：410377 # 数据集卡片："test-github-issues" 「需补充更多信息」(https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

"test-github-issues"

数据集特征

• url: 字符串类型
• repository_url: 字符串类型
• labels_url: 字符串类型
• comments_url: 字符串类型
• events_url: 字符串类型
• html_url: 字符串类型
• id: 整数类型
• node_id: 字符串类型
• number: 整数类型
• title: 字符串类型
• user: 结构体类型，包含以下字段：
  • login: 字符串类型
  • id: 整数类型
  • node_id: 字符串类型
  • avatar_url: 字符串类型
  • gravatar_id: 字符串类型
  • url: 字符串类型
  • html_url: 字符串类型
  • followers_url: 字符串类型
  • following_url: 字符串类型
  • gists_url: 字符串类型
  • starred_url: 字符串类型
  • subscriptions_url: 字符串类型
  • organizations_url: 字符串类型
  • repos_url: 字符串类型
  • events_url: 字符串类型
  • received_events_url: 字符串类型
  • type: 字符串类型
  • site_admin: 布尔类型
• labels: 列表类型，包含以下字段：
  • id: 整数类型
  • node_id: 字符串类型
  • url: 字符串类型
  • name: 字符串类型
  • color: 字符串类型
  • default: 布尔类型
  • description: 字符串类型
• state: 字符串类型
• locked: 布尔类型
• assignee: 结构体类型，包含与user相同的字段
• assignees: 列表类型，包含与user相同的字段
• milestone: 空值
• comments: 字符串序列
• created_at: 时间戳类型
• updated_at: 时间戳类型
• closed_at: 时间戳类型
• author_association: 字符串类型
• active_lock_reason: 空值
• draft: 布尔类型
• pull_request: 结构体类型，包含以下字段：
  • url: 字符串类型
  • html_url: 字符串类型
  • diff_url: 字符串类型
  • patch_url: 字符串类型
  • merged_at: 时间戳类型
• body: 字符串类型
• reactions: 结构体类型，包含以下字段：
  • url: 字符串类型
  • total_count: 整数类型
  • +1: 整数类型
  • -1: 整数类型
  • laugh: 整数类型
  • hooray: 整数类型
  • confused: 整数类型
  • heart: 整数类型
  • rocket: 整数类型
  • eyes: 整数类型
• timeline_url: 字符串类型
• performed_via_github_app: 空值
• state_reason: 字符串类型
• is_pull_request: 布尔类型

数据集拆分

• train: 100个样本，总大小410377字节

数据集大小

• 下载大小: 183986字节
• 数据集大小: 410377字节

搜集汇总

数据集介绍

构建方式

该数据集源自GitHub平台上的Issue数据，通过系统化的数据采集与清洗流程构建而成。具体而言，数据收集过程聚焦于公开仓库中的Issue记录，利用GitHub API抓取包括标题、正文、评论、标签、用户信息及时间戳在内的多维字段。每条数据均以JSON结构存储，涵盖了从Issue创建到关闭的完整生命周期信息，如状态变更、指派人员、里程碑关联及拉取请求链接等。经过筛选与格式化后，数据集最终包含100条训练样本，大小约为410KB，确保数据质量与代表性。

特点

数据集呈现高度结构化的特点，每个样本包含超过30个字段，全面反映GitHub Issue的复杂属性。其特色在于融合了元数据（如URL、ID）、用户档案（如登录名、头像链接）、交互反馈（如表情反应计数）及时间序列（如创建、更新、关闭时间）等多维度信息。此外，标签与评论字段以列表形式存储，支持对Issue讨论过程的细粒度分析。数据集的紧凑规模（100条样本）使其成为测试与原型开发的理想选择，兼顾了多样性与可管理性。

使用方法

该数据集可便捷地通过HuggingFace Datasets库加载使用，用户只需调用`load_dataset`函数并指定名称`ppl418/test-github-issues`即可获取训练集。数据以字典形式返回，各字段按原始类型（如字符串、整数、布尔值）直接访问，便于集成到Python工作流中。适用于Issue分类、情感分析、时间序列预测及用户行为建模等任务。对于需处理嵌套结构（如用户信息、标签列表）的场景，可利用Datasets库的`flatten`方法或自定义解析函数进行数据预处理，以适配机器学习模型的输入要求。

背景与挑战

背景概述

在开源软件生态蓬勃发展的今天，GitHub作为全球最大的代码托管平台，其Issue（问题追踪）系统承载着海量的开发者协作数据。这些数据不仅记录了软件缺陷、功能请求与讨论过程，更蕴含着软件工程、自然语言处理及知识图谱构建等多领域的研究价值。ppl418/test-github-issues数据集由数据科学家于近期创建，旨在系统性地收集和结构化GitHub仓库中的Issue元数据，包括标题、描述、标签、评论、用户行为及时间戳等丰富字段。该数据集为自动化问题分类、开发者行为分析、软件维护预测以及社区健康度评估提供了标准化的数据基础，推动了从静态代码分析向动态协作过程洞察的研究范式转变。尽管样本规模尚小，但其精细化的字段设计已为后续大规模研究奠定了方法论框架。

当前挑战

该数据集面临的核心挑战首先在于领域问题的复杂性：GitHub Issue天然具有多标签、非结构化与噪声密集的特性，如何从混杂的文本与元数据中准确识别问题类型（如缺陷、增强、疑问）并关联上下文依赖，仍是自然语言处理与软件工程交叉领域的难点。其次，构建过程中需应对数据爬取与清洗的工程挑战，包括API速率限制导致的采样偏差、跨仓库标签体系不一致、用户隐私信息脱敏以及时间序列数据的对齐问题。此外，数据集中Pull Request与Issue的混合存储、评论链的层级关系缺失，进一步增加了语义解析的难度。这些挑战共同制约着数据集在自动化问题路由、优先级预测及协作模式挖掘等下游任务中的泛化性能。

常用场景

经典使用场景

在软件工程与自然语言处理交叉领域，ppl418/test-github-issues数据集为研究者提供了丰富的GitHub Issue结构化数据，涵盖标题、正文、标签、用户信息及时间戳等关键字段。该数据集最经典的用途在于训练和评估Issue自动分类与优先级预测模型，通过利用标签与状态字段，可构建多标签分类任务，助力自动化仓库管理。此外，基于Issue标题与正文的语义信息，研究者可开发智能推荐系统，实现相似问题聚合或开发者指派建议，从而提升开源协作效率。

解决学术问题

该数据集有效解决了开源软件维护中信息过载与人工处理效率低下的学术挑战。通过提供细粒度的Issue元数据，它支持研究者探索自动化问题分派、严重性评估及重复Issue检测等核心问题。其意义在于为基于深度学习的软件仓库分析提供了标准化基准，推动了从传统规则方法向数据驱动范式的转变，显著提升了大规模项目中Issue管理的可扩展性与智能化水平，为软件工程实证研究奠定了坚实基础。

衍生相关工作

该数据集衍生出多项经典工作，包括基于双向LSTM的Issue标题生成模型，以及结合图神经网络的开发者协作关系挖掘研究。相关学者利用其标签层级结构，提出了层次化多标签分类框架，显著提升了细粒度问题分类的准确率。另有工作将该数据与代码提交日志融合，构建跨模态的Bug定位系统。这些衍生研究不仅深化了对开源协作模式的理解，也促进了自然语言处理技术在软件维护中的创新应用，形成了一系列具有高影响力的学术成果。