jpardue/github_datasets_issues

Name: jpardue/github_datasets_issues
Creator: jpardue
Published: 2024-02-16 20:42:23
License: 暂无描述

Hugging Face2024-02-16 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/jpardue/github_datasets_issues

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: url dtype: string - name: repository_url dtype: string - name: labels_url dtype: string - name: comments_url dtype: string - name: events_url dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: number dtype: int64 - name: title dtype: string - name: user struct: - name: avatar_url dtype: string - name: events_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: gravatar_id dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: login dtype: string - name: node_id dtype: string - name: organizations_url dtype: string - name: received_events_url dtype: string - name: repos_url dtype: string - name: site_admin dtype: bool - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: type dtype: string - name: url dtype: string - name: labels list: - name: color dtype: string - name: default dtype: bool - name: description dtype: string - name: id dtype: int64 - name: name dtype: string - name: node_id dtype: string - name: url dtype: string - name: state dtype: string - name: locked dtype: bool - name: assignee struct: - name: avatar_url dtype: string - name: events_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: gravatar_id dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: login dtype: string - name: node_id dtype: string - name: organizations_url dtype: string - name: received_events_url dtype: string - name: repos_url dtype: string - name: site_admin dtype: bool - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: type dtype: string - name: url dtype: string - name: assignees list: - name: avatar_url dtype: string - name: events_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: gravatar_id dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: login dtype: string - name: node_id dtype: string - name: organizations_url dtype: string - name: received_events_url dtype: string - name: repos_url dtype: string - name: site_admin dtype: bool - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: type dtype: string - name: url dtype: string - name: milestone struct: - name: closed_at dtype: string - name: closed_issues dtype: int64 - name: created_at dtype: string - name: creator struct: - name: avatar_url dtype: string - name: events_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: gravatar_id dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: login dtype: string - name: node_id dtype: string - name: organizations_url dtype: string - name: received_events_url dtype: string - name: repos_url dtype: string - name: site_admin dtype: bool - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: type dtype: string - name: url dtype: string - name: description dtype: string - name: due_on dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: labels_url dtype: string - name: node_id dtype: string - name: number dtype: int64 - name: open_issues dtype: int64 - name: state dtype: string - name: title dtype: string - name: updated_at dtype: string - name: url dtype: string - name: comments sequence: string - name: created_at dtype: timestamp[ns, tz=UTC] - name: updated_at dtype: timestamp[ns, tz=UTC] - name: closed_at dtype: timestamp[ns, tz=UTC] - name: author_association dtype: string - name: active_lock_reason dtype: float64 - name: draft dtype: float64 - name: pull_request struct: - name: diff_url dtype: string - name: html_url dtype: string - name: merged_at dtype: string - name: patch_url dtype: string - name: url dtype: string - name: body dtype: string - name: reactions struct: - name: '+1' dtype: int64 - name: '-1' dtype: int64 - name: confused dtype: int64 - name: eyes dtype: int64 - name: heart dtype: int64 - name: hooray dtype: int64 - name: laugh dtype: int64 - name: rocket dtype: int64 - name: total_count dtype: int64 - name: url dtype: string - name: timeline_url dtype: string - name: performed_via_github_app dtype: float64 - name: state_reason dtype: string - name: is_pull_request dtype: bool splits: - name: train num_bytes: 22999495 num_examples: 3000 download_size: 6713970 dataset_size: 22999495 configs: - config_name: default data_files: - split: train path: data/train-* ---

提供机构：

jpardue

原始信息汇总

数据集特征

基本信息

url: 字符串类型
repository_url: 字符串类型
labels_url: 字符串类型
comments_url: 字符串类型
events_url: 字符串类型
html_url: 字符串类型
id: 64位整数类型
node_id: 字符串类型
number: 64位整数类型
title: 字符串类型
state: 字符串类型
locked: 布尔类型
comments: 字符串序列类型
created_at: 时间戳类型，UTC时区
updated_at: 时间戳类型，UTC时区
closed_at: 时间戳类型，UTC时区
author_association: 字符串类型
active_lock_reason: 64位浮点数类型
draft: 64位浮点数类型
body: 字符串类型
timeline_url: 字符串类型
performed_via_github_app: 64位浮点数类型
state_reason: 字符串类型
is_pull_request: 布尔类型

用户信息

user: 结构体类型
- avatar_url: 字符串类型
- events_url: 字符串类型
- followers_url: 字符串类型
- following_url: 字符串类型
- gists_url: 字符串类型
- gravatar_id: 字符串类型
- html_url: 字符串类型
- id: 64位整数类型
- login: 字符串类型
- node_id: 字符串类型
- organizations_url: 字符串类型
- received_events_url: 字符串类型
- repos_url: 字符串类型
- site_admin: 布尔类型
- starred_url: 字符串类型
- subscriptions_url: 字符串类型
- type: 字符串类型
- url: 字符串类型

标签信息

labels: 列表类型
- color: 字符串类型
- default: 布尔类型
- description: 字符串类型
- id: 64位整数类型
- name: 字符串类型
- node_id: 字符串类型
- url: 字符串类型

指派信息

assignee: 结构体类型
- avatar_url: 字符串类型
- events_url: 字符串类型
- followers_url: 字符串类型
- following_url: 字符串类型
- gists_url: 字符串类型
- gravatar_id: 字符串类型
- html_url: 字符串类型
- id: 64位整数类型
- login: 字符串类型
- node_id: 字符串类型
- organizations_url: 字符串类型
- received_events_url: 字符串类型
- repos_url: 字符串类型
- site_admin: 布尔类型
- starred_url: 字符串类型
- subscriptions_url: 字符串类型
- type: 字符串类型
- url: 字符串类型

指派列表

assignees: 列表类型
- avatar_url: 字符串类型
- events_url: 字符串类型
- followers_url: 字符串类型
- following_url: 字符串类型
- gists_url: 字符串类型
- gravatar_id: 字符串类型
- html_url: 字符串类型
- id: 64位整数类型
- login: 字符串类型
- node_id: 字符串类型
- organizations_url: 字符串类型
- received_events_url: 字符串类型
- repos_url: 字符串类型
- site_admin: 布尔类型
- starred_url: 字符串类型
- subscriptions_url: 字符串类型
- type: 字符串类型
- url: 字符串类型

里程碑信息

milestone: 结构体类型
- closed_at: 字符串类型
- closed_issues: 64位整数类型
- created_at: 字符串类型
- creator: 结构体类型
  - avatar_url: 字符串类型
  - events_url: 字符串类型
  - followers_url: 字符串类型
  - following_url: 字符串类型
  - gists_url: 字符串类型
  - gravatar_id: 字符串类型
  - html_url: 字符串类型
  - id: 64位整数类型
  - login: 字符串类型
  - node_id: 字符串类型
  - organizations_url: 字符串类型
  - received_events_url: 字符串类型
  - repos_url: 字符串类型
  - site_admin: 布尔类型
  - starred_url: 字符串类型
  - subscriptions_url: 字符串类型
  - type: 字符串类型
  - url: 字符串类型
- description: 字符串类型
- due_on: 字符串类型
- html_url: 字符串类型
- id: 64位整数类型
- labels_url: 字符串类型
- node_id: 字符串类型
- number: 64位整数类型
- open_issues: 64位整数类型
- state: 字符串类型
- title: 字符串类型
- updated_at: 字符串类型
- url: 字符串类型

拉取请求信息

pull_request: 结构体类型
- diff_url: 字符串类型
- html_url: 字符串类型
- merged_at: 字符串类型
- patch_url: 字符串类型
- url: 字符串类型

反应信息

reactions: 结构体类型
- +1: 64位整数类型
- -1: 64位整数类型
- confused: 64位整数类型
- eyes: 64位整数类型
- heart: 64位整数类型
- hooray: 64位整数类型
- laugh: 64位整数类型
- rocket: 64位整数类型
- total_count: 64位整数类型
- url: 字符串类型

数据集分割

train:
- num_bytes: 22999495
- num_examples: 3000

数据集大小

download_size: 6713970
dataset_size: 22999495

配置

config_name: default
- data_files:
  - split: train
    - path: data/train-*

搜集汇总

数据集介绍

构建方式

在开源软件生态中，GitHub Issue作为项目协作与问题追踪的核心载体，蕴含着丰富的软件开发行为数据。jpardue/github_datasets_issues数据集通过系统化采集GitHub平台上的Issue记录构建而成，每条样本均完整保留了原始API响应中的结构化字段，涵盖从基础标识符（如url、id、number）到用户信息（user、assignee、assignees）、标签体系（labels）、里程碑（milestone）及时间戳（created_at、updated_at、closed_at）等三十余个维度。数据以Parquet格式存储，包含3000条训练样本，总大小约23MB，确保了高效读写与下游任务的便捷加载。

特点

该数据集最显著的特点在于其字段的全面性与结构化深度。它不仅收录了Issue的标题（title）与正文（body）等文本内容，还精细刻画了用户行为特征（如author_association）、反应计数（reactions，包括+1、-1、heart等九类表情）、拉取请求关联（pull_request）以及锁定状态（locked）与状态原因（state_reason）。特别地，assignees与labels以嵌套列表形式存储，milestone字段则进一步封装了创建者信息与时间节点，为分析项目进度与社区互动提供了多维视角。这种设计使得数据集既适用于基础的文本分类任务，也能支撑复杂的社交网络与协作模式研究。

使用方法

使用该数据集时，可通过Hugging Face的datasets库直接加载，指定配置名'default'即可获取训练集。由于字段类型严格遵循GitHub API规范，研究者可无缝利用pandas或Spark进行数据清洗与特征工程。例如，可提取labels中的name字段进行多标签分类建模，或基于created_at与closed_at计算Issue解决时长。对于涉及用户行为分析的任务，user与assignee子结构中的login、type等属性可被展开为独立特征。此外，reactions字段中的计数项可作为情感分析的量化标签，而is_pull_request布尔值则能有效过滤Pull Request记录，确保分析聚焦于纯Issue场景。

背景与挑战

背景概述

在开源软件生态蓬勃发展的今天，GitHub作为全球最大的代码托管平台，其Issue（问题追踪）机制承载着海量开发者协作与软件维护的宝贵数据。jpardue/github_datasets_issues数据集应运而生，由研究人员于近年构建，旨在系统性地收集并结构化呈现GitHub仓库中的Issue记录。该数据集聚焦于解析软件工程中的核心研究问题，如缺陷报告分析、功能请求分类、社区协作模式挖掘以及开发者行为建模。通过提供包含标题、正文、标签、状态、用户信息、时间戳及反应等丰富字段的标准化数据，它为机器学习、自然语言处理及经验软件工程等领域提供了坚实的数据基础，对推动智能化软件开发工具与开源社区分析的研究具有重要影响力。

当前挑战

该数据集面临的核心挑战在于多维度复杂性的交织。首先，GitHub Issue数据天然具有非结构化与半结构化特征，文本噪声大、标签体系不统一、跨仓库的标签含义差异显著，给自动化分类与信息提取带来巨大困难。其次，数据构建过程中需处理海量API请求的速率限制、数据一致性维护以及隐私合规问题，确保数据集的完整性与合法性。此外，Issue中常包含代码片段、错误日志与多语言混合文本，增加了预处理与语义理解的难度。最后，如何从时间序列角度建模Issue的生命周期演化，以及平衡不同活跃度仓库间的数据分布偏差，仍是当前难以回避的技术瓶颈。

常用场景

经典使用场景

在软件工程与自然语言处理的交叉领域，GitHub Issues数据集为研究者提供了丰富的开源协作语料。该数据集汇聚了来自数千个仓库的议题记录，涵盖了标题、正文描述、标签、评论及用户交互等结构化信息。其最经典的使用场景在于训练自动化议题分类与标签推荐模型，通过分析议题的语义内容和元数据特征，实现对缺陷报告、功能请求、文档改进等不同类型议题的精准识别，为开源社区的智能化管理奠定基础。

实际应用

在实际应用中，该数据集支撑了多种开发辅助工具的开发。例如，集成到GitHub工作流的自动标签机器人能够根据议题内容实时推荐标签，减轻维护者的手动操作负担。同时，基于议题评论的情感分析功能可帮助团队及时发现冲突或用户不满情绪，优化协作氛围。此外，通过分析议题关闭时间与回复模式，项目管理者能够量化团队响应效率，制定更合理的迭代计划。

衍生相关工作

基于该数据集，学术界衍生了一系列经典工作。如使用Transformer架构的议题摘要生成模型，能从冗长的讨论中提取关键信息；融合图神经网络的多标签分类方法，利用议题间的关联关系提升预测准确率。此外，还有研究将其用于构建代码缺陷预警系统，通过议题描述与代码提交历史的关联分析，实现潜在缺陷的早期识别。这些工作不仅深化了对开源协作模式的理解，也为AI辅助软件工程提供了重要基准。

以上内容由遇见数据集搜集并总结生成