five

jingwora/github-issues-100

收藏
Hugging Face2023-07-08 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/jingwora/github-issues-100
下载链接
链接失效反馈
官方服务:
资源简介:
--- dataset_info: features: - name: url dtype: string - name: repository_url dtype: string - name: labels_url dtype: string - name: comments_url dtype: string - name: events_url dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: number dtype: int64 - name: title dtype: string - name: user struct: - name: login dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: labels list: - name: id dtype: int64 - name: node_id dtype: string - name: url dtype: string - name: name dtype: string - name: color dtype: string - name: default dtype: bool - name: description dtype: string - name: state dtype: string - name: locked dtype: bool - name: assignee struct: - name: login dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: assignees list: - name: login dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: milestone dtype: 'null' - name: comments sequence: string - name: created_at dtype: timestamp[s] - name: updated_at dtype: timestamp[s] - name: closed_at dtype: timestamp[s] - name: author_association dtype: string - name: active_lock_reason dtype: 'null' - name: body dtype: string - name: reactions struct: - name: url dtype: string - name: total_count dtype: int64 - name: '+1' dtype: int64 - name: '-1' dtype: int64 - name: laugh dtype: int64 - name: hooray dtype: int64 - name: confused dtype: int64 - name: heart dtype: int64 - name: rocket dtype: int64 - name: eyes dtype: int64 - name: timeline_url dtype: string - name: performed_via_github_app dtype: 'null' - name: state_reason dtype: string - name: draft dtype: bool - name: pull_request struct: - name: url dtype: string - name: html_url dtype: string - name: diff_url dtype: string - name: patch_url dtype: string - name: merged_at dtype: timestamp[s] - name: is_pull_request dtype: bool splits: - name: train num_bytes: 3991144 num_examples: 300 download_size: 463737 dataset_size: 3991144 --- # Dataset Card for "github-issues-100" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息: 特征: - 字段名:url,数据类型:字符串 - 字段名:repository_url,数据类型:字符串 - 字段名:labels_url,数据类型:字符串 - 字段名:comments_url,数据类型:字符串 - 字段名:events_url,数据类型:字符串 - 字段名:html_url,数据类型:字符串 - 字段名:id,数据类型:64位整数 - 字段名:node_id,数据类型:字符串 - 字段名:number,数据类型:64位整数 - 字段名:title,数据类型:字符串 - 字段名:user,结构体(struct)类型: - 字段名:login,数据类型:字符串 - 字段名:id,数据类型:64位整数 - 字段名:node_id,数据类型:字符串 - 字段名:avatar_url,数据类型:字符串 - 字段名:gravatar_id,数据类型:字符串 - 字段名:url,数据类型:字符串 - 字段名:html_url,数据类型:字符串 - 字段名:followers_url,数据类型:字符串 - 字段名:following_url,数据类型:字符串 - 字段名:gists_url,数据类型:字符串 - 字段名:starred_url,数据类型:字符串 - 字段名:subscriptions_url,数据类型:字符串 - 字段名:organizations_url,数据类型:字符串 - 字段名:repos_url,数据类型:字符串 - 字段名:events_url,数据类型:字符串 - 字段名:received_events_url,数据类型:字符串 - 字段名:type,数据类型:字符串 - 字段名:site_admin,数据类型:布尔值 - 字段名:labels,列表(list)类型: - 字段名:id,数据类型:64位整数 - 字段名:node_id,数据类型:字符串 - 字段名:url,数据类型:字符串 - 字段名:name,数据类型:字符串 - 字段名:color,数据类型:字符串 - 字段名:default,数据类型:布尔值 - 字段名:description,数据类型:字符串 - 字段名:state,数据类型:字符串 - 字段名:locked,数据类型:布尔值 - 字段名:assignee,结构体(struct)类型: - 字段名:login,数据类型:字符串 - 字段名:id,数据类型:64位整数 - 字段名:node_id,数据类型:字符串 - 字段名:avatar_url,数据类型:字符串 - 字段名:gravatar_id,数据类型:字符串 - 字段名:url,数据类型:字符串 - 字段名:html_url,数据类型:字符串 - 字段名:followers_url,数据类型:字符串 - 字段名:following_url,数据类型:字符串 - 字段名:gists_url,数据类型:字符串 - 字段名:starred_url,数据类型:字符串 - 字段名:subscriptions_url,数据类型:字符串 - 字段名:organizations_url,数据类型:字符串 - 字段名:repos_url,数据类型:字符串 - 字段名:events_url,数据类型:字符串 - 字段名:received_events_url,数据类型:字符串 - 字段名:type,数据类型:字符串 - 字段名:site_admin,数据类型:布尔值 - 字段名:assignees,列表(list)类型: - 字段名:login,数据类型:字符串 - 字段名:id,数据类型:64位整数 - 字段名:node_id,数据类型:字符串 - 字段名:avatar_url,数据类型:字符串 - 字段名:gravatar_id,数据类型:字符串 - 字段名:url,数据类型:字符串 - 字段名:html_url,数据类型:字符串 - 字段名:followers_url,数据类型:字符串 - 字段名:following_url,数据类型:字符串 - 字段名:gists_url,数据类型:字符串 - 字段名:starred_url,数据类型:字符串 - 字段名:subscriptions_url,数据类型:字符串 - 字段名:organizations_url,数据类型:字符串 - 字段名:repos_url,数据类型:字符串 - 字段名:events_url,数据类型:字符串 - 字段名:received_events_url,数据类型:字符串 - 字段名:type,数据类型:字符串 - 字段名:site_admin,数据类型:布尔值 - 字段名:milestone,数据类型:空值(null) - 字段名:comments,序列(sequence)类型:字符串 - 字段名:created_at,数据类型:秒级时间戳(timestamp[s]) - 字段名:updated_at,数据类型:秒级时间戳(timestamp[s]) - 字段名:closed_at,数据类型:秒级时间戳(timestamp[s]) - 字段名:author_association(作者关联关系),数据类型:字符串 - 字段名:active_lock_reason,数据类型:空值(null) - 字段名:body,数据类型:字符串 - 字段名:reactions(反应),结构体(struct)类型: - 字段名:url,数据类型:字符串 - 字段名:total_count,数据类型:64位整数 - 字段名:+1,数据类型:64位整数 - 字段名:-1,数据类型:64位整数 - 字段名:laugh,数据类型:64位整数 - 字段名:hooray,数据类型:64位整数 - 字段名:confused,数据类型:64位整数 - 字段名:heart,数据类型:64位整数 - 字段名:rocket,数据类型:64位整数 - 字段名:eyes,数据类型:64位整数 - 字段名:timeline_url,数据类型:字符串 - 字段名:performed_via_github_app,数据类型:空值(null) - 字段名:state_reason,数据类型:字符串 - 字段名:draft,数据类型:布尔值 - 字段名:pull_request(拉取请求),结构体(struct)类型: - 字段名:url,数据类型:字符串 - 字段名:html_url,数据类型:字符串 - 字段名:diff_url,数据类型:字符串 - 字段名:patch_url,数据类型:字符串 - 字段名:merged_at,数据类型:秒级时间戳(timestamp[s]) - 字段名:is_pull_request,数据类型:布尔值 拆分集: - 拆分集名称:train(训练集),占用字节数:3991144,样本数量:300 下载大小:463737 数据集总大小:3991144 # "github-issues-100"数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
提供机构:
jingwora
原始信息汇总

数据集概述

数据集名称

  • 名称: github-issues-100

数据集特征

  • 基本特征:
    • url: 字符串类型
    • repository_url: 字符串类型
    • labels_url: 字符串类型
    • comments_url: 字符串类型
    • events_url: 字符串类型
    • html_url: 字符串类型
    • id: 整数类型(64位)
    • node_id: 字符串类型
    • number: 整数类型(64位)
    • title: 字符串类型
    • user: 结构体类型,包含多个子特征
    • labels: 列表类型,包含多个子特征
    • state: 字符串类型
    • locked: 布尔类型
    • assignee: 结构体类型,包含多个子特征
    • assignees: 列表类型,包含多个子特征
    • milestone: 空值
    • comments: 字符串序列
    • created_at: 时间戳类型(秒)
    • updated_at: 时间戳类型(秒)
    • closed_at: 时间戳类型(秒)
    • author_association: 字符串类型
    • active_lock_reason: 空值
    • body: 字符串类型
    • reactions: 结构体类型,包含多个子特征
    • timeline_url: 字符串类型
    • performed_via_github_app: 空值
    • state_reason: 字符串类型
    • draft: 布尔类型
    • pull_request: 结构体类型,包含多个子特征
    • is_pull_request: 布尔类型

数据集分割

  • 分割:
    • train:
      • num_bytes: 3991144
      • num_examples: 300

数据集大小

  • 下载大小: 463737字节
  • 数据集大小: 3991144字节
搜集汇总
数据集介绍
main_image_url
构建方式
在软件工程与协作开发领域,GitHub Issues 作为项目问题追踪与讨论的核心载体,承载着丰富的技术交流与决策信息。jingwora/github-issues-100 数据集基于 GitHub API 采集,精选了 100 个代表性仓库的 Issues 数据,每条记录均包含完整的元数据结构。数据集的构建过程严格遵循 GitHub 官方数据格式,将每个 Issue 的 URL、标题、创建时间、状态、用户信息、标签、评论、反应(如点赞、表情等)以及关联的 Pull Request 信息等关键字段进行规范化存储。训练集包含 300 条样本,每条样本以 JSON 格式组织,确保了数据的高可用性和跨平台兼容性。通过系统化的字段映射与类型标注,该数据集为后续的分析与建模提供了坚实的数据基础。
使用方法
该数据集可通过 Hugging Face Datasets 库轻松加载,用户仅需调用 `load_dataset("jingwora/github-issues-100")` 即可获取训练集。数据以字典列表形式返回,每条记录均可通过字段名直接访问,如 `dataset["train"][0]["title"]` 提取标题。适用于多种下游任务,包括但不限于 Issue 分类(如状态预测、标签推荐)、开发者行为分析、社区情绪检测以及时间序列预测。对于自然语言处理任务,可利用 `body` 与 `comments` 字段进行文本建模;对于图神经网络或社交网络分析,`user`、`assignees` 及反应数据可用于构建协作关系图。建议在使用前对时间戳字段进行标准化处理,并利用 `is_pull_request` 字段过滤特定类型的数据以适配研究需求。
背景与挑战
背景概述
随着开源软件生态的蓬勃发展,GitHub作为全球最大的代码托管平台,积累了海量的软件协作数据。这些数据中,Issue(问题)作为开发者沟通缺陷、特性请求与任务分配的核心载体,蕴含着丰富的自然语言与结构化信息。jingwora/github-issues-100数据集由研究者于近期构建,旨在从GitHub API中抽取100条Issue记录,涵盖标题、正文、标签、评论、用户行为及时间戳等详尽字段。该数据集虽规模较小,却为探索软件工程中的文本分类、情感分析、协作模式挖掘等研究提供了可复现的基准样本,尤其适用于小样本学习与原型验证场景,对理解开源社区的协作机制具有基础性价值。
当前挑战
该数据集面临多重挑战。其一,在领域问题层面,Issue文本常包含代码片段、技术术语与不规范表达,导致自然语言处理模型难以准确理解语义,且标签分布不均(如部分类别仅出现一次),给多标签分类带来显著困难。其二,在构建过程中,从GitHub API获取数据需应对速率限制与数据一致性挑战,尤其是评论与反应等嵌套结构易因分页问题丢失;此外,原始字段包含大量冗余信息(如用户详细信息),需精细清洗与去重,而时间戳的跨时区解析也增加了预处理复杂度。
常用场景
经典使用场景
在软件工程与自然语言处理的交叉领域中,GitHub Issue数据为理解开发者协作模式、代码维护流程以及问题追踪机制提供了宝贵的语料资源。该数据集收录了来自一百个精选仓库的完整Issue记录,涵盖了标题、正文、标签、评论、状态变迁及参与者信息等结构化字段,成为训练智能问题分类器、自动标签推荐系统以及Issue摘要生成模型的经典基准。研究者常利用其丰富的元数据设计多任务学习框架,例如同时预测Issue的优先级、所属模块和解决时长,从而在统一的表示空间中捕获不同维度间的内在关联。
解决学术问题
学术研究中,该数据集有效解决了开源生态中非结构化文本与结构化状态信息之间的语义鸿沟问题。传统方法依赖手工规则进行Issue分类与路由,而基于此数据训练的深度学习模型能够自动学习文本特征与标签、状态、负责人等结构化属性之间的映射关系,显著提升了跨项目迁移学习的效果。其意义在于为软件仓库的智能化治理提供了可复现的实验平台,使得自动缺陷定位、社区健康度评估和开发者贡献度预测等前沿课题具备了标准化的评估基准,推动了软件工程领域从经验分析向数据驱动的范式转变。
实际应用
在实际工业场景中,该数据集支撑了持续集成流水线中的自动化Issue分诊系统。通过训练基于Transformer的模型,企业能够将新提交的Bug报告实时归类至对应的开发团队,并根据历史相似Issue的解决时长自动估算修复优先级。此外,基于评论序列的情感分析模块可预警社区冲突风险,而标签预测组件则帮助维护者自动补全缺失的分类信息。这些应用显著降低了大型项目中的沟通成本,将Issue的平均首次响应时间从数小时缩短至分钟级,尤其适用于拥有数百个微服务的分布式系统维护场景。
数据集最近研究
最新研究方向
在开源软件生态蓬勃发展的当下,GitHub Issues作为开发者协作与项目管理的核心枢纽,承载着海量的技术讨论、缺陷报告与功能请求。jingwora/github-issues-100数据集通过结构化采集仓库中的议题元数据,为软件工程领域的智能化研究提供了关键支撑。当前前沿方向聚焦于利用该数据集训练大语言模型,实现议题的自动分类、优先级排序与开发者意图识别,同时结合情感分析技术挖掘用户反馈中的潜在需求。这一方向与近期AI辅助代码审查、自动化Bug修复等热点事件紧密关联,其意义在于推动从被动响应式维护向主动智能治理的范式转变,显著提升开源社区的协作效率与软件质量。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务