DanielPFlorian/Transformers-Github-Issues

--- dataset_info: features: - name: url dtype: string - name: repository_url dtype: string - name: labels_url dtype: string - name: comments_url dtype: string - name: events_url dtype: string - name: html_url dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: number dtype: int64 - name: title dtype: string - name: user struct: - name: login dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: labels list: - name: id dtype: int64 - name: node_id dtype: string - name: url dtype: string - name: name dtype: string - name: color dtype: string - name: default dtype: bool - name: description dtype: string - name: state dtype: string - name: locked dtype: bool - name: assignee struct: - name: login dtype: string - name: id dtype: float64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: assignees list: - name: login dtype: string - name: id dtype: int64 - name: node_id dtype: string - name: avatar_url dtype: string - name: gravatar_id dtype: string - name: url dtype: string - name: html_url dtype: string - name: followers_url dtype: string - name: following_url dtype: string - name: gists_url dtype: string - name: starred_url dtype: string - name: subscriptions_url dtype: string - name: organizations_url dtype: string - name: repos_url dtype: string - name: events_url dtype: string - name: received_events_url dtype: string - name: type dtype: string - name: site_admin dtype: bool - name: comments sequence: string - name: created_at dtype: int64 - name: updated_at dtype: int64 - name: closed_at dtype: int64 - name: author_association dtype: string - name: active_lock_reason dtype: string - name: body dtype: string - name: reactions struct: - name: url dtype: string - name: total_count dtype: int64 - name: '+1' dtype: int64 - name: '-1' dtype: int64 - name: laugh dtype: int64 - name: hooray dtype: int64 - name: confused dtype: int64 - name: heart dtype: int64 - name: rocket dtype: int64 - name: eyes dtype: int64 - name: timeline_url dtype: string - name: state_reason dtype: string - name: draft dtype: bool - name: pull_request struct: - name: url dtype: string - name: html_url dtype: string - name: diff_url dtype: string - name: patch_url dtype: string - name: merged_at dtype: int64 splits: - name: train num_bytes: 157397577 num_examples: 28908 download_size: 49674263 dataset_size: 157397577 configs: - config_name: default data_files: - split: train path: data/train-* license: unknown task_categories: - text-classification - text-retrieval language: - en tags: - Github - Transformers - github-issues - huggingface pretty_name: Transformers-Github-Issues size_categories: - 10K<n<100K ---数据集信息： 特征： - 字段名：URL，数据类型：字符串 - 字段名：仓库URL（repository_url），数据类型：字符串 - 字段名：标签URL（labels_url），数据类型：字符串 - 字段名：评论URL（comments_url），数据类型：字符串 - 字段名：事件URL（events_url），数据类型：字符串 - 字段名：HTML页面URL（html_url），数据类型：字符串 - 字段名：ID，数据类型：64位整数 - 字段名：节点ID（node_id），数据类型：字符串 - 字段名：编号（number），数据类型：64位整数 - 字段名：标题（title），数据类型：字符串 - 字段名：用户（user），结构体： - 字段名：登录名（login），数据类型：字符串 - 字段名：用户ID（id），数据类型：64位整数 - 字段名：节点ID（node_id），数据类型：字符串 - 字段名：头像URL（avatar_url），数据类型：字符串 - 字段名：Gravatar ID（gravatar_id），数据类型：字符串 - 字段名：URL，数据类型：字符串 - 字段名：HTML页面URL（html_url），数据类型：字符串 - 字段名：关注者URL（followers_url），数据类型：字符串 - 字段名：关注URL（following_url），数据类型：字符串 - 字段名：Gists URL（gists_url），数据类型：字符串 - 字段名：星标URL（starred_url），数据类型：字符串 - 字段名：订阅URL（subscriptions_url），数据类型：字符串 - 字段名：组织URL（organizations_url），数据类型：字符串 - 字段名：仓库URL（repos_url），数据类型：字符串 - 字段名：事件URL（events_url），数据类型：字符串 - 字段名：接收事件URL（received_events_url），数据类型：字符串 - 字段名：账户类型（type），数据类型：字符串 - 字段名：站点管理员（site_admin），数据类型：布尔值 - 字段名：标签（labels），列表类型，元素结构体： - 字段名：标签ID（id），数据类型：64位整数 - 字段名：节点ID（node_id），数据类型：字符串 - 字段名：URL，数据类型：字符串 - 字段名：标签名称（name），数据类型：字符串 - 字段名：标签颜色（color），数据类型：字符串 - 字段名：是否默认标签（default），数据类型：布尔值 - 字段名：标签描述（description），数据类型：字符串 - 字段名：状态（state），数据类型：字符串 - 字段名：是否锁定（locked），数据类型：布尔值 - 字段名：被分配人（assignee），结构体： - 字段名：登录名（login），数据类型：字符串 - 字段名：用户ID（id），数据类型：64位浮点数 - 字段名：节点ID（node_id），数据类型：字符串 - 字段名：头像URL（avatar_url），数据类型：字符串 - 字段名：Gravatar ID（gravatar_id），数据类型：字符串 - 字段名：URL，数据类型：字符串 - 字段名：HTML页面URL（html_url），数据类型：字符串 - 字段名：关注者URL（followers_url），数据类型：字符串 - 字段名：关注URL（following_url），数据类型：字符串 - 字段名：Gists URL（gists_url），数据类型：字符串 - 字段名：星标URL（starred_url），数据类型：字符串 - 字段名：订阅URL（subscriptions_url），数据类型：字符串 - 字段名：组织URL（organizations_url），数据类型：字符串 - 字段名：仓库URL（repos_url），数据类型：字符串 - 字段名：事件URL（events_url），数据类型：字符串 - 字段名：接收事件URL（received_events_url），数据类型：字符串 - 字段名：账户类型（type），数据类型：字符串 - 字段名：站点管理员（site_admin），数据类型：布尔值 - 字段名：被分配人列表（assignees），列表类型，元素结构体： - 字段名：登录名（login），数据类型：字符串 - 字段名：用户ID（id），数据类型：64位整数 - 字段名：节点ID（node_id），数据类型：字符串 - 字段名：头像URL（avatar_url），数据类型：字符串 - 字段名：Gravatar ID（gravatar_id），数据类型：字符串 - 字段名：URL，数据类型：字符串 - 字段名：HTML页面URL（html_url），数据类型：字符串 - 字段名：关注者URL（followers_url），数据类型：字符串 - 字段名：关注URL（following_url），数据类型：字符串 - 字段名：Gists URL（gists_url），数据类型：字符串 - 字段名：星标URL（starred_url），数据类型：字符串 - 字段名：订阅URL（subscriptions_url），数据类型：字符串 - 字段名：组织URL（organizations_url），数据类型：字符串 - 字段名：仓库URL（repos_url），数据类型：字符串 - 字段名：事件URL（events_url），数据类型：字符串 - 字段名：接收事件URL（received_events_url），数据类型：字符串 - 字段名：账户类型（type），数据类型：字符串 - 字段名：站点管理员（site_admin），数据类型：布尔值 - 字段名：评论（comments），字符串序列 - 字段名：创建时间戳（created_at），数据类型：64位整数 - 字段名：更新时间戳（updated_at），数据类型：64位整数 - 字段名：关闭时间戳（closed_at），数据类型：64位整数 - 字段名：作者关联关系（author_association），数据类型：字符串 - 字段名：活跃锁定原因（active_lock_reason），数据类型：字符串 - 字段名：内容主体（body），数据类型：字符串 - 字段名：反应（reactions），结构体： - 字段名：URL，数据类型：字符串 - 字段名：总反应数（total_count），数据类型：64位整数 - 字段名：点赞（+1），数据类型：64位整数 - 字段名：点踩（-1），数据类型：64位整数 - 字段名：大笑反应（laugh），数据类型：64位整数 - 字段名：欢呼反应（hooray），数据类型：64位整数 - 字段名：困惑反应（confused），数据类型：64位整数 - 字段名：爱心反应（heart），数据类型：64位整数 - 字段名：火箭反应（rocket），数据类型：64位整数 - 字段名：注视反应（eyes），数据类型：64位整数 - 字段名：时间线URL（timeline_url），数据类型：字符串 - 字段名：状态原因（state_reason），数据类型：字符串 - 字段名：是否草稿（draft），数据类型：布尔值 - 字段名：拉取请求（pull_request），结构体： - 字段名：URL，数据类型：字符串 - 字段名：HTML页面URL（html_url），数据类型：字符串 - 字段名：差异URL（diff_url），数据类型：字符串 - 字段名：补丁URL（patch_url），数据类型：字符串 - 字段名：合并时间戳（merged_at），数据类型：64位整数 数据集划分： - 划分名称：训练集（train），占用字节数：157397577，样本数量：28908 下载总大小：49674263，数据集总大小：157397577 配置： - 配置名称：默认配置（default），数据文件： - 训练集划分对应路径：data/train-* 许可证：未知 任务类别： - 文本分类（text-classification） - 文本检索（text-retrieval） 语言： - 英语（en） 标签： - GitHub - Transformer模型（Transformers） - GitHub议题（github-issues） - Hugging Face 美观名称：Transformer模型-GitHub议题（Transformers-Github-Issues） 规模类别： - 10000<样本数<100000

原始信息汇总

数据集概述

数据集特征

• url: 字符串类型
• repository_url: 字符串类型
• labels_url: 字符串类型
• comments_url: 字符串类型
• events_url: 字符串类型
• html_url: 字符串类型
• id: 64位整数类型
• node_id: 字符串类型
• number: 64位整数类型
• title: 字符串类型
• user: 结构体类型
  • login: 字符串类型
  • id: 64位整数类型
  • node_id: 字符串类型
  • avatar_url: 字符串类型
  • gravatar_id: 字符串类型
  • url: 字符串类型
  • html_url: 字符串类型
  • followers_url: 字符串类型
  • following_url: 字符串类型
  • gists_url: 字符串类型
  • starred_url: 字符串类型
  • subscriptions_url: 字符串类型
  • organizations_url: 字符串类型
  • repos_url: 字符串类型
  • events_url: 字符串类型
  • received_events_url: 字符串类型
  • type: 字符串类型
  • site_admin: 布尔类型
• labels: 列表类型
  • id: 64位整数类型
  • node_id: 字符串类型
  • url: 字符串类型
  • name: 字符串类型
  • color: 字符串类型
  • default: 布尔类型
  • description: 字符串类型
• state: 字符串类型
• locked: 布尔类型
• assignee: 结构体类型
  • login: 字符串类型
  • id: 64位浮点数类型
  • node_id: 字符串类型
  • avatar_url: 字符串类型
  • gravatar_id: 字符串类型
  • url: 字符串类型
  • html_url: 字符串类型
  • followers_url: 字符串类型
  • following_url: 字符串类型
  • gists_url: 字符串类型
  • starred_url: 字符串类型
  • subscriptions_url: 字符串类型
  • organizations_url: 字符串类型
  • repos_url: 字符串类型
  • events_url: 字符串类型
  • received_events_url: 字符串类型
  • type: 字符串类型
  • site_admin: 布尔类型
• assignees: 列表类型
  • login: 字符串类型
  • id: 64位整数类型
  • node_id: 字符串类型
  • avatar_url: 字符串类型
  • gravatar_id: 字符串类型
  • url: 字符串类型
  • html_url: 字符串类型
  • followers_url: 字符串类型
  • following_url: 字符串类型
  • gists_url: 字符串类型
  • starred_url: 字符串类型
  • subscriptions_url: 字符串类型
  • organizations_url: 字符串类型
  • repos_url: 字符串类型
  • events_url: 字符串类型
  • received_events_url: 字符串类型
  • type: 字符串类型
  • site_admin: 布尔类型
• comments: 字符串序列类型
• created_at: 64位整数类型
• updated_at: 64位整数类型
• closed_at: 64位整数类型
• author_association: 字符串类型
• active_lock_reason: 字符串类型
• body: 字符串类型
• reactions: 结构体类型
  • url: 字符串类型
  • total_count: 64位整数类型
  • +1: 64位整数类型
  • -1: 64位整数类型
  • laugh: 64位整数类型
  • hooray: 64位整数类型
  • confused: 64位整数类型
  • heart: 64位整数类型
  • rocket: 64位整数类型
  • eyes: 64位整数类型
• timeline_url: 字符串类型
• state_reason: 字符串类型
• draft: 布尔类型
• pull_request: 结构体类型
  • url: 字符串类型
  • html_url: 字符串类型
  • diff_url: 字符串类型
  • patch_url: 字符串类型
  • merged_at: 64位整数类型

数据集分割

• train: 包含157,397,577字节，28,908个样本

数据集大小

• 下载大小: 49,674,263字节
• 数据集大小: 157,397,577字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

许可证

• 未知

任务类别

• 文本分类
• 文本检索

语言

• 英语

标签

• Github
• Transformers
• github-issues
• huggingface

数据集名称

• Transformers-Github-Issues

数据集大小类别

• 10K<n<100K

搜集汇总

数据集介绍

构建方式

在开源软件生态中，GitHub Issue作为开发者协作与问题追踪的核心载体，蕴含着丰富的技术讨论与代码演化信息。DanielPFlorian/Transformers-Github-Issues数据集正是针对Hugging Face Transformers库的Issue记录进行系统性采集与结构化处理而成。该数据集通过GitHub API获取了Transformers仓库中近2.9万条Issue数据，涵盖从基础元数据（如URL、ID、标题、创建时间）到用户信息、标签体系、指派情况、评论序列、反应统计及关联的Pull Request等完整字段。每条记录均保留了Issue的开放、关闭或锁定状态，以及关闭时间与状态原因等关键时间节点信息，确保了数据在时间维度上的连续性与可追溯性。

特点

该数据集的核心特色在于其全面而精细的字段设计，覆盖了GitHub Issue生命周期中所有关键维度。除了常见的标题、正文与状态信息外，还包含了用户完整档案（如登陆名、类型、管理员标识）、标签的颜色与描述、指派人与指派人群组、以及丰富的反应计数（如点赞、疑惑、火箭等表情反馈）。评论字段以序列形式存储，保留了讨论的原始顺序。尤为突出的是，数据集为每个Issue记录了关联的Pull Request详情（包括diff与patch链接），使得代码变更与问题讨论之间的映射关系得以清晰呈现。这种多维度的信息聚合，为理解开源协作模式、问题分类与优先级预测等任务提供了坚实的数据基础。

使用方法

该数据集以Hugging Face Datasets库的标准格式发布，用户可通过简单的加载指令快速获取训练分割数据。适用于文本分类任务（如Issue状态预测、标签推荐）与文本检索任务（如相似问题匹配）。在预处理阶段，可结合标题与正文字段构建特征，利用标签和反应计数作为监督信号。评论序列与时间戳可用于对话建模与时间序列分析。数据集默认仅包含训练集，用户可按需划分验证与测试子集。建议在应用前对文本字段进行清洗（如去除HTML标签与特殊字符），并对结构化字段（如用户信息、标签列表）进行扁平化或嵌入编码，以适应下游深度学习模型的输入要求。

背景与挑战

背景概述

在自然语言处理与软件工程交叉领域，开源社区中的技术讨论文本蕴含着丰富的语义信息与协作模式。DanielPFlorian/Transformers-Github-Issues数据集由研究者于近年构建，聚焦于HuggingFace Transformers库的GitHub议题数据，旨在探索基于Transformer架构的模型在议题分类、语义检索等任务上的应用潜力。该数据集收录了约2.9万条英文议题，涵盖标题、正文、标签、用户交互及反应等结构化信息，为研究开源协作中的语言模式提供了高质量语料。其发布推动了议题自动化管理工具的发展，尤其在代码库维护与社区问答分析领域具有显著影响力。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，议题文本常混合代码片段、错误日志与自然语言，导致传统文本分类模型难以准确捕捉语义边界；此外，议题标签分布不均且部分标签含义模糊，增加了多标签分类的难度。在构建过程中，数据爬取需处理GitHub API的速率限制与字段异构性，确保完整性与一致性；同时，议题中用户提及、链接及表情符号等非结构化内容需精细清洗，以避免噪声干扰模型训练。这些挑战共同制约了数据集在真实场景中的泛化能力。

常用场景

经典使用场景

在自然语言处理与软件工程交叉领域，DanielPFlorian/Transformers-Github-Issues数据集以HuggingFace Transformers库的GitHub Issue为数据源，汇聚了超过两万八千条涵盖缺陷报告、功能请求、问题讨论等多元类型的文本记录。该数据集凭借其丰富的结构化字段——包括标题、正文、标签、评论及用户交互信息——为研究者提供了构建和评估文本分类模型的理想基准。经典使用场景集中于自动识别Issue类型（如Bug或Feature）、预测Issue关闭状态以及分析开发者情绪倾向，其高保真的真实数据生态使得模型能够捕捉开源协作中的语言模式与决策逻辑。

解决学术问题

该数据集有效回应了软件工程中自动化Issue管理的学术挑战，尤其是针对大规模开源项目中人工分类效率低下与响应延迟的痛点。通过提供标注齐全的Issue样本，它使得基于深度学习的文本分类与检索研究得以深入探索，例如利用预训练语言模型（如BERT）进行多标签分类，或通过检索增强生成技术实现类似Issue的自动匹配。这些工作不仅提升了Issue处理的精准度，还揭示了开发者社区中隐含的协作规律与问题演化趋势，为软件维护的智能化转型奠定了实证基础。

衍生相关工作

围绕该数据集衍生了一系列具有影响力的研究工作，例如利用其多模态特征（文本+标签+时间戳）开发了Issue优先级排序模型，以及结合图神经网络对开发者协作网络进行建模以预测Issue解决时长。另有一些经典工作聚焦于跨项目迁移学习，通过该数据集训练通用Issue理解模型，再微调至其他开源仓库，验证了知识在软件生态中的可迁移性。这些成果不仅丰富了软件仓库挖掘领域的理论体系，还催生了如GitHub Issue自动路由与智能问答系统等实用工具，进一步推动了开源治理的自动化进程。