loubnabnl/pre-processed-issues

---
dataset_info:
features:
- name: repo
dtype: string
- name: org
dtype: string
- name: issue_id
dtype: int64
- name: issue_number
dtype: int64
- name: pull_request
struct:
- name: number
dtype: int64
- name: repo
dtype: string
- name: user_login
dtype: string
- name: events
list:
- name: action
dtype: string
- name: author
dtype: string
- name: comment_id
dtype: float64
- name: datetime
dtype: int64
- name: masked_author
dtype: string
- name: text
dtype: string
- name: title
dtype: string
- name: type
dtype: string
- name: text_size
dtype: int64
- name: bot_issue
dtype: bool
- name: modified_by_bot
dtype: bool
- name: user_count
dtype: int64
- name: event_count
dtype: int64
- name: modified_usernames
dtype: bool
splits:
- name: train
num_bytes: 15607937
num_examples: 6759
download_size: 7397345
dataset_size: 15607937
---
# Dataset Card for "pre-processed-issues"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
dataset_info:
字段特征：
- 名称：仓库（repo），数据类型：字符串
- 名称：组织（org），数据类型：字符串
- 名称：议题ID（issue_id），数据类型：64位整型
- 名称：议题编号（issue_number），数据类型：64位整型
- 名称：拉取请求（pull_request），为结构体类型，包含以下子字段：
- 名称：编号，数据类型：64位整型
- 名称：仓库（repo），数据类型：字符串
- 名称：用户登录名（user_login），数据类型：字符串
- 名称：事件列表（events），为列表类型，列表项为结构体，包含以下字段：
- 名称：操作类型（action），数据类型：字符串
- 名称：作者（author），数据类型：字符串
- 名称：评论ID（comment_id），数据类型：64位浮点型
- 名称：时间戳（datetime），数据类型：64位整型
- 名称：脱敏作者（masked_author），数据类型：字符串
- 名称：文本内容（text），数据类型：字符串
- 名称：标题（title），数据类型：字符串
- 名称：类型（type），数据类型：字符串
- 名称：文本大小（text_size），数据类型：64位整型
- 名称：机器人议题（bot_issue），数据类型：布尔型
- 名称：被机器人修改（modified_by_bot），数据类型：布尔型
- 名称：用户数量（user_count），数据类型：64位整型
- 名称：事件计数（event_count），数据类型：64位整型
- 名称：用户名已修改（modified_usernames），数据类型：布尔型
数据集划分：
- 名称：训练集（train），字节大小：15607937，样本数：6759
下载大小：7397345
数据集总大小：15607937
---
# "预处理议题"数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

"pre-processed-issues"

数据集特征

• repo: 字符串类型
• org: 字符串类型
• issue_id: 整数类型（int64）
• issue_number: 整数类型（int64）
• pull_request: 结构体类型，包含以下字段：
  • number: 整数类型（int64）
  • repo: 字符串类型
  • user_login: 字符串类型
• events: 列表类型，包含以下字段：
  • action: 字符串类型
  • author: 字符串类型
  • comment_id: 浮点数类型（float64）
  • datetime: 整数类型（int64）
  • masked_author: 字符串类型
  • text: 字符串类型
  • title: 字符串类型
  • type: 字符串类型
• text_size: 整数类型（int64）
• bot_issue: 布尔类型
• modified_by_bot: 布尔类型
• user_count: 整数类型（int64）
• event_count: 整数类型（int64）
• modified_usernames: 布尔类型

数据集分割

• train:
  • 数据量: 15607937 字节
  • 示例数量: 6759

数据集大小

• 下载大小: 7397345 字节
• 数据集大小: 15607937 字节

搜集汇总

数据集介绍

构建方式

在软件工程与开源生态研究领域，Issue数据是分析项目维护、社区协作与缺陷追踪的核心资源。loubnabnl/pre-processed-issues数据集通过系统化的预处理流程构建，从GitHub平台采集了大量公开仓库的Issue记录，并对原始数据进行结构化清洗与增强。每条样本包含仓库标识、组织归属、Issue编号、关联的Pull Request元信息以及事件序列，其中事件列表详细记录了操作类型、作者、时间戳、文本内容与标题，并经过脱敏处理以保护隐私。数据集进一步衍生出文本大小、机器人参与标记、用户与事件计数等统计特征，最终以6759条训练样本的形式存储，总大小约15.6MB。

特点

该数据集的核心特色在于其精细的事件级结构与多维度元数据融合。每条Issue并非单一文本，而是由一系列结构化事件组成，涵盖评论、状态变更等操作，并保留完整的时序信息，这为建模Issue生命周期与对话演化提供了独特视角。数据集引入了机器人行为标识（bot_issue与modified_by_bot），便于区分自动化交互与人类协作，从而支持对社区参与模式的深度分析。丰富的统计字段如user_count、event_count及脱敏用户名标记，进一步增强了数据在异常检测、用户角色识别等任务中的适用性。整体上，该数据集平衡了隐私保护与信息完整性，是研究开源协作动态的宝贵资源。

使用方法

该数据集可通过HuggingFace Datasets库直接加载使用，用户只需调用`load_dataset("loubnabnl/pre-processed-issues")`即可获取训练集。数据以字典格式存储，每条样本包含repo、org、issue_id等顶层字段以及events列表，开发者可按需访问特定事件属性，例如通过`events[0]['text']`提取首条评论内容。数据集的列结构清晰，支持直接转换为Pandas DataFrame进行探索性分析，或输入至Transformer模型进行文本分类、序列标注等任务。建议用户在使用前检查bot_issue与modified_by_bot字段以过滤自动化数据，并利用datetime字段进行时间序列分析。

背景与挑战

背景概述

在开源软件开发与协作日益依赖分布式版本控制平台的背景下，GitHub Issues作为核心的缺陷追踪与功能讨论机制，承载着海量非结构化文本数据，成为理解开发者行为与项目演化的重要资源。loubnabnl/pre-processed-issues数据集由研究人员于近期构建，旨在提供经过预处理的标准化Issues数据，涵盖仓库信息、事件序列、用户交互及机器人参与标识等关键字段。该数据集聚焦于解析Issues生命周期中的多模态事件（如评论、状态变更、关联拉取请求），为研究自动化协作、机器人行为影响以及开源社区动态提供了结构化基础。其影响力体现在支撑开发者行为建模、异常检测及对话系统优化等前沿探索，填补了高质量预处理Issues数据资源的空白。

当前挑战

该数据集所应对的领域挑战主要源于GitHub Issues中文本噪声的复杂性（如代码片段、非正式用语、多语言混杂）与事件序列的时序依赖性，传统自然语言处理方法难以直接捕获事件间的因果逻辑与开发者意图演化。构建过程中面临的技术挑战包括：1) 跨仓库异构数据格式的统一，需处理不同项目在标签体系、事件类型上的差异；2) 机器人交互的准确识别与过滤，避免自动化脚本对分析结果的干扰；3) 用户隐私的匿名化处理，在保留事件结构的同时脱敏用户名，确保合规性。此外，事件文本的语义稀疏性（如简短评论、表情符号）与长尾分布特性，对特征提取与下游任务泛化能力构成显著制约。

常用场景

经典使用场景

在软件工程与自然语言处理的交叉领域中，预处理的Issues数据集（loubnabnl/pre-processed-issues）为研究者提供了结构化的开源项目问题追踪数据。该数据集聚焦于从GitHub仓库中提取的议题（Issues）及其相关事件（如评论、标签变更等），经过脱敏与预处理后，成为训练文本分类、事件预测与对话理解模型的理想资源。经典使用场景包括基于议题标题与正文的自动化标签推荐、问题严重性分级，以及通过事件序列预测议题解决时间。

实际应用

在实际应用中，该数据集支撑了智能开发工具的构建，如自动议题分类器与开发者行为分析系统。企业可基于此数据训练模型，实现GitHub仓库中议题的自动优先级排序、异常事件预警以及机器人辅助的协作管理。例如，通过分析议题中的事件类型与用户交互模式，能识别出需要人工干预的复杂问题，从而优化开源项目的维护效率。此外，其脱敏设计确保了隐私合规性，适用于商业场景中的模型微调与部署。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于Transformer的议题摘要生成模型（如利用事件序列与文本联合编码）、面向开源社区的多任务学习框架（同时预测议题标签与解决时间），以及对比学习在议题相似度计算中的应用。这些工作不仅推动了软件工程中预训练语言模型的适配研究，还催生了诸如“事件驱动型问题解决路径预测”等创新方向，为后续的GitHub Copilot for Issues等智能工具提供了方法论基础。