Kubernetes KEP Analysis-Ready Datasets

用于分析Kubernetes增强提案（KEP）过程中组织参与和参与者角色的数据集。A dataset for analyzing organizational participation and participant roles during the Kubernetes Enhancement Proposal (KEP) process.

原始信息汇总

数据集概述

本数据集是关于 Kubernetes 生态系统中社区结构与治理研究的数据收集与分析代码库，聚焦于 Kubernetes Enhancement Proposal（KEP）流程及其在 SIG-Node 和 SIG-CLI 中的 KEP 工件。该研究以硕士论文为背景，包含分析就绪的数据集、研究使用的 CNCF 归属快照，以及复现数据准备和分析所需的代码。

仓库内容

• analysis/pipeline/：按编号排列的数据收集与转换阶段。
• analysis/notebooks/：生成论文分析结果的 Jupyter notebook。
• analysis/data/：包含源数据、中间数据和分析就绪数据。
• analysis/data/issues/：案例研究源材料与定性编码。
• analysis/enhancements/：固定的 kubernetes/enhancements 子模块。
• analysis/community/：固定的 kubernetes/community 子模块。
• tests/：核心转换的离线测试。

已发布的数据集可从对应的 GitHub Release（https://github.com/cpotter302/kubernetes-kep-data-pipeline/releases）下载，仓库本身也包含当前研究快照，便于直接检查数据来源与结构。

复现性

支持两个层级的复现：

1. 分析复现：使用已包含或已发布的处理后的 CSV 文件重新运行 notebook，无需 API 凭证。
2. 完整数据再生成：重新运行 GitHub 数据收集、LLM 提取、PR 丰富化和归属匹配，需要网络访问、GitHub token 以及已配置的 Azure OpenAI 部署。LLM 结果可能因运行而异，原始提取文件作为研究工件保留。

环境配置

• 推荐 Python 3.11 或更新版本。
• 克隆仓库时需使用 --recurse-submodules 以包含子模块。
• 子模块固定版本：kubernetes/community 提交为 5ab302810ee786637d8b22a49f1aa3e6056c3b6d；kubernetes/enhancements 提交为 c9bb5d4a969c01b5c1dac82a163a91bcbef26b1c。
• 通过环境变量配置流水线，需复制 .env.example 为 .env 并加载，GITHUB_TOKEN 用于 GitHub 数据收集与 PR 丰富化，三个 OPENAI_* 变量仅用于 LLM 阶段，KEP_SIGS 为逗号分隔的 SIG 列表（如 sig-node,sig-cli）。

运行流水线

• 从仓库根目录运行 ./analysis/00_run_pipeline.sh 可重新生成配置 SIG 的数据，输出写入 analysis/data/sig/<name>/。
• 网络阶段耗时较长且消耗 API 配额，完整再生成前应备份现有研究输出。
• 个别阶段可通过命令行帮助查看参数，例如 python analysis/pipeline/02_extract_keps_issue.py --help。
• 案例研究问题与定性分析工作流见 analysis/README.md。

运行分析

• 从 analysis/ 目录启动 Jupyter（cd analysis && jupyter lab），首先运行 notebooks/00_clean_and_merge.ipynb，其余 notebook 涵盖描述性、流程治理、技术治理和网络分析。

验证仓库

• 运行 python -m pytest 和 python scripts/validate_data.py，验证命令检查必需文件、CSV 行/键结构、归属快照校验和以及固定子模块版本，无需网络。

数据来源与局限性

• 详细文件描述、行单位、来源和已知限制见 analysis/data/README.md，机器可读的源元数据存于 analysis/data/sources.yaml。
• GitHub 身份和组织归属属公开来源研究数据，但涉及可识别个人，仅限文档化研究目的使用，并遵守适用的伦理和数据保护要求。
• 归属映射反映来源快照，可能存在缺失、历史或错误分配。

许可与引用

• 仓库原创代码采用 Apache-2.0 许可，上游源数据和子模块保留其自身许可和署名要求。
• 引用本仓库请使用 CITATION.cff；使用发布数据集时，同时引用其发布版本及 DOI（如有）。

搜集汇总

数据集介绍

构建方式

该数据集源于对Kubernetes生态系统中社区结构与治理机制的深入研究，聚焦于Kubernetes Enhancement Proposal（KEP）流程及其对应的KEP工件，尤其针对SIG-Node和SIG-CLI两大特别兴趣小组。构建流程严谨而系统，涵盖数据收集、转换、丰富与验证等多个阶段。原始数据通过GitHub API采集，结合LLM技术提取关键信息，并补充Pull Request与组织归属匹配，最终形成分析就绪的数据集。所有数据均附带来源快照与模式说明，确保了数据的可追溯性与可复现性，为理解Kubernetes社区治理提供了坚实的数据基础。

特点

该数据集具有高度的结构化与多维性，其特色在于整合了KEP文本、社区讨论、组织归属及PR元数据，揭示了技术提案与社区动态之间的内在联系。数据集内含定性编码的案例研究材料，支持深度定性分析。特别是，它提供了两个层级的数据，既包含处理好的CSV文件以实现快速分析，也保留了完整的中间产物，以适应不同的研究需求。此外，数据集的构建过程完全可复现，并附有详尽的验证脚本与来源说明，极大地增强了研究结果的可信度与可复用性。

使用方法

使用者可依据两种路径灵活运用该数据集。对于常规分析，可直接利用发布的数据集文件或仓库中包含的CSV文件，通过运行Jupyter笔记本快速复现论文中的分析流程。对于需要定制化研究的场景，可通过执行完整的pipeline脚本，结合GitHub Token与OpenAI配置，重新生成从数据采集到加工的全过程。数据集的验证脚本支持离线运行，确保数据完整性。详细的文件描述与使用指南见analysis/data/README.md，为用户提供了清晰的操作导航与数据手册。

背景与挑战

背景概述

Kubernetes作为云原生计算基金会（CNCF）旗下的旗舰级开源项目，其治理机制与社区生态的演进始终是软件工程与开源研究领域的焦点。Kubernetes Enhancement Proposal（KEP）机制作为项目技术决策与功能演进的基石，深刻影响着项目的协作模式与治理结构。本研究数据集由研究者基于硕士学位论文构建，聚焦于SIG-Node与SIG-CLI两大特别兴趣小组的KEP流程，通过系统收集与整理GitHub上的提案、议题、拉取请求及贡献者归属信息，形成了首个面向KEP社区结构与治理分析的就绪数据集。该数据集发布于GitHub，其构建时间与主要研究人员信息体现了开源治理实证研究的深化，为后续研究者提供了可复现的分析基础，对理解大型开源社区的治理机制具有重要参考价值。

当前挑战

该数据集构建所面临的挑战源自多个层面。在领域问题层面，Kubernetes社区规模庞大，KEP流程涉及大量异构数据，包括提案文本、讨论议题、代码审查记录及贡献者跨组织归属，传统数据收集方法难以高效整合并保证一致性。在构建过程中，研究者需应对GitHub API速率限制、数据抓取的完整性保障，以及LLM提取技术提案关键信息的不确定性，导致结果在不同运行间存在差异。此外，贡献者组织归属的匹配涉及历史数据缺失与错误，需依赖公开快照并人工审查，而数据隐私与伦理规范要求在公开研究中科学合理地处理个人身份信息，这些挑战共同构成了数据集可靠性与可用性的核心难点。

常用场景

经典使用场景

该数据集专为Kubernetes增强提案（KEP）治理研究而构建，聚焦SIG-Node与SIG-CLI两个关键特别兴趣组。其经典使用场景是分析开源社区治理结构与决策过程的量化研究，包括对KEP生命周期中提案状态变迁、评审耗时、参与贡献者网络等维度进行追踪与建模。研究者可依托分析就绪的CSV文件与源代码，复现从GitHub数据采集、LLM提取、PR富化到归属匹配的完整流程，从而在统一数据基础上开展社区结构、治理模式及其演化的横断面或纵向研究。

实际应用

在实际应用中，该数据集可直接服务于Kubernetes社区自身的治理优化，例如通过分析KEP的积压数量与评审周期，帮助SIG维护者识别流程瓶颈并调整治理策略。同时，企业或开源基金会可据此评估其在生态系统中的影响力，优化参与投入。此外，数据管线设计具备通用性，可适配其他CNCF项目或类似开源社区，用于构建治理监控仪表板、开发智能预警工具，甚至为自动化协作平台提供数据驱动的人口特征和网络关系支持。

衍生相关工作

此数据集衍生了多个方向的研究工作：在治理分析上，基于其过程与技术治理数据，学者们可构建治理指标模型，比较不同SIG间的治理效率；在网络分析方面，利用贡献者与组织归属关系，能够绘制社区协作网络并识别核心角色和潜在风险；在数据方法上，该管线的LLM提取与人工质化结合方式，启发了将大模型应用于开源元数据自动化的新工具。后续工作还包括与Kubernetes演进生命周期理论、众包软件工程等领域的交叉融合，为开源生态系统研究提供了实证基础和方法论范例。