danielbodnar/github-repo-embeddings

---
language:
- en
pretty_name: GitHub Repo Embeddings
license: cc-by-4.0
tags:
- github
- embeddings
- repositories
- recommender-system
task_categories:
- graph-ml
size_categories:
- 1M<n<10M
---

# GitHub Repo Embeddings (Dataset)

This dataset contains:
- GitHub repository embeddings learned from star co-occurrence.
- Raw data for training such embeddings (2016 - 2025 years)

It is generated by the same pipeline as [this repo](https://github.com/Puzer/github-repo-embeddings) and is intended for offline
analysis, research, and downstream search/indexing.

[See Demo which uses trained embeddings](http://puzer.github.io/)

## Summary
- Source: GitHub Archive (BigQuery) WatchEvent + repo metadata.
- Signal: repositories starred together by the same user.
- Model: `torch.nn.EmbeddingBag` trained with MultiSimilarityLoss.
- Embedding size: 128 dims.

## Files
### `starred_repos.parquet`
User-level training data.
- `repo_ids`: list[int], repo ids starred by a user (order preserved from events).

### `repos_meta.parquet`
Repository metadata aligned with the training data.
- `repo_id`: int
- `repo_name`: str (owner/name)
- `stars`: int, frequency of stars in this dataset
- `created_at`: datetime, repo creation date (first push event)
- `last_updated`: datetime, last push event

### `repo_embeddings_with_meta.parquet`
Repository metadata + learned embeddings aligned by `repo_id`.
- Includes columns from `repos_meta.parquet`
- `embedding`: list[float], 128-dim vector

## Notes
- The dataset is derived from public GitHub Archive data and is intended for
research and demo purposes.

---
语言：
- 英语
展示名称：GitHub 仓库嵌入向量（GitHub Repo Embeddings）
许可证：CC-BY-4.0
标签：
- GitHub
- 嵌入向量（embedding）
- 仓库（repository）
- 推荐系统（recommender-system）
任务类别：
- 图机器学习（graph-ml）
数据规模：
- 100万<样本数<1000万
---

# GitHub 仓库嵌入向量（数据集）

本数据集包含：
- 基于星标共现关系训练得到的GitHub仓库嵌入向量（embeddings）
- 用于训练此类嵌入向量的原始数据（时间跨度：2016年至2025年）

本数据集采用与[该仓库](https://github.com/Puzer/github-repo-embeddings)相同的流水线生成，可用于离线分析、学术研究及下游搜索与索引任务。

[查看基于训练后嵌入向量的演示Demo](http://puzer.github.io/)

## 数据集概览
- 数据来源：GitHub Archive（BigQuery平台）的WatchEvent事件及仓库元数据
- 信号特征：同一用户同时星标的仓库间的共现关系
- 训练模型：采用多相似度损失（MultiSimilarityLoss）训练的`torch.nn.EmbeddingBag`
- 嵌入向量维度：128维

## 数据文件说明
### `starred_repos.parquet`
该文件为用户级训练数据
- `repo_ids`：整数列表，存储某用户星标的仓库ID（保留事件触发的原始顺序）

### `repos_meta.parquet`
该文件为与训练数据对齐的仓库元数据
- `repo_id`：整数类型，仓库ID
- `repo_name`：字符串类型，格式为「仓库拥有者/仓库名称」
- `stars`：整数类型，该数据集中该仓库的星标总频次
- `created_at`：日期时间类型，仓库创建时间（首次推送事件时间）
- `last_updated`：日期时间类型，仓库最后一次推送事件的时间

### `repo_embeddings_with_meta.parquet`
该文件为按`repo_id`字段对齐的仓库元数据与训练得到的嵌入向量的整合文件
- 包含`repos_meta.parquet`中的全部字段
- `embedding`：浮点数列表，为128维嵌入向量

## 注意事项
- 本数据集源自公开的GitHub Archive数据，仅用于学术研究与演示用途。