Puzer/github-repo-embeddings

---
language:
- en
pretty_name: GitHub Repo Embeddings
license: cc-by-4.0
tags:
- github
- embeddings
- repositories
- recommender-system
task_categories:
- graph-ml
size_categories:
- 1M<n<10M
---

# GitHub Repo Embeddings (Dataset)

This dataset contains:
- GitHub repository embeddings learned from star co-occurrence.
- Raw data for training such embeddings (2016 - 2025 years)

It is generated by the same pipeline as [this repo](https://github.com/Puzer/github-repo-embeddings) and is intended for offline
analysis, research, and downstream search/indexing.

[See Demo which uses trained embeddings](http://puzer.github.io/)

## Summary
- Source: GitHub Archive (BigQuery) WatchEvent + repo metadata.
- Signal: repositories starred together by the same user.
- Model: `torch.nn.EmbeddingBag` trained with MultiSimilarityLoss.
- Embedding size: 128 dims.

## Files
### `starred_repos.parquet`
User-level training data.
- `repo_ids`: list[int], repo ids starred by a user (order preserved from events).

### `repos_meta.parquet`
Repository metadata aligned with the training data.
- `repo_id`: int
- `repo_name`: str (owner/name)
- `stars`: int, frequency of stars in this dataset
- `created_at`: datetime, repo creation date (first push event)
- `last_updated`: datetime, last push event

### `repo_embeddings_with_meta.parquet`
Repository metadata + learned embeddings aligned by `repo_id`.
- Includes columns from `repos_meta.parquet`
- `embedding`: list[float], 128-dim vector

## Notes
- The dataset is derived from public GitHub Archive data and is intended for
research and demo purposes.

语言：
- 英文
美观名称：GitHub 代码仓库嵌入向量（GitHub Repo Embeddings）
许可证：CC-BY-4.0
标签：
- GitHub
- 嵌入向量（embeddings）
- 代码仓库
- 推荐系统
任务类别：
- 图机器学习（graph-ml）
规模类别：
- 100万条＜数据量＜1000万条
---

# GitHub 代码仓库嵌入向量（数据集）

本数据集包含以下内容：
- 基于星标共现关系学习得到的GitHub代码仓库嵌入向量
- 用于训练上述嵌入向量的原始数据（时间范围：2016年至2025年）

本数据集与[该仓库](https://github.com/Puzer/github-repo-embeddings)采用同一套流水线生成，可用于离线分析、学术研究以及下游搜索/索引任务。

[查看基于训练好的嵌入向量的演示示例](http://puzer.github.io/)

## 数据集摘要
- 数据源：GitHub归档（BigQuery）中的WatchEvent事件与代码仓库元数据
- 信号特征：同一用户先后星标的代码仓库集合
- 模型：采用多相似度损失（MultiSimilarityLoss）训练的`torch.nn.EmbeddingBag`
- 嵌入向量维度：128维

## 文件说明
### `starred_repos.parquet`
用户级训练数据
- `repo_ids`：整数列表，存储某一用户星标的代码仓库ID（保留事件发生的原始顺序）

### `repos_meta.parquet`
与训练数据对齐的代码仓库元数据
- `repo_id`：整数类型，代码仓库ID
- `repo_name`：字符串类型，格式为`所有者/仓库名`
- `stars`：整数类型，该数据集中该仓库的星标频次
- `created_at`：日期时间类型，代码仓库创建时间（首次推送事件时间）
- `last_updated`：日期时间类型，代码仓库最后一次推送事件时间

### `repo_embeddings_with_meta.parquet`
基于`repo_id`对齐的代码仓库元数据与学习得到的嵌入向量
- 包含`repos_meta.parquet`中的所有列
- `embedding`：浮点数列表，128维嵌入向量

## 注意事项
- 本数据集源自公开的GitHub归档数据，仅用于学术研究与演示展示。