open_dev_data
收藏Open Dev Data 数据集概述
数据集简介
Open Dev Data 是一个关于开源区块链、Web3、加密货币和去中心化生态系统及其代码仓库的分类法。该数据集不完整，并且由于每天都有新的生态系统和仓库被创建，预计它将持续更新。
主要用途
该分类法可用于生成特定时间点的加密生态系统集合、其对应的子生态系统和仓库。
使用方式
🖼️ GUI 模式
可通过 Open Dev Data 网站使用分类法查看器。用户可在此查询生态系统和仓库，并导出特定生态系统的所有仓库。
💻 CLI 模式
安装
可通过 uvx 直接运行 CLI 工具，或使用 uv 安装，亦可从源代码安装。
可用命令
分类法命令
-
验证：验证分类法中的所有迁移。 bash open-dev-data validate
-
导出：将分类法导出为 JSON 格式。 bash open-dev-data export output.jsonl
导出格式为每行一个 JSON 条目，示例如下： json {"eco_name":"Bitcoin","branch":["Lightning"],"repo_url":"https://github.com/alexbosworth/balanceofsatoshis","tags":["#developer-tool"]}
数据命令
-
下载：从 Open Dev Data 清单下载 Parquet 文件。 bash open-dev-data download -o ./data
下载内容按版本组织，并使用 blake3 校验和进行验证。
-
Duckify：将 Parquet 文件导入 DuckDB 数据库。 bash open-dev-data duckify -i ./data/20251119T124952 -o odd.duckdb
-
TUI（交互式 SQL 界面）：启动由 Harlequin 驱动的交互式 SQL 界面。 bash open-dev-data tui --lite
该界面提供 SQL 查询编辑器、结果查看器、模式浏览器和查询历史记录。
快速开始示例
完整的工作流程示例如下： bash
1. 下载精简数据集并启动交互式 SQL 界面
uvx open-dev-data tui --lite
或者，进行完整控制：
2. 下载所有 Parquet 文件
uvx open-dev-data download -o ./data --resume
3. 导入 DuckDB
uvx open-dev-data duckify -i ./data/20251119T124952 -o ecosystem.duckdb --show-schema
4. 在交互式 SQL 界面中打开
uvx open-dev-data tui --db ecosystem.duckdb
分类法更新方法
使用包含关键字的领域特定语言（DSL）来更改分类法。通过在 migrations/ 目录下创建格式为 YYYY-MM-DDThhmmss_description_of_your_migration 的文件来指定迁移。
数据格式示例
lua -- 使用 ecoadd 关键字添加生态系统。 ecoadd Lightning -- 使用 repadd 关键字将仓库添加到生态系统。 repadd Lightning https://github.com/lightningnetwork/lnd #protocol -- 使用 ecocon 关键字连接生态系统。 -- 以下将 Lighting 连接为 Bitcoin 的子生态系统。 ecocon Bitcoin Lighting
许可证与归属
双重许可
Open Dev Data 采用双重许可以涵盖不同类型的内容：
代码 - MIT 许可证
本项目中的所有软件代码均根据 MIT 许可证 授权。 包括：所有源代码文件、脚本和构建配置、软件库和模块。
数据和文档 - CC BY 4.0
本项目中的所有数据、文档和创意作品均根据 知识共享署名 4.0 国际许可协议 (CC BY 4.0) 授权。 包括：生态系统分类法数据和 Parquet 文件、文档文件、示例和教程。
如何为 Open Dev Data 提供归属
使用 Open Dev Data 时：
对于代码使用（MIT 许可证）：
- 包含 MIT 许可证副本
- 注明归属 Electric Capital
对于数据使用（CC BY 4.0）： 归属需包含 3 个部分：
- 来源："Open Dev Data by Electric Capital"
- 链接：https://github.com/electric-capital/open-dev-data
- 许可证：CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
可选但鼓励的做法： 在归属信息旁附上贡献请求，例如："If youre working in open source crypto, submit your repository here to be counted."
