opentensor/openvalidators

OpenValidators数据集由OpenTensor Foundation创建，是一个不断增长的数据集合，包含了由OpenValidators项目在W&B中生成的数百万条记录。该数据集为Bittensor网络中的研究人员、数据科学家和矿工提供网络性能、节点行为和wandb运行详细信息。研究人员可以通过该数据集发现模式和训练模型，数据科学家可以用于模型训练和分析，矿工可以使用生成的数据微调模型并增强其在网络中的激励。数据集的持续更新支持去中心化计算领域的协作和创新。

原始信息汇总

数据集概述

数据集描述

• 名称: OpenValidators 数据集
• 创建者: OpenTensor Foundation
• 数据来源: 由 OpenValidators 项目在 W&B 平台生成的数据
• 数据内容: 包含网络性能、节点行为和 wandb 运行细节等信息
• 用途: 供研究人员、数据科学家和矿工在 Bittensor 网络中使用，用于洞察分析、模型训练和数据分析

版本支持与修订

• 数据组织:
  • v1.0: 包含从 1.0.0 到 1.0.8 版本的数据
  • main: 包含 1.1.0 及以上版本的数据
• 数据版本管理: 通过 hugging face 数据集分支进行版本控制，便于检索历史数据

数据集使用方法

• 数据加载: 使用 datasets 库加载数据集
• 数据下载: 支持按 run_id、OpenValidators 版本 和 多个 OpenValidators 版本 下载数据
• 数据分析: 使用 pandas 和 hugging face 数据集结构分析元数据

数据集结构

• 数据实例:
  • versioned raw_data: 位于 version/raw_data，每个文件对应一个 wandb 运行记录
  • metadata: 包含运行 ID 的状态信息
• 数据字段:
  • Raw data: 包含奖励、完成时间、完成情况等详细信息
  • Metadata: 包含运行 ID、完成状态、下载状态等元数据信息

数据集创建

• 数据收集: 通过专门的 worker 从 wandb 收集数据，并按版本和运行 ID 组织
• 数据格式: 原始数据保存为 .parquet 格式，元数据保存为 metadata.csv
• 数据来源: 来自 Bittensor 网络中的 OpenValidators 节点

许可证信息

• 许可证: MIT License