opentensor/openvalidators-mining

OpenValidators Mining数据集由OpenTensor Foundation开发，是一个不断扩展的、精心策划的数据集合，旨在为Bittensor网络的矿工提供用于微调模型的独特数据。数据集包含从openvalidators日志中提取的(`base_prompt`, `best_followup`)和(`answer_prompt`, `best_answer`)对，遵循OpenAI微调模式。数据集的创建目的是为Bittensor矿工社区提供干净、连续的数据，以提高网络效率和训练模型的质量。数据集的原始数据来自bittensor网络中的openvalidators，经过清理和规范化后存储在Hugging Face中。数据集采用MIT许可证。

原始信息汇总

数据集概述

数据集名称

OpenValidators Mining 数据集

开发机构

OpenTensor Foundation

数据集描述

OpenValidators Mining 数据集是一个由 OpenTensor Foundation 开发的不断扩展的数据集，包含从 bittensor 网络中提取的数十万条记录，旨在帮助矿工通过独特的数据源优化其模型。该数据集提供了一系列的 (base_prompt, best_followup) 和 (answer_prompt, best_answer) 数据对，遵循 OpenAI 的微调训练数据准备指南。

数据集结构

• 数据实例：包含从 openvalidators 日志中收集的 (prompt, response) 对，用于 OpenAI 微调架构。
• 数据字段：
  • prompt：(字符串) 来自 base_prompt 或 answer_prompt 字段的唯一提示。
  • completion：(字符串) 来自 best_followup 或 best_answer 字段的唯一提示。

数据集使用方法

• 使用 datasets 库： python from datasets import load_dataset dataset = load_dataset(opentensor/openvalidators-mining, data_files=openai/openvalidators-openai.jsonl)

• 使用 pandas： python import pandas as pd path = hf://datasets/opentensor/openvalidators-mining/openai/openvalidators-openai.jsonl df = pd.read_json(path, lines=True)

数据集创建

• 数据收集与规范化：数据由专门的工作人员从 openvalidators 数据集中定期收集，经过清洗和规范化后，导入 Hugging Face 的 openvalidators-mining 结构中。
• 源语言生产者：数据来源于 bittensor 网络中的 openvalidators。

许可证

MIT 许可证