nirantk/dbpedia-entities-efficient-splade-100K
收藏Hugging Face2023-12-11 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/nirantk/dbpedia-entities-efficient-splade-100K
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含100,000个DBPedia条目的OpenAI和SPLADE向量。这些向量是通过模型ID naver/efficient-splade-VI-BT-large-doc生成的，并且可以使用模型ID naver/efficient-splade-VI-BT-large-query来处理查询。数据集的特征包括_id、title、text、openai和splade等字段。训练集包含100,000个样本，总大小为12,862,697,823字节，下载大小为901,410,913字节。数据集使用的许可证是Apache 2.0，任务类别为特征提取，语言为英语。
该数据集包含100,000个DBPedia条目的OpenAI和SPLADE向量。这些向量是通过模型ID naver/efficient-splade-VI-BT-large-doc生成的，并且可以使用模型ID naver/efficient-splade-VI-BT-large-query来处理查询。数据集的特征包括_id、title、text、openai和splade等字段。训练集包含100,000个样本，总大小为12,862,697,823字节，下载大小为901,410,913字节。数据集使用的许可证是Apache 2.0，任务类别为特征提取，语言为英语。
提供机构：
nirantk
原始信息汇总
数据集概述
数据集信息
- 特征:
_id: 字符串类型title: 字符串类型text: 字符串类型openai: 序列类型，浮点数32位splade: 序列类型，浮点数32位
- 分割:
train: 包含100,000个样本，总字节数为12,862,697,823
- 下载大小: 901,410,913字节
- 数据集大小: 12,862,697,823字节
- 配置:
default: 包含训练数据文件路径为data/train-*
- 许可证: Apache-2.0
- 任务类别: 特征提取
- 语言: 英语
- 名称: DBPedia SPLADE + OpenAI: 100,000 Vectors
- 大小类别: 100K<n<1M
数据集描述
该数据集包含100,000个DBPedia条目的OpenAI和SPLADE向量。
模型ID
- 文档向量生成模型:
naver/efficient-splade-VI-BT-large-doc - 查询处理模型:
naver/efficient-splade-VI-BT-large-query
向量处理
可以使用以下代码片段从向量中提取索引和权重/值： python import numpy as np vec = np.array(ds[0][vec]) # 其中ds是数据集
def get_indices_values(vec): sparse_indices = vec.nonzero() sparse_values = vec[sparse_indices] return sparse_indices, sparse_values
