somewheresystems/dataclysm-arxiv
收藏Hugging Face2024-02-26 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/somewheresystems/dataclysm-arxiv
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含来自Cornell/arXiv数据集的3,360,984篇英文arXiv论文，并新增了两列：title-embeddings和abstract-embeddings。这些新增列是使用bge-small-en-v1.5嵌入模型生成的。数据集来源于截至2024年1月14日的Cornell/arXiv GCP存储桶的json清单中的arXiv元数据。
该数据集包含来自Cornell/arXiv数据集的3,360,984篇英文arXiv论文，并新增了两列：title-embeddings和abstract-embeddings。这些新增列是使用bge-small-en-v1.5嵌入模型生成的。数据集来源于截至2024年1月14日的Cornell/arXiv GCP存储桶的json清单中的arXiv元数据。
提供机构：
somewheresystems
原始信息汇总
数据集概述
数据集名称
dataclysm-arxiv
语言
- 英语
标签
- arxiv
- science
数据集大小
- 1M<n<10M
数据集描述
该数据集包含3,360,984篇英语arXiv论文，源自Cornell/arXiv数据集。数据集中新增了两列：title-embeddings和abstract-embeddings。这些新增列是通过使用bge-small-en-v1.5嵌入模型生成的。数据集的源数据来自Cornell/arXiv GCP存储桶的json清单，截至2024年1月14日。
嵌入模型
使用了BAAI/bge-small-en-v1.5模型来嵌入title和abstract字段。
联系信息
如有查询，请联系hi@dataclysm.xyz。
