Supabase/dbpedia-openai-3-large-1M

--- license: mit dataset_info: features: - name: _id dtype: string - name: title dtype: string - name: text dtype: string - name: embedding sequence: float32 splits: - name: train num_bytes: 17782586772 num_examples: 1000000 download_size: 17782586772 dataset_size: 1000000 language: - en pretty_name: OpenAI text-embedding-3-large with 1M DBPedia Entities size_categories: - 1M<n<10M --- 1 million OpenAI Embeddings - 3072 dimensions Created: February 2024. Text used for Embedding: title (string) + text (string) Embedding Model: text-embedding-3-large ## Credits: This dataset was generated from the first 1M entries of https://huggingface.co/datasets/BeIR/dbpedia-entity许可证：MIT 数据集信息： 特征： - 名称：_id，数据类型：字符串 - 名称：标题，数据类型：字符串 - 名称：文本，数据类型：字符串 - 名称：嵌入向量（embedding），序列类型：32位单精度浮点数（float32） 数据集划分： - 名称：训练集，字节数：17782586772，样本数量：1000000 下载大小：17782586772 数据集总大小：1000000 语言： - 英语 友好名称：包含100万个DBpedia实体的OpenAI text-embedding-3-large嵌入数据集 规模分类：100万<样本数<1000万 100万个OpenAI嵌入向量，维度为3072 数据集创建于2024年2月。 用于生成嵌入向量的文本：标题与文本拼接 嵌入模型：text-embedding-3-large 致谢： 本数据集源自https://huggingface.co/datasets/BeIR/dbpedia-entity 的前100万条数据条目。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • _id: 字符串类型
  • title: 字符串类型
  • text: 字符串类型
  • embedding: 浮点数序列类型
• 分割:
  • train: 包含1,000,000个样本，总大小为17,782,586,772字节
• 下载大小: 17,782,586,772字节
• 数据集大小: 1,000,000个样本
• 语言: 英语
• 名称: OpenAI text-embedding-3-large with 1M DBPedia Entities
• 大小类别: 1M<n<10M

其他信息

• 创建日期: 2024年2月
• 用于嵌入的文本: title (字符串) + text (字符串)
• 嵌入模型: text-embedding-3-large
• 数据来源: 从https://huggingface.co/datasets/BeIR/dbpedia-entity的前1,000,000条记录生成

搜集汇总

背景与挑战

背景概述

该数据集是基于 DBpedia 实体数据构建的文本嵌入集合，包含约 39.5 万条英文条目，每条记录由标题、文本和预计算的 OpenAI 嵌入向量组成。嵌入向量使用 text-embedding-3-large 模型生成，维度为 3072，适用于语义搜索、相似性计算等自然语言处理任务。数据集以 Parquet 格式存储，大小为 17.8 GB，采用 MIT 许可证，便于研究和商业应用。