Cohere/fineweb-edu-corpus

Name: Cohere/fineweb-edu-corpus
Creator: Cohere
Published: 2024-07-03 20:13:20
License: 暂无描述

Hugging Face2024-07-03 更新2025-04-12 收录

下载链接：

https://hf-mirror.com/datasets/Cohere/fineweb-edu-corpus

下载链接

链接失效反馈

官方服务：

资源简介：

See https://huggingface.co/datasets/Cohere/fineweb-edu-emb for details

提供机构：

Cohere

Cohere/fineweb-edu-index

该数据集包含了fineweb-edu的嵌入向量，这些向量是通过Cohere Embed V3模型生成的。

Hugging Face2025-06-26 更新20

Cohere/fineweb-edu-emb-rdict

Rocksdict (https://github.com/Congyuwang/RocksDict) with a lookup for fineweb: md5(content) => embedding for content

Hugging Face2024-07-04 更新10

Cohere/fineweb-edu-100B-index

该数据集包含了使用Cohere Embed V3模型嵌入的fineweb-edu 100B变体的嵌入向量。数据集支持使用DiskVectorIndex工具进行高效搜索，该工具允许使用仅500MB内存进行数据集搜索。数据集遵循cc-by-nc-sa-4.0许可证，但此处提供的许可证信息仅适用于嵌入向量。

Hugging Face2025-06-26 更新40

Cohere/fineweb-edu-emb

This file contains the embeddings for the full fineweb-edu dataset. The dataset has been deduplicated (using only exact deduplication). The emb folder contains for each parquet file a new_{parquet_n

Hugging Face2024-07-03 更新20

Cohere/fineweb-edu-10B-index

该数据集包含了使用Cohere Embed V3模型嵌入的fineweb-edu的10B变体的嵌入。这些嵌入允许用户使用DiskVectorIndex进行高效搜索，而只需500MB的内存。

Hugging Face2025-06-26 更新20