rulins/MasssiveDS-1.4T-raw-data

Name: rulins/MasssiveDS-1.4T-raw-data
Creator: rulins
Published: 2024-10-27 21:47:59
License: 暂无描述

Hugging Face2024-10-27 更新2025-08-30 收录

下载链接：

https://hf-mirror.com/datasets/rulins/MasssiveDS-1.4T-raw-data

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: mit ---

提供机构：

rulins

rulins/MassiveDS-1.4T-raw-data

MassiveDS数据集发布了原始段落、嵌入和索引。该数据集包含两个版本：MassiveDS-1.4T和MassiveDS-140B。MassiveDS-1.4T包含1.4T-token数据存储的嵌入和段落，MassiveDS-140B则包含140B-token数据存储的索引、嵌入、段落和原始文本。文件结构包括raw_data（原始数据，以JSONL文件格式存储）、passages（分块的原始段落

Hugging Face2024-08-29 更新130

rulins/raw_data

--- license: mit ---

Hugging Face2024-10-27 更新20

MassiveDS-1.4T

MassiveDS 数据集包含两个版本：MassiveDS-1.4T 和 MassiveDS-140B。MassiveDS-1.4T 包含 1.4T 个令牌，而 MassiveDS-140B 是包含 140B 个令牌的子样本版本。数据集包括原始段落、嵌入和索引。原始数据以 JSONL 文件格式存储，段落被分割成不超过 256 个单词的块，并带有段落 ID。嵌入使用 Contriever-MSMAC

Hugging Face2024-08-02 更新50

rulins/MassiveDS-1.4T

MassiveDS数据集包含原始段落、嵌入和索引。该数据集有两个版本：MassiveDS-1.4T和MassiveDS-140B。MassiveDS-1.4T包含1.4T的标记，而MassiveDS-140B是其子采样版本，包含140B的标记。文件结构包括`raw_data`（JSONL格式的原始数据）、`passages`（分块的原始段落，每个段落不超过256个单词）、`embeddings`（

Hugging Face2024-07-19 更新110

rulins/bright-expanded

该数据集包含多个配置，每个配置针对不同的领域和任务。数据集的特征包括查询、推理、ID、排除ID、长黄金ID和黄金ID等。数据集的分割涵盖了机器人学、心理学、生物学、可持续生活、StackOverflow、AOPS、定理QA、地球科学、经济学、LeetCode等多个领域。每个分割的字节数和示例数也被详细列出。

Hugging Face2024-08-15 更新60