crumb/flan-t5-small-embed-refinedweb

该数据集包含约41GB的数据，由refinedweb的131,072个样本的最终隐藏状态组成，每个样本填充/截断至512个令牌，并通过google/flan-t5-small模型处理。数据集结构包括编码、原始文本和注意力掩码，主要用于英语特征提取任务，大小在10万到100万之间。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 语言: 英语 (en)
• 任务类别: 特征提取 (feature-extraction)
• 标签: t5, flan
• 大小类别: 100K<n<1M

数据集内容

• 总大小: 约41GB
• 数据来源: 131,072个样本的最终隐藏状态，来自refinedweb数据集，每个样本填充/截断至512个令牌。
• 处理模型: google/flan-t5-small

数据结构

• 编码: 列表，形状为(512, 512)，即(令牌数, 模型维度)
• 文本: 字符串，原始编码文本
• 注意力掩码: 列表，二进制掩码，用于模型输入以避免关注填充令牌