enjalot/fineweb-edu-sample-10BT-chunked-500-nomic-text-v1.5
收藏Hugging Face2024-06-30 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/enjalot/fineweb-edu-sample-10BT-chunked-500-nomic-text-v1.5
下载链接
链接失效反馈官方服务：
资源简介：
FineWeb-edu 10BT Sample embedded with nomic-text-v1.5数据集首先被分块为500个标记（使用bert-base-uncased），重叠率为10%，生成了2500万行和10.5BT的数据。这些块随后使用nomic-text-v1.5进行嵌入。数据集的主要用途是聚类和特征提取，旨在为SAE（稀疏自编码器）提供训练数据以识别nomic-text-v1.5中的特征。数据集包含多个特征列，如id、url、score、dump、chunk_index、chunk_text、chunk_tokens、chunk_token_count和embedding。数据集的创建过程涉及将FineWeb-edu 10BT样本分块并嵌入，总成本约为60美元。
FineWeb-edu 10BT Sample embedded with nomic-text-v1.5数据集首先被分块为500个标记（使用bert-base-uncased），重叠率为10%，生成了2500万行和10.5BT的数据。这些块随后使用nomic-text-v1.5进行嵌入。数据集的主要用途是聚类和特征提取，旨在为SAE（稀疏自编码器）提供训练数据以识别nomic-text-v1.5中的特征。数据集包含多个特征列，如id、url、score、dump、chunk_index、chunk_text、chunk_tokens、chunk_token_count和embedding。数据集的创建过程涉及将FineWeb-edu 10BT样本分块并嵌入，总成本约为60美元。
提供机构：
enjalot
