JakeOh/fineweb-edu-10BT

这是一个名为sample-10BT-tokenized-bert的数据集，包含三个数据特征：input_ids（整型列表），attention_mask（8位整型列表），special_tokens_mask（8位整型列表）。数据集分为训练集，共有52个样本，大小为320112字节。数据集下载大小为134964字节。

This is a dataset named sample-10BT-tokenized-bert, which includes three features: input_ids (list of integers), attention_mask (list of 8-bit integers), and special_tokens_mask (list of 8-bit integers). The dataset is split into a training set with 52 examples and a size of 320112 bytes. The download size of the dataset is 134964 bytes.

搜集汇总

背景与挑战

背景概述

该数据集是一个小型自然语言处理数据集，包含52行数据，主要用于BERT等模型的输入处理，包含input_ids、attention_mask和special_tokens_mask等关键字段。