casperhansen/longalpaca_1k_test

该数据集是从Yukang/LongAlpaca-12k数据集中预处理得到的，包含1000个样本，每个样本的token长度在16k到32k之间。This dataset is preprocessed from the Yukang/LongAlpaca-12k dataset and comprises 1000 samples, each with a token length ranging from 16k to 32k.

原始信息汇总

数据集概述

数据来源

• 数据集预处理自 Yukang/LongAlpaca-12k。

数据规模

• 包含1000个样本。

数据特征

• 每个样本的令牌长度范围：最小16k令牌，最大32k令牌。

数据处理步骤

1. 加载数据集和分词器。
2. 定义过滤函数，筛选出令牌长度在16k到32k之间的样本。
3. 将筛选后的数据转换为Pandas DataFrame。
4. 从DataFrame中随机抽取1000个样本。
5. 将抽取的样本转换为PyArrow Table并保存为Parquet文件。