casperhansen/longalpaca_1k_unlimited_test

该数据集是从Yukang/LongAlpaca-12k预处理而来，包含1000个样本，每个样本的最小长度为16k tokens。

原始信息汇总

数据集概述

数据来源

• 数据集预处理自 Yukang/LongAlpaca-12k。

数据描述

• 包含1000个样本，每个样本的最小长度为16k个tokens。

数据处理脚本

• 使用 datasets 库加载数据集。
• 使用 transformers 库中的 AutoTokenizer 进行tokenization。
• 通过自定义的 filter_function 函数筛选出token长度超过16384的样本。
• 将筛选后的数据转换为Pandas DataFrame，并从中随机抽取1000个样本。
• 将抽取的样本转换为PyArrow Table，并保存为Parquet文件。