JamesResearch1216/HELM-Processed-Data-10B

--- configs: - config_name: seq_1024 data_files: - split: train path: data/seq_1024/train-*.parquet - split: validation path: data/seq_1024/validation-*.parquet - config_name: seq_2048 data_files: - split: train path: data/seq_2048/train-*.parquet - split: validation path: data/seq_2048/validation-00001.parquet - config_name: seq_4096 data_files: - split: train path: data/seq_4096/train-*.parquet - split: validation path: data/seq_4096/validation-00001.parquet ---数据集配置项： - 配置名称：序列长度1024（seq_1024） 数据文件： - 数据划分：训练集，路径：data/seq_1024/train-*.Parquet（Parquet） - 数据划分：验证集，路径：data/seq_1024/validation-*.Parquet（Parquet） - 配置名称：序列长度2048（seq_2048） 数据文件： - 数据划分：训练集，路径：data/seq_2048/train-*.Parquet（Parquet） - 数据划分：验证集，路径：data/seq_2048/validation-00001.Parquet（Parquet） - 配置名称：序列长度4096（seq_4096） 数据文件： - 数据划分：训练集，路径：data/seq_4096/train-*.Parquet（Parquet） - 数据划分：验证集，路径：data/seq_4096/validation-00001.Parquet（Parquet）