linqus/tokenized-codeparrot-ds-small

--- dataset_info: features: - name: input_ids sequence: int32 splits: - name: train num_bytes: 708311652 num_examples: 1372697 - name: valid num_bytes: 7259088 num_examples: 14068 download_size: 313854357 dataset_size: 715570740 configs: - config_name: default data_files: - split: train path: data/train-* - split: valid path: data/valid-* ---dataset_info: 特征： - 名称：输入序列ID（input_ids），序列数据类型为int32 数据集划分： - 划分集名称：训练集（train），占用字节数：708311652，样本数量：1372697 - 划分集名称：验证集（valid），占用字节数：7259088，样本数量：14068 下载大小：313854357 字节 数据集总大小：715570740 字节 configs: - 配置名称：默认配置（default） 数据文件： - 划分集：训练集（train），数据路径：data/train-* - 划分集：验证集（valid），数据路径：data/valid-*

原始信息汇总

数据集概述

特征

• input_ids: 序列类型为 int32。

数据分割

• train:
  • 字节数: 708311652
  • 样本数: 1372697
• valid:
  • 字节数: 7259088
  • 样本数: 14068

数据大小

• 下载大小: 313854357 字节
• 数据集大小: 715570740 字节

配置

• default:
  • train: 数据文件路径为 data/train-*
  • valid: 数据文件路径为 data/valid-*