kz919/pg19-test-llama3-tokenized

该数据集包含多个特征，如短书名、出版日期、URL、文本内容、输入ID序列、注意力掩码和标记化长度。数据集分为测试集，包含100个样本，总下载大小为42473901字节，数据集大小为89825867字节。

The dataset includes multiple features such as short book title, publication date, URL, text content, input ID sequences, attention masks, and tokenized length. It is divided into a test set with 100 samples, with a total download size of 42473901 bytes and a dataset size of 89825867 bytes.

原始信息汇总

数据集概述

数据集信息

特征

• short_book_title: 书籍短标题，数据类型为字符串。
• publication_date: 出版日期，数据类型为32位整数。
• url: 链接地址，数据类型为字符串。
• text: 文本内容，数据类型为字符串。
• input_ids: 输入ID序列，数据类型为32位整数序列。
• attention_mask: 注意力掩码序列，数据类型为8位整数序列。
• tokenized_len: 分词长度，数据类型为64位整数。

数据分割

• test: 测试集，包含100个样本，总字节数为89825867。

数据集大小

• 下载大小: 42473901字节
• 数据集总大小: 89825867字节

配置

• config_name: default
  • data_files:
    • split: test
    • path: data/test-*