marsggbo/wmt16_switch128_token_real_and_predicted_patterns

该数据集主要用于文本生成任务，包含多个特征如prompt_text、prompt_ids、decode_ids等。数据集包含一个训练集，大小为297949158字节，包含30000个样本。README还提到了一些关于decode_pattern和predictor_pattern的形状和排列方式的技术细节。

This dataset is primarily used for text generation tasks and includes multiple features such as prompt_text, prompt_ids, decode_ids, etc. The dataset contains a training set with a size of 297949158 bytes and includes 30000 examples. The README also mentions some technical details about the shapes and permutations of decode_pattern and predictor_pattern.

原始信息汇总

数据集概述

数据集信息

特征

• prompt_text: 类型为字符串。
• prompt_ids: 类型为整数序列。
• decode_ids: 类型为整数序列。
• prompt_pattern: 类型为整数序列的序列。
• decode_pattern: 类型为整数序列的序列。
• predictor_pattern: 类型为整数序列的序列的序列。

数据分割

• train: 包含30,000个样本，总字节数为297,949,158。

数据集大小

• 下载大小: 30,294,841字节。
• 数据集大小: 297,949,158字节。

配置

• default: 包含训练数据文件，路径为data/train-*。

数据形状

• decode_pattern: 形状为(num_layers, num_decoding_steps)。
• predictor_pattern: 形状为(num_decoding_steps, num_layers, top3_indices)。

数据处理

• predictor_pattern: 需要通过以下方式进行置换： python predictor_pattern = predictor_pattern.permute(1,0,2) # (num_layers, num_decoding_steps, top3_indices)