marsggbo/wmt16_switch32_token_real_and_predicted_patterns

该数据集包含多个特征，主要用于文本生成任务。特征包括提示文本、提示ID序列、解码ID序列、提示模式序列、解码模式序列和预测模式序列。数据集分为一个训练集，包含30,000个样本，总大小为297,949,158字节。下载大小为23,246,505字节。decode_pattern的形状为(num_layers, num_decoding_steps)，predictor_pattern的形状为(num_decoding_steps, num_layers, top3_indices)，并且需要通过permute操作进行调整。

The dataset contains multiple features, including prompt_text (prompt text), prompt_ids (prompt ID sequence), decode_ids (decode ID sequence), prompt_pattern (prompt pattern sequence), decode_pattern (decode pattern sequence), and predictor_pattern (predictor pattern sequence). The dataset is divided into a training set with 30,000 samples and a total size of 297,949,158 bytes. The download size is 23,246,505 bytes. The shape of decode_pattern is (num_layers, num_decoding_steps), and the shape of predictor_pattern is (num_decoding_steps, num_layers, top3_indices), which needs to be adjusted via a permute operation.

原始信息汇总

数据集概述

数据集信息

特征

• prompt_text: 类型为字符串。
• prompt_ids: 类型为整数序列。
• decode_ids: 类型为整数序列。
• prompt_pattern: 类型为整数序列的序列。
• decode_pattern: 类型为整数序列的序列。
• predictor_pattern: 类型为整数序列的序列的序列。

数据分割

• train: 包含30000个样本，总字节数为297949158。

数据集大小

• 下载大小: 23246505字节。
• 数据集大小: 297949158字节。

配置

• default: 包含训练数据文件，路径为data/train-*。

数据形状

• decode_pattern.shape: (num_layers, num_decoding_steps)
• predictor_pattern.shape: (num_decoding_steps, num_layers, top3_indices)

数据处理

• predictor_pattern 需要通过以下操作进行置换： python predictor_pattern = predictor_pattern.permute(1,0,2) # (num_layers, num_decoding_steps, top3_indices)