gayanin/pubmed-mixed-noise

--- dataset_info: - config_name: prob-0.1 features: - name: refs dtype: string - name: trans dtype: string splits: - name: train num_bytes: 18701264 num_examples: 74724 - name: test num_bytes: 2396953 num_examples: 9341 - name: validation num_bytes: 2462407 num_examples: 9341 download_size: 13289466 dataset_size: 23560624 - config_name: prob-0.2 features: - name: refs dtype: string - name: trans dtype: string splits: - name: train num_bytes: 18589800 num_examples: 74724 - name: test num_bytes: 2382431 num_examples: 9341 - name: validation num_bytes: 2451124 num_examples: 9341 download_size: 13499759 dataset_size: 23423355 - config_name: prob-0.3 features: - name: refs dtype: string - name: trans dtype: string splits: - name: train num_bytes: 18473157 num_examples: 74724 - name: test num_bytes: 2368875 num_examples: 9341 - name: validation num_bytes: 2435716 num_examples: 9341 download_size: 13654916 dataset_size: 23277748 - config_name: prob-0.4 features: - name: refs dtype: string - name: trans dtype: string splits: - name: train num_bytes: 18365388 num_examples: 74724 - name: test num_bytes: 2353034 num_examples: 9341 - name: validation num_bytes: 2419352 num_examples: 9341 download_size: 13774850 dataset_size: 23137774 - config_name: prob-0.5 features: - name: refs dtype: string - name: trans dtype: string splits: - name: train num_bytes: 18252865 num_examples: 74724 - name: test num_bytes: 2340170 num_examples: 9341 - name: validation num_bytes: 2402882 num_examples: 9341 download_size: 13860568 dataset_size: 22995917 configs: - config_name: prob-0.1 data_files: - split: train path: prob-0.1/train-* - split: test path: prob-0.1/test-* - split: validation path: prob-0.1/validation-* - config_name: prob-0.2 data_files: - split: train path: prob-0.2/train-* - split: test path: prob-0.2/test-* - split: validation path: prob-0.2/validation-* - config_name: prob-0.3 data_files: - split: train path: prob-0.3/train-* - split: test path: prob-0.3/test-* - split: validation path: prob-0.3/validation-* - config_name: prob-0.4 data_files: - split: train path: prob-0.4/train-* - split: test path: prob-0.4/test-* - split: validation path: prob-0.4/validation-* - config_name: prob-0.5 data_files: - split: train path: prob-0.5/train-* - split: test path: prob-0.5/test-* - split: validation path: prob-0.5/validation-* ---数据集信息： - 配置名称：prob-0.1 特征字段： - 字段名：参考文本（refs），数据类型：字符串（string） - 字段名：翻译结果（trans），数据类型：字符串（string） 数据集划分： - 划分子集：训练集（train），字节大小：18701264，样本数量：74724 - 划分子集：测试集（test），字节大小：2396953，样本数量：9341 - 划分子集：验证集（validation），字节大小：2462407，样本数量：9341 下载大小：13289466，总数据集大小：23560624 - 配置名称：prob-0.2 特征字段： - 字段名：参考文本（refs），数据类型：字符串（string） - 字段名：翻译结果（trans），数据类型：字符串（string） 数据集划分： - 划分子集：训练集（train），字节大小：18589800，样本数量：74724 - 划分子集：测试集（test），字节大小：2382431，样本数量：9341 - 划分子集：验证集（validation），字节大小：2451124，样本数量：9341 下载大小：13499759，总数据集大小：23423355 - 配置名称：prob-0.3 特征字段： - 字段名：参考文本（refs），数据类型：字符串（string） - 字段名：翻译结果（trans），数据类型：字符串（string） 数据集划分： - 划分子集：训练集（train），字节大小：18473157，样本数量：74724 - 划分子集：测试集（test），字节大小：2368875，样本数量：9341 - 划分子集：验证集（validation），字节大小：2435716，样本数量：9341 下载大小：13654916，总数据集大小：23277748 - 配置名称：prob-0.4 特征字段： - 字段名：参考文本（refs），数据类型：字符串（string） - 字段名：翻译结果（trans），数据类型：字符串（string） 数据集划分： - 划分子集：训练集（train），字节大小：18365388，样本数量：74724 - 划分子集：测试集（test），字节大小：2353034，样本数量：9341 - 划分子集：验证集（validation），字节大小：2419352，样本数量：9341 下载大小：13774850，总数据集大小：23137774 - 配置名称：prob-0.5 特征字段： - 字段名：参考文本（refs），数据类型：字符串（string） - 字段名：翻译结果（trans），数据类型：字符串（string） 数据集划分： - 划分子集：训练集（train），字节大小：18252865，样本数量：74724 - 划分子集：测试集（test），字节大小：2340170，样本数量：9341 - 划分子集：验证集（validation），字节大小：2402882，样本数量：9341 下载大小：13860568，总数据集大小：22995917 配置项： - 配置名称：prob-0.1，数据文件： - 划分子集：训练集（train），路径：prob-0.1/train-* - 划分子集：测试集（test），路径：prob-0.1/test-* - 划分子集：验证集（validation），路径：prob-0.1/validation-* - 配置名称：prob-0.2，数据文件： - 划分子集：训练集（train），路径：prob-0.2/train-* - 划分子集：测试集（test），路径：prob-0.2/test-* - 划分子集：验证集（validation），路径：prob-0.2/validation-* - 配置名称：prob-0.3，数据文件： - 划分子集：训练集（train），路径：prob-0.3/train-* - 划分子集：测试集（test），路径：prob-0.3/test-* - 划分子集：验证集（validation），路径：prob-0.3/validation-* - 配置名称：prob-0.4，数据文件： - 划分子集：训练集（train），路径：prob-0.4/train-* - 划分子集：测试集（test），路径：prob-0.4/test-* - 划分子集：验证集（validation），路径：prob-0.4/validation-* - 配置名称：prob-0.5，数据文件： - 划分子集：训练集（train），路径：prob-0.5/train-* - 划分子集：测试集（test），路径：prob-0.5/test-* - 划分子集：验证集（validation），路径：prob-0.5/validation-*

原始信息汇总

数据集概述

数据集配置

prob-0.1

• 特征:
  • refs: 字符串类型
  • trans: 字符串类型
• 分割:
  • train: 18701264 字节, 74724 个样本
  • test: 2396953 字节, 9341 个样本
  • validation: 2462407 字节, 9341 个样本
• 下载大小: 13289466 字节
• 数据集大小: 23560624 字节

prob-0.2

• 特征:
  • refs: 字符串类型
  • trans: 字符串类型
• 分割:
  • train: 18589800 字节, 74724 个样本
  • test: 2382431 字节, 9341 个样本
  • validation: 2451124 字节, 9341 个样本
• 下载大小: 13499759 字节
• 数据集大小: 23423355 字节

prob-0.3

• 特征:
  • refs: 字符串类型
  • trans: 字符串类型
• 分割:
  • train: 18473157 字节, 74724 个样本
  • test: 2368875 字节, 9341 个样本
  • validation: 2435716 字节, 9341 个样本
• 下载大小: 13654916 字节
• 数据集大小: 23277748 字节

prob-0.4

• 特征:
  • refs: 字符串类型
  • trans: 字符串类型
• 分割:
  • train: 18365388 字节, 74724 个样本
  • test: 2353034 字节, 9341 个样本
  • validation: 2419352 字节, 9341 个样本
• 下载大小: 13774850 字节
• 数据集大小: 23137774 字节

prob-0.5

• 特征:
  • refs: 字符串类型
  • trans: 字符串类型
• 分割:
  • train: 18252865 字节, 74724 个样本
  • test: 2340170 字节, 9341 个样本
  • validation: 2402882 字节, 9341 个样本
• 下载大小: 13860568 字节
• 数据集大小: 22995917 字节

数据文件路径

prob-0.1

• train: prob-0.1/train-*
• test: prob-0.1/test-*
• validation: prob-0.1/validation-*

prob-0.2

• train: prob-0.2/train-*
• test: prob-0.2/test-*
• validation: prob-0.2/validation-*

prob-0.3

• train: prob-0.3/train-*
• test: prob-0.3/test-*
• validation: prob-0.3/validation-*

prob-0.4

• train: prob-0.4/train-*
• test: prob-0.4/test-*
• validation: prob-0.4/validation-*

prob-0.5

• train: prob-0.5/train-*
• test: prob-0.5/test-*
• validation: prob-0.5/validation-*