omai-research/parallel_mmarco_query

--- dataset_info: - config_name: ar features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 88600888 num_examples: 808260 download_size: 39849109 dataset_size: 88600888 - config_name: de features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 75869567 num_examples: 802334 download_size: 38142449 dataset_size: 75869567 - config_name: es features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 78220534 num_examples: 808731 download_size: 38116874 dataset_size: 78220534 - config_name: fr features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 79613641 num_examples: 808731 download_size: 38466446 dataset_size: 79613641 - config_name: hi features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 119266572 num_examples: 808730 download_size: 45802571 dataset_size: 119266572 - config_name: id features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 73613285 num_examples: 808731 download_size: 35794230 dataset_size: 73613285 - config_name: it features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 76679431 num_examples: 808731 download_size: 37784301 dataset_size: 76679431 - config_name: ja features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 82783201 num_examples: 808731 download_size: 38904588 dataset_size: 82783201 - config_name: nl features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 74980220 num_examples: 808731 download_size: 36837854 dataset_size: 74980220 - config_name: pt features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 76036729 num_examples: 808731 download_size: 37502252 dataset_size: 76036729 - config_name: ru features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 99152481 num_examples: 808731 download_size: 43999455 dataset_size: 99152481 - config_name: vi features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 82407365 num_examples: 808731 download_size: 38646494 dataset_size: 82407365 - config_name: zh features: - name: id dtype: string - name: english dtype: string - name: non_english dtype: string splits: - name: train num_bytes: 68323213 num_examples: 808731 download_size: 35275415 dataset_size: 68323213 configs: - config_name: ar data_files: - split: train path: ar/train-* - config_name: de data_files: - split: train path: de/train-* - config_name: es data_files: - split: train path: es/train-* - config_name: fr data_files: - split: train path: fr/train-* - config_name: hi data_files: - split: train path: hi/train-* - config_name: id data_files: - split: train path: id/train-* - config_name: it data_files: - split: train path: it/train-* - config_name: ja data_files: - split: train path: ja/train-* - config_name: nl data_files: - split: train path: nl/train-* - config_name: pt data_files: - split: train path: pt/train-* - config_name: ru data_files: - split: train path: ru/train-* - config_name: vi data_files: - split: train path: vi/train-* - config_name: zh data_files: - split: train path: zh/train-* ---数据集信息： 1. 配置名称：ar 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：88600888，样本数量：808260 下载大小：39849109 数据集总大小：88600888 2. 配置名称：de 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：75869567，样本数量：802334 下载大小：38142449 数据集总大小：75869567 3. 配置名称：es 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：78220534，样本数量：808731 下载大小：38116874 数据集总大小：78220534 4. 配置名称：fr 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：79613641，样本数量：808731 下载大小：38466446 数据集总大小：79613641 5. 配置名称：hi 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：119266572，样本数量：808730 下载大小：45802571 数据集总大小：119266572 6. 配置名称：id 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：73613285，样本数量：808731 下载大小：35794230 数据集总大小：73613285 7. 配置名称：it 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：76679431，样本数量：808731 下载大小：37784301 数据集总大小：76679431 8. 配置名称：ja 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：82783201，样本数量：808731 下载大小：38904588 数据集总大小：82783201 9. 配置名称：nl 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：74980220，样本数量：808731 下载大小：36837854 数据集总大小：74980220 10. 配置名称：pt 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：76036729，样本数量：808731 下载大小：37502252 数据集总大小：76036729 11. 配置名称：ru 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：99152481，样本数量：808731 下载大小：43999455 数据集总大小：99152481 12. 配置名称：vi 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：82407365，样本数量：808731 下载大小：38646494 数据集总大小：82407365 13. 配置名称：zh 特征字段： - 名称：id，数据类型：字符串 - 名称：english，数据类型：字符串 - 名称：non_english，数据类型：字符串 数据划分： - 名称：train，字节数：68323213，样本数量：808731 下载大小：35275415 数据集总大小：68323213 配置列表： - 配置名称：ar，数据文件： - 划分：train，路径：ar/train-* - 配置名称：de，数据文件： - 划分：train，路径：de/train-* - 配置名称：es，数据文件： - 划分：train，路径：es/train-* - 配置名称：fr，数据文件： - 划分：train，路径：fr/train-* - 配置名称：hi，数据文件： - 划分：train，路径：hi/train-* - 配置名称：id，数据文件： - 划分：train，路径：id/train-* - 配置名称：it，数据文件： - 划分：train，路径：it/train-* - 配置名称：ja，数据文件： - 划分：train，路径：ja/train-* - 配置名称：nl，数据文件： - 划分：train，路径：nl/train-* - 配置名称：pt，数据文件： - 划分：train，路径：pt/train-* - 配置名称：ru，数据文件： - 划分：train，路径：ru/train-* - 配置名称：vi，数据文件： - 划分：train，路径：vi/train-* - 配置名称：zh，数据文件： - 划分：train，路径：zh/train-*