madoss/mos-latn-hplt

--- dataset_info: features: - name: f dtype: string - name: o dtype: int64 - name: s dtype: int64 - name: rs dtype: int64 - name: u dtype: string - name: c dtype: string - name: ts dtype: string - name: de dtype: string - name: crawl_id dtype: string - name: lang list: string - name: prob list: float64 - name: text dtype: string - name: xml dtype: string - name: html_lang list: string - name: cluster_size dtype: int64 - name: seg_langs list: string - name: id dtype: string - name: filter dtype: string - name: pii list: list: int64 - name: doc_scores list: float64 splits: - name: train num_bytes: 28509948 num_examples: 1892 download_size: 14789091 dataset_size: 28509948 configs: - config_name: default data_files: - split: train path: data/train-* ---dataset_info: 数据集信息 features: 特征项 - name: f dtype: 字符串（string） - name: o dtype: 64位整数（int64） - name: s dtype: 64位整数（int64） - name: rs dtype: 64位整数（int64） - name: u dtype: 字符串（string） - name: c dtype: 字符串（string） - name: ts dtype: 字符串（string） - name: de dtype: 字符串（string） - name: crawl_id dtype: 字符串（string） - name: lang dtype: 字符串列表（list: string） - name: prob dtype: 64位浮点列表（list: float64） - name: text dtype: 字符串（string） - name: xml dtype: 字符串（string） - name: html_lang dtype: 字符串列表（list: string） - name: cluster_size dtype: 64位整数（int64） - name: seg_langs dtype: 字符串列表（list: string） - name: id dtype: 字符串（string） - name: filter dtype: 字符串（string） - name: pii dtype: 嵌套64位整数列表（list: list: int64） - name: doc_scores dtype: 64位浮点列表（list: float64） splits: 数据划分 - name: 训练集（train） 字节数: 28509948 样本数量: 1892 download_size: 14789091 dataset_size: 28509948 configs: 数据集配置 - config_name: 默认（default） data_files: - split: 训练集（train） path: data/train-*