ufal/npfl147

--- license: cc-by-sa-4.0 configs: - config_name: cs data_files: - split: train path: cs/train-* - config_name: de data_files: - split: train path: de/train-* - config_name: en data_files: - split: train path: en/train-* - config_name: eu data_files: - split: train path: eu/train-* - config_name: ga data_files: - split: train path: ga/train-* - config_name: 'no' data_files: - split: train path: no/train-* - config_name: sk data_files: - split: train path: sk/train-* - config_name: tr data_files: - split: train path: tr/train-* dataset_info: - config_name: cs features: - name: text dtype: string - name: id dtype: string - name: wikiname dtype: string - name: page_id dtype: int64 - name: title dtype: string - name: url dtype: string - name: date_modified dtype: string - name: in_language dtype: string - name: wikidata_id dtype: string - name: bytes_html dtype: int64 - name: wikitext dtype: string - name: version dtype: int64 - name: infoboxes dtype: string - name: has_math dtype: bool splits: - name: train num_bytes: 11694725 num_examples: 1000 download_size: 6282043 dataset_size: 11694725 - config_name: de features: - name: text dtype: string - name: id dtype: string - name: wikiname dtype: string - name: page_id dtype: int64 - name: title dtype: string - name: url dtype: string - name: date_modified dtype: string - name: in_language dtype: string - name: wikidata_id dtype: string - name: bytes_html dtype: int64 - name: wikitext dtype: string - name: version dtype: int64 - name: infoboxes dtype: string - name: has_math dtype: bool splits: - name: train num_bytes: 14360755 num_examples: 1000 download_size: 7258099 dataset_size: 14360755 - config_name: en features: - name: text dtype: string - name: id dtype: string - name: wikiname dtype: string - name: page_id dtype: int64 - name: title dtype: string - name: url dtype: string - name: date_modified dtype: string - name: in_language dtype: string - name: wikidata_id dtype: string - name: bytes_html dtype: int64 - name: wikitext dtype: string - name: version dtype: int64 - name: infoboxes dtype: string - name: has_math dtype: bool splits: - name: train num_bytes: 16891985 num_examples: 1000 download_size: 8072990 dataset_size: 16891985 - config_name: eu features: - name: text dtype: string - name: id dtype: string - name: wikiname dtype: string - name: page_id dtype: int64 - name: title dtype: string - name: url dtype: string - name: date_modified dtype: string - name: in_language dtype: string - name: wikidata_id dtype: string - name: bytes_html dtype: int64 - name: wikitext dtype: string - name: version dtype: int64 - name: infoboxes dtype: string - name: has_math dtype: bool splits: - name: train num_bytes: 5444095 num_examples: 1000 download_size: 2799626 dataset_size: 5444095 - config_name: ga features: - name: text dtype: string - name: id dtype: string - name: wikiname dtype: string - name: page_id dtype: int64 - name: title dtype: string - name: url dtype: string - name: date_modified dtype: string - name: in_language dtype: string - name: wikidata_id dtype: string - name: bytes_html dtype: int64 - name: wikitext dtype: string - name: version dtype: int64 - name: infoboxes dtype: string - name: has_math dtype: bool splits: - name: train num_bytes: 4156261 num_examples: 1000 download_size: 1988378 dataset_size: 4156261 - config_name: 'no' features: - name: text dtype: string - name: id dtype: string - name: wikiname dtype: string - name: page_id dtype: int64 - name: title dtype: string - name: url dtype: string - name: date_modified dtype: string - name: in_language dtype: string - name: wikidata_id dtype: string - name: bytes_html dtype: int64 - name: wikitext dtype: string - name: version dtype: int64 - name: infoboxes dtype: string - name: has_math dtype: bool splits: - name: train num_bytes: 6189359 num_examples: 1000 download_size: 2934307 dataset_size: 6189359 - config_name: sk features: - name: text dtype: string - name: id dtype: string - name: wikiname dtype: string - name: page_id dtype: int64 - name: title dtype: string - name: url dtype: string - name: date_modified dtype: string - name: in_language dtype: string - name: wikidata_id dtype: string - name: bytes_html dtype: int64 - name: wikitext dtype: string - name: version dtype: int64 - name: infoboxes dtype: string - name: has_math dtype: bool splits: - name: train num_bytes: 7505596 num_examples: 1000 download_size: 4015604 dataset_size: 7505596 - config_name: tr features: - name: text dtype: string - name: id dtype: string - name: wikiname dtype: string - name: page_id dtype: int64 - name: title dtype: string - name: url dtype: string - name: date_modified dtype: string - name: in_language dtype: string - name: wikidata_id dtype: string - name: bytes_html dtype: int64 - name: wikitext dtype: string - name: version dtype: int64 - name: infoboxes dtype: string - name: has_math dtype: bool splits: - name: train num_bytes: 8693739 num_examples: 1000 download_size: 3841243 dataset_size: 8693739 ---该数据集遵循知识共享署名-相同方式共享4.0（CC BY-SA 4.0）许可协议。其数据集配置共包含8个语言版本，具体如下： 1. 配置名称：cs，训练拆分（train）的数据文件路径为cs/train-* 2. 配置名称：de，训练拆分（train）的数据文件路径为de/train-* 3. 配置名称：en，训练拆分（train）的数据文件路径为en/train-* 4. 配置名称：eu，训练拆分（train）的数据文件路径为eu/train-* 5. 配置名称：ga，训练拆分（train）的数据文件路径为ga/train-* 6. 配置名称：no，训练拆分（train）的数据文件路径为no/train-* 7. 配置名称：sk，训练拆分（train）的数据文件路径为sk/train-* 8. 配置名称：tr，训练拆分（train）的数据文件路径为tr/train-* 各语言配置的数据集信息如下： ### cs配置 该配置包含以下特征字段： - 文本（text）：字符串类型 - 标识符（id）：字符串类型 - 维基名称（wikiname）：字符串类型 - 页面ID（page_id）：64位整数类型 - 标题（title）：字符串类型 - 统一资源定位符（URL）：字符串类型 - 修改日期（date_modified）：字符串类型 - 所属语言（in_language）：字符串类型 - 维基数据标识符（wikidata_id）：字符串类型 - HTML字节数（bytes_html）：64位整数类型 - 维基文本（wikitext）：字符串类型 - 版本号（version）：64位整数类型 - 信息框（infoboxes）：字符串类型 - 是否包含数学内容（has_math）：布尔类型 其训练拆分包含1000个样本，字节总数为11694725，下载大小为6282043，数据集总大小为11694725。 ### de配置 该配置包含与cs配置一致的特征字段，其训练拆分包含1000个样本，字节总数为14360755，下载大小为7258099，数据集总大小为14360755。 ### en配置 该配置包含与cs配置一致的特征字段，其训练拆分包含1000个样本，字节总数为16891985，下载大小为8072990，数据集总大小为16891985。 ### eu配置 该配置包含与cs配置一致的特征字段，其训练拆分包含1000个样本，字节总数为5444095，下载大小为2799626，数据集总大小为5444095。 ### ga配置 该配置包含与cs配置一致的特征字段，其训练拆分包含1000个样本，字节总数为4156261，下载大小为1988378，数据集总大小为4156261。 ### no配置 该配置包含与cs配置一致的特征字段，其训练拆分包含1000个样本，字节总数为6189359，下载大小为2934307，数据集总大小为6189359。 ### sk配置 该配置包含与cs配置一致的特征字段，其训练拆分包含1000个样本，字节总数为7505596，下载大小为4015604，数据集总大小为7505596。 ### tr配置 该配置包含与cs配置一致的特征字段，其训练拆分包含1000个样本，字节总数为8693739，下载大小为3841243，数据集总大小为8693739。