floschne/xm3600

Name: floschne/xm3600
Creator: floschne
Published: 2024-05-23 14:04:18
License: 暂无描述

Hugging Face2024-05-23 更新2024-05-25 收录

下载链接：

https://hf-mirror.com/datasets/floschne/xm3600

下载链接

链接失效反馈

官方服务：

资源简介：

--- language: - ar - bn - cs - da - de - el - en - es - fa - fi - fil - fr - hi - hr - hu - id - it - he - ja - ko - mi - nl - 'no' - pl - pt - quz - ro - ru - sv - sw - te - th - tr - uk - vi - zh license: cc-by-4.0 size_categories: - 100K<n<1M task_categories: - image-to-text pretty_name: Crossmodal-3600 dataset_info: features: - name: image_id dtype: string - name: image_locale dtype: string - name: captions sequence: string - name: captions_tokenized sequence: string - name: captions_tokenized_lowercase sequence: string - name: image struct: - name: bytes dtype: binary - name: path dtype: 'null' splits: - name: ar num_bytes: 185670604 num_examples: 3600 - name: bn num_bytes: 185730427 num_examples: 3600 - name: cs num_bytes: 184905314 num_examples: 3600 - name: da num_bytes: 185047565 num_examples: 3600 - name: de num_bytes: 185996037 num_examples: 3600 - name: el num_bytes: 186027150 num_examples: 3600 - name: en num_bytes: 185038121 num_examples: 3600 - name: es num_bytes: 185452307 num_examples: 3600 - name: fa num_bytes: 186286424 num_examples: 3600 - name: fi num_bytes: 185411321 num_examples: 3600 - name: fil num_bytes: 185396220 num_examples: 3600 - name: fr num_bytes: 185817550 num_examples: 3600 - name: hi num_bytes: 187963777 num_examples: 3600 - name: hr num_bytes: 185253968 num_examples: 3600 - name: hu num_bytes: 185433251 num_examples: 3600 - name: id num_bytes: 185952788 num_examples: 3600 - name: it num_bytes: 185801693 num_examples: 3600 - name: he num_bytes: 186452829 num_examples: 3600 - name: ja num_bytes: 185834016 num_examples: 3600 - name: ko num_bytes: 185425177 num_examples: 3600 - name: mi num_bytes: 184718749 num_examples: 3600 - name: nl num_bytes: 185079232 num_examples: 3600 - name: 'no' num_bytes: 185164475 num_examples: 3600 - name: pl num_bytes: 185266269 num_examples: 3600 - name: pt num_bytes: 185327584 num_examples: 3600 - name: quz num_bytes: 184801840 num_examples: 3600 - name: ro num_bytes: 185956147 num_examples: 3600 - name: ru num_bytes: 186613648 num_examples: 3600 - name: sv num_bytes: 185028406 num_examples: 3600 - name: sw num_bytes: 185286235 num_examples: 3600 - name: te num_bytes: 186748783 num_examples: 3600 - name: th num_bytes: 187202604 num_examples: 3600 - name: tr num_bytes: 185472416 num_examples: 3600 - name: uk num_bytes: 186592720 num_examples: 3600 - name: vi num_bytes: 186292565 num_examples: 3600 - name: zh num_bytes: 185623745 num_examples: 3600 download_size: 6655898356 dataset_size: 6686071957 configs: - config_name: default data_files: - split: ar path: data/ar-* - split: bn path: data/bn-* - split: cs path: data/cs-* - split: da path: data/da-* - split: de path: data/de-* - split: el path: data/el-* - split: en path: data/en-* - split: es path: data/es-* - split: fa path: data/fa-* - split: fi path: data/fi-* - split: fil path: data/fil-* - split: fr path: data/fr-* - split: hi path: data/hi-* - split: hr path: data/hr-* - split: hu path: data/hu-* - split: id path: data/id-* - split: it path: data/it-* - split: he path: data/he-* - split: ja path: data/ja-* - split: ko path: data/ko-* - split: mi path: data/mi-* - split: nl path: data/nl-* - split: 'no' path: data/no-* - split: pl path: data/pl-* - split: pt path: data/pt-* - split: quz path: data/quz-* - split: ro path: data/ro-* - split: ru path: data/ru-* - split: sv path: data/sv-* - split: sw path: data/sw-* - split: te path: data/te-* - split: th path: data/th-* - split: tr path: data/tr-* - split: uk path: data/uk-* - split: vi path: data/vi-* - split: zh path: data/zh-* --- # XM3600 - Crossmodal-3600 ### This is a copy from https://google.github.io/crossmodal-3600/ If you use this dataset, please cite the original authors: ```bibtex @inproceedings{ThapliyalCrossmodal2022, author = {Ashish Thapliyal and Jordi Pont-Tuset and Xi Chen and Radu Soricut}, title = {{Crossmodal-3600: A Massively Multilingual Multimodal Evaluation Dataset}}, booktitle = {EMNLP}, year = {2022} } ``` It also includes the image features as PIL Image and has a uniform and joined structure. ### How to read the image Due to a [bug](https://github.com/huggingface/datasets/issues/4796), the images cannot be stored as PIL.Image.Images directly but need to be converted to dataset.Images-. Hence, to load them, this additional step is required: ```python from datasets import Image, load_dataset ds = load_dataset("floschne/xm3600", split="en") ds.map( lambda sample: { "image_t": [Image().decode_example(img) for img in sample["image"]], }, remove_columns=["image"], ).rename_columns({"image_t": "image"}) ```

语言： - 阿拉伯语（ar） - 孟加拉语（bn） - 捷克语（cs） - 丹麦语（da） - 德语（de） - 希腊语（el） - 英语（en） - 西班牙语（es） - 波斯语（fa） - 芬兰语（fi） - 他加禄语（fil） - 法语（fr） - 印地语（hi） - 克罗地亚语（hr） - 匈牙利语（hu） - 印尼语（id） - 意大利语（it） - 希伯来语（he） - 日语（ja） - 韩语（ko） - 毛利语（mi） - 荷兰语（nl） - 挪威语（no） - 波兰语（pl） - 葡萄牙语（pt） - 克丘亚语（quz） - 罗马尼亚语（ro） - 俄语（ru） - 瑞典语（sv） - 斯瓦希里语（sw） - 泰卢固语（te） - 泰语（th） - 土耳其语（tr） - 乌克兰语（uk） - 越南语（vi） - 中文（zh）许可协议：cc-by-4.0 样本规模类别： - 10万 < 样本量 < 100万任务类别： - 图像到文本（image-to-text）友好名称：跨模态-3600（Crossmodal-3600）数据集信息：特征： - 图像ID（image_id）：数据类型为字符串（string） - 图像语言区域（image_locale）：数据类型为字符串（string） - 字幕（captions）：字符串序列 - 分词后字幕（captions_tokenized）：字符串序列 - 小写分词后字幕（captions_tokenized_lowercase）：字符串序列 - 图像（image）：结构体，包含： - 二进制字节（bytes）：二进制数据类型（binary） - 路径（path）：空值类型（null）拆分： - 拆分名称：阿拉伯语（ar），字节大小：185670604，样本数量：3600 - 拆分名称：孟加拉语（bn），字节大小：185730427，样本数量：3600 - 拆分名称：捷克语（cs），字节大小：184905314，样本数量：3600 - 拆分名称：丹麦语（da），字节大小：185047565，样本数量：3600 - 拆分名称：德语（de），字节大小：185996037，样本数量：3600 - 拆分名称：希腊语（el），字节大小：186027150，样本数量：3600 - 拆分名称：英语（en），字节大小：185038121，样本数量：3600 - 拆分名称：西班牙语（es），字节大小：185452307，样本数量：3600 - 拆分名称：波斯语（fa），字节大小：186286424，样本数量：3600 - 拆分名称：芬兰语（fi），字节大小：185411321，样本数量：3600 - 拆分名称：他加禄语（fil），字节大小：185396220，样本数量：3600 - 拆分名称：法语（fr），字节大小：185817550，样本数量：3600 - 拆分名称：印地语（hi），字节大小：187963777，样本数量：3600 - 拆分名称：克罗地亚语（hr），字节大小：185253968，样本数量：3600 - 拆分名称：匈牙利语（hu），字节大小：185433251，样本数量：3600 - 拆分名称：印尼语（id），字节大小：185952788，样本数量：3600 - 拆分名称：意大利语（it），字节大小：185801693，样本数量：3600 - 拆分名称：希伯来语（he），字节大小：186452829，样本数量：3600 - 拆分名称：日语（ja），字节大小：185834016，样本数量：3600 - 拆分名称：韩语（ko），字节大小：185425177，样本数量：3600 - 拆分名称：毛利语（mi），字节大小：184718749，样本数量：3600 - 拆分名称：荷兰语（nl），字节大小：185079232，样本数量：3600 - 拆分名称：挪威语（no），字节大小：185164475，样本数量：3600 - 拆分名称：波兰语（pl），字节大小：185266269，样本数量：3600 - 拆分名称：葡萄牙语（pt），字节大小：185327584，样本数量：3600 - 拆分名称：克丘亚语（quz），字节大小：184801840，样本数量：3600 - 拆分名称：罗马尼亚语（ro），字节大小：185956147，样本数量：3600 - 拆分名称：俄语（ru），字节大小：186613648，样本数量：3600 - 拆分名称：瑞典语（sv），字节大小：185028406，样本数量：3600 - 拆分名称：斯瓦希里语（sw），字节大小：185286235，样本数量：3600 - 拆分名称：泰卢固语（te），字节大小：186748783，样本数量：3600 - 拆分名称：泰语（th），字节大小：187202604，样本数量：3600 - 拆分名称：土耳其语（tr），字节大小：185472416，样本数量：3600 - 拆分名称：乌克兰语（uk），字节大小：186592720，样本数量：3600 - 拆分名称：越南语（vi），字节大小：186292565，样本数量：3600 - 拆分名称：中文（zh），字节大小：185623745，样本数量：3600 下载大小：6655898356 数据集总大小：6686071957 配置： - 配置名称：默认（default）数据文件： - 拆分：阿拉伯语（ar），路径：data/ar-* - 拆分：孟加拉语（bn），路径：data/bn-* - 拆分：捷克语（cs），路径：data/cs-* - 拆分：丹麦语（da），路径：data/da-* - 拆分：德语（de），路径：data/de-* - 拆分：希腊语（el），路径：data/el-* - 拆分：英语（en），路径：data/en-* - 拆分：西班牙语（es），路径：data/es-* - 拆分：波斯语（fa），路径：data/fa-* - 拆分：芬兰语（fi），路径：data/fi-* - 拆分：他加禄语（fil），路径：data/fil-* - 拆分：法语（fr），路径：data/fr-* - 拆分：印地语（hi），路径：data/hi-* - 拆分：克罗地亚语（hr），路径：data/hr-* - 拆分：匈牙利语（hu），路径：data/hu-* - 拆分：印尼语（id），路径：data/id-* - 拆分：意大利语（it），路径：data/it-* - 拆分：希伯来语（he），路径：data/he-* - 拆分：日语（ja），路径：data/ja-* - 拆分：韩语（ko），路径：data/ko-* - 拆分：毛利语（mi），路径：data/mi-* - 拆分：荷兰语（nl），路径：data/nl-* - 拆分：挪威语（no），路径：data/no-* - 拆分：波兰语（pl），路径：data/pl-* - 拆分：葡萄牙语（pt），路径：data/pt-* - 拆分：克丘亚语（quz），路径：data/quz-* - 拆分：罗马尼亚语（ro），路径：data/ro-* - 拆分：俄语（ru），路径：data/ru-* - 拆分：瑞典语（sv），路径：data/sv-* - 拆分：斯瓦希里语（sw），路径：data/sw-* - 拆分：泰卢固语（te），路径：data/te-* - 拆分：泰语（th），路径：data/th-* - 拆分：土耳其语（tr），路径：data/tr-* - 拆分：乌克兰语（uk），路径：data/uk-* - 拆分：越南语（vi），路径：data/vi-* - 拆分：中文（zh），路径：data/zh-* --- # XM3600——跨模态-3600（Crossmodal-3600） ### 本数据集副本源自：https://google.github.io/crossmodal-3600/ 若使用本数据集，请引用原作者的研究： bibtex @inproceedings{ThapliyalCrossmodal2022, author = {Ashish Thapliyal and Jordi Pont-Tuset and Xi Chen and Radu Soricut}, title = {{Crossmodal-3600: A Massively Multilingual Multimodal Evaluation Dataset}}, booktitle = {EMNLP}, year = {2022} } 本数据集同时包含以PIL图像（PIL Image）格式存储的图像特征，且具备统一规整的整体结构。 ### 图像加载方法由于存在[一个漏洞](https://github.com/huggingface/datasets/issues/4796)，图像无法直接以PIL.Image.Images格式存储，需转换为数据集.Image类型。因此加载图像时需执行以下额外步骤： python from datasets import Image, load_dataset ds = load_dataset("floschne/xm3600", split="en") ds.map( lambda sample: { "image_t": [Image().decode_example(img) for img in sample["image"]], }, remove_columns=["image"], ).rename_columns({"image_t": "image"})

提供机构：

floschne

原始信息汇总

数据集概述

基本信息

数据集名称: Crossmodal-3600
别名: XM3600
语言: 包含37种语言，如阿拉伯语(ar)、孟加拉语(bn)、捷克语(cs)等。
许可: CC-BY-4.0
大小: 数据集大小介于10万到100万之间。
任务类别: 图像到文本(image-to-text)

数据集特征

特征名称: image_id, image_locale, captions, captions_tokenized, captions_tokenized_lowercase, image
数据类型:
- image_id, image_locale: 字符串
- captions, captions_tokenized, captions_tokenized_lowercase: 字符串序列
- image: 结构化数据，包含bytes（二进制）和path（空值）