SEACrowd/cc3m_35l

CC3M-35L是通过将Conceptual Captions 3M（Sharma et al., 2018）从英语翻译成其他34种语言创建的数据集，使用了Google的机器翻译API。该数据集支持图像字幕生成任务，支持的语言包括菲律宾语（fil）、印度尼西亚语（ind）、泰语（tha）和越南语（vie）。

原始信息汇总

Cc3M 35L 数据集概述

基本信息

• 许可证: Creative Commons Attribution 4.0 (cc-by-4.0)
• 语言: fil, ind, tha, vie
• 任务类别: Image Captioning
• 数据集版本:
  • 源版本: 1.0.0
  • SEACrowd版本: 2024.06.20

数据集描述

CC3M-35L 是通过将原始的英文数据集 Conceptual Captions 3M (Sharma et al., 2018) 翻译成其他34种语言创建的。翻译工作使用了Google的机器翻译API。

使用方法

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/cc3m_35l", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("cc3m_35l", schema="seacrowd")

查看数据集的所有可用子集（配置名称）

print(sc.available_config_names("cc3m_35l"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集主页

https://google.github.io/crossmodal-3600/

引用

@inproceedings{thapliyal-etal-2022-crossmodal, title = "Crossmodal-3600: A Massively Multilingual Multimodal Evaluation Dataset", author = "Thapliyal, Ashish V. and Pont Tuset, Jordi and Chen, Xi and Soricut, Radu", editor = "Goldberg, Yoav and Kozareva, Zornitsa and Zhang, Yue", booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing", month = dec, year = "2022", address = "Abu Dhabi, United Arab Emirates", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2022.emnlp-main.45", doi = "10.18653/v1/2022.emnlp-main.45", pages = "715--729", }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

CC3M-35L数据集是基于Conceptual Captions 3M（Sharma等人，2018）的英文图像描述数据，通过谷歌机器翻译API将其翻译至其他34种语言而构建的。该过程保留了原始图像与描述的对齐关系，同时实现了语言维度的扩展，为多语言图像描述研究提供了跨语言对齐的平行语料资源。

使用方法

用户可通过HuggingFace的datasets库直接加载该数据集，使用load_dataset("SEACrowd/cc3m_35l", trust_remote_code=True)即可获取。此外，SEACrowd库提供了更灵活的加载方式，支持按特定配置名称调用数据集，便于针对不同子集进行定制化实验。

背景与挑战

背景概述

CC3M-35L数据集由SEACrowd团队于2024年6月20日发布，旨在推动多语言图像描述领域的研究。该数据集基于Conceptual Captions 3M（Sharma等人，2018年）构建，后者原为英文图像描述数据集，包含约300万张图片及其英文描述。CC3M-35L通过谷歌机器翻译API将原始英文描述翻译为34种其他语言，覆盖菲律宾语、印尼语、泰语和越南语等东南亚语言。其核心研究问题在于弥合多语言视觉-语言模型在非英语语言上的数据稀缺性，为跨语言图像描述任务提供大规模训练资源。该数据集对东南亚语言的多模态研究具有重要影响力，推动了SEACrowd数据枢纽的构建，并为Crossmodal-3600等评估基准提供了基础支持。

当前挑战

CC3M-35L面临的挑战主要体现在两个层面。在领域问题层面，多语言图像描述任务需要模型同时理解视觉内容与跨语言语义，而现有模型在低资源语言（如菲律宾语）上的表现往往受限，因为机器翻译引入的噪声可能扭曲原始图像与描述的对应关系。在构建过程中，挑战包括：机器翻译的质量控制，尤其是对文化特定概念或俚语的翻译准确性；多语言描述的一致性维护，确保不同语言版本保持与图像的语义对齐；以及数据版权与许可合规性，需在CC-BY-4.0许可下妥善处理原始图像的使用权限。这些挑战制约了数据集在多语言场景下的实用性与鲁棒性。

常用场景

经典使用场景

CC3M-35L数据集的核心价值在于其多语言图像描述生成任务中的经典应用。该数据集基于Conceptual Captions 3M（CC3M）的英文原版，通过谷歌机器翻译API将其扩展至包括菲律宾语、印尼语、泰语和越南语在内的34种语言，从而构建了一个大规模、多语种的图文对齐语料库。在跨语言视觉与语言研究中，研究者常利用该数据集训练能够理解并生成非英语语言图像描述的多模态模型，尤其适用于东南亚语言场景。其经典使用方式为：以图像为输入，模型需输出对应目标语言的描述文本，这一设定推动了多语言视觉语言预训练模型的性能评估与优化。

解决学术问题

该数据集有效解决了多语言多模态研究中数据稀缺的核心学术难题。长期以来，图像描述任务主要集中于英语，导致非英语语言（尤其是东南亚语系）的视觉语言模型发展滞后。CC3M-35L通过大规模翻译扩充，为研究跨语言语义对齐、零样本迁移学习以及多语言视觉表征的泛化能力提供了关键基准。它使得学术界能够系统性地探究机器翻译质量对下游多模态任务的影响，并评估模型在多语言环境下的鲁棒性与公平性。这一数据集的发布，显著推动了多语言视觉语言理解领域的标准化评估进程，为构建更具包容性的多模态人工智能系统奠定了数据基础。

实际应用

在实际应用层面，CC3M-35L为多语言内容理解与生成技术提供了重要支撑。例如，在东南亚地区的电子商务平台中，该数据集可用于训练自动生成商品图像多语种描述的系统，从而提升跨语言搜索与推荐的效率。在社交媒体与新闻媒体领域，它助力开发能够为图片自动添加印尼语、泰语等本地语言标题的辅助工具，降低人工标注成本。此外，该数据集还赋能无障碍技术，如为视障用户提供多语言图像语音描述服务，以及支持教育场景中多语种图文教材的自动创建。这些应用切实提升了多语言环境下人机交互的便捷性与可及性。

数据集最近研究

最新研究方向

在跨模态与多语言视觉语言模型研究蓬勃发展的当下，CC3M-35L数据集通过将英文Conceptual Captions 3M翻译至34种语言，为东南亚语言族群的图像描述任务提供了关键资源。该数据集的最新研究方向聚焦于多语言视觉语义对齐与低资源语言生成能力的提升，尤其在菲律宾语、印尼语、泰语和越南语等语种上，推动了多模态模型在非英语环境下的泛化表现。结合SEACrowd数据枢纽的构建，CC3M-35L成为评估和基准测试东南亚语言多模态理解的重要工具，其影响力体现在促进包容性AI发展、缩小语言鸿沟，并为区域特色的视觉-语言应用奠定基础。