Freestyle Multilingual Image Question Answering (FM-IQA)

Freestyle Multilingual Image Question Answering (FM-IQA)数据集由百度研究院创建，包含超过150,000张图像和310,000对自由形式的汉语问答及其英文翻译。数据集内容丰富，涵盖从简单的图像理解问题到需要高级推理的复杂问题。创建过程中，允许标注者提出与图像内容相关的任何问题，并通过策略监控标注质量。该数据集主要应用于视觉问答领域，旨在通过图像内容回答自由形式的提问，解决图像理解和交互的问题。

Freestyle Multilingual Image Question Answering (FM-IQA) dataset was developed by Baidu Research. It contains over 150,000 images and 310,000 pairs of free-form Chinese question-answer pairs along with their corresponding English translations. The dataset encompasses diverse content, spanning from simple image understanding questions to complex ones requiring advanced reasoning. During its construction, annotators were allowed to pose any questions relevant to the image content, and annotation quality was monitored through targeted strategies. This dataset is primarily applied in the domain of Visual Question Answering (VQA), aiming to answer free-form queries based on image content and address issues concerning image understanding and interaction.

搜集汇总

数据集介绍

构建方式

在视觉问答领域，为支持多模态学习研究，FM-IQA数据集基于MS COCO图像库构建。通过在线众包平台，标注者自由提出与图像内容相关的任意问题并自行作答，确保了问题的多样性和自然性。为保障标注质量，研究团队实施了初步筛选机制，从标注者中挑选出195名合格者，并提供了优质示例作为参考。最终数据集包含158,392张图像及316,193对中英文问答对，每张图像至少对应两个问答对，涵盖了从物体识别到常识推理的广泛问题类型。

特点

FM-IQA数据集以其自由风格和多语言特性脱颖而出。问题形式不受模板限制，允许完整句子、短语或单词作为答案，模拟了真实人机交互场景。数据集包含中英文双语翻译，为跨语言研究提供了便利。其问题类型丰富，涉及动作识别、物体属性、空间关系及高阶推理，挑战了模型的综合视觉与语言理解能力。此外，数据规模显著大于同期其他视觉问答数据集，为深度学习模型训练提供了充足资源。

使用方法

该数据集主要用于训练和评估多模态视觉问答模型，如论文中提出的mQA模型。研究人员可将图像与对应问题作为输入，训练模型生成自然语言答案。评估时，鉴于自由答案的多样性，建议采用人工图灵测试等主观评估方法，混合模型与人工答案，由评判者区分并评分。数据集也可用于视觉机器翻译等跨模态任务，利用图像上下文消除语言歧义。使用前需从项目页面下载最新版本，并注意遵循数据划分建议。

背景与挑战

背景概述

在计算机视觉与自然语言处理融合的浪潮中，视觉问答任务逐渐成为研究热点，旨在使机器能够理解图像内容并回答自由形式的自然语言问题。Freestyle Multilingual Image Question Answering (FM-IQA) 数据集于2015年由百度研究院与加州大学洛杉矶分校的研究团队共同创建，基于MS COCO图像数据集构建，包含超过15万张图像及31万对中英文双语问答对。该数据集的核心研究问题在于推动多模态智能系统的发展，通过模拟人类对图像的深层理解与交互能力，挑战机器在视觉推理、常识融合及语言生成方面的极限。FM-IQA的推出显著丰富了视觉问答领域的资源，为后续多语言、开放域视觉理解研究奠定了重要基础，并促进了如mQA等先进模型的发展。

当前挑战

视觉问答领域面临的核心挑战在于机器需融合视觉与语言信息以应对开放、多样的问题类型，例如物体识别、空间关系推理及常识性解释，这要求模型具备跨模态语义对齐与深层推理能力。在FM-IQA数据集的构建过程中，研究者遭遇了标注质量控制的难题：由于允许标注者自由提问，问题与答案的多样性和复杂性显著增加，使得标准化评估变得困难。为此，团队设计了质量监控策略，通过筛选合格标注者并移除低质量样本以确保数据可靠性。此外，数据集的评估也面临挑战，传统自动指标如BLEU难以准确衡量自由形式答案的语义正确性，因而引入了基于人类评判的图灵测试，以更真实地反映模型性能。

常用场景

经典使用场景

在视觉与语言交叉研究领域，FM-IQA数据集作为一项开创性资源，为多模态智能系统提供了丰富的训练与评估基础。该数据集通过融合图像与自由形式的问题-答案对，使得研究者能够构建并验证模型在理解视觉内容后生成自然语言响应的能力。其经典应用场景集中在视觉问答任务中，模型需解析图像语义并针对开放式问题提供准确回答，从而推动计算机视觉与自然语言处理的深度融合。

实际应用

在实际应用层面，FM-IQA数据集为智能辅助系统、无障碍技术及跨语言交互平台提供了关键支持。例如，在视觉辅助设备中，模型可基于图像内容回答用户的自由提问，帮助视障人士感知环境；在教育与娱乐领域，该技术能够实现交互式图像解说或多语言视觉问答服务。此外，数据集中蕴含的双语标注资源，为视觉语境下的机器翻译研究提供了独特的数据基础，助力跨语言信息理解系统的开发。

衍生相关工作

FM-IQA数据集的发布催生了一系列多模态学习领域的经典工作。例如，基于该数据集构建的mQA模型采用了双LSTM与CNN融合架构，为后续注意力机制与Transformer在视觉问答中的应用奠定基础。同时，数据集启发了对视觉图灵测试的系统化探索，促进了如VQA等大规模视觉问答数据集的演进。相关研究进一步拓展至视觉对话、跨模态检索及视觉推理等方向，推动了多模态预训练模型的发展。