wphu/CapQA

CapQA数据集用于微调多模态大语言模型。它包含约1k个样本图像，每个图像都有多轮对话标签、详细描述和简洁描述。数据集被分为训练集和测试集，训练集包含882个样本（11.9k QA对），测试集包含100个样本（1.4k QA对）。所有图像均来自[Consented Activities of People (CAP)](https://github.com/visym/cap)数据集，并保持了与CAP相同的许可证。

原始信息汇总

CapQA 数据集

概述

CapQA 数据集用于微调多模态大型语言模型。该数据集包含约 1000 张样本图像，每张图像附有多轮对话标签、详细描述和精简描述。

数据结构

• 训练集：包含 882 个样本（11.9k 个 QA 对）。
• 测试集：包含 100 个样本（1.4k 个 QA 对）。

数据来源

所有图像均提取自 Consented Activities of People (CAP) 数据集。

许可

该数据集遵循与 CAP 数据集相同的许可协议（cc-by-4.0）。

搜集汇总

背景与挑战

背景概述

CapQA是一个用于微调多模态大语言模型的数据集，包含约1k图像样本，每个样本配有多轮对话标签和详细描述，总数据量约1964行，分为训练集和测试集。该数据集基于CAP数据集构建，采用Socratic提问方法，旨在帮助模型通过自我引导推理来理解图像中的活动类型和细节，适用于视觉语言任务的研究和开发。