Text2Vis

Text2Vis是一个全面的数据集，旨在评估大型语言模型在生成多模态可视化方面的能力。该数据集由约克大学、Dialpad和Salesforce AI Research创建，包含了1985个样本，每个样本都包含一个数据表、自然语言查询、简短答案、可视化代码和带注释的图表。Text2Vis涵盖了超过20种图表类型，并支持各种实际分析场景，包括检索增强查询、多轮对话、多图表输出和无解问题。数据集的创建过程涉及数据表收集、查询生成和注释、可视化代码和答案生成以及数据集分析等步骤。Text2Vis旨在解决数据可视化中的挑战，为非技术用户提供自动化可视化的能力。

Text2Vis is a comprehensive dataset designed to evaluate the capability of large language models (LLMs) in generating multimodal visualizations. Developed by York University, Dialpad, and Salesforce AI Research, the dataset comprises 1985 samples, each containing a data table, natural language query, concise answer, visualization code, and annotated charts. Text2Vis covers over 20 chart types and supports a variety of real-world analytical scenarios, including retrieval-augmented queries, multi-turn conversations, multi-chart outputs, and unsolvable problems. The dataset creation process includes steps such as data table collection, query generation and annotation, visualization code and answer generation, as well as dataset analysis. Text2Vis aims to address the challenges in data visualization and empower non-technical users with automated visualization capabilities.

原始信息汇总

Text2Vis数据集概述

数据集基本信息

• 数据集名称：Text2Vis
• 描述：一个具有挑战性和多样性的基准数据集，用于从文本生成多模态可视化内容

数据获取

• 当前状态：数据集仍在处理中
• 获取方式：通过电子邮件联系获取早期访问权限
• 联系邮箱：[e-mail]

相关论文

• arXiv论文：https://arxiv.org/abs/2507.19969
• OpenReview论文：https://openreview.net/pdf?id=XkDg23tIa3

联系方式

• 联系人：Mizanur Rahman
• 联系邮箱：[e-mail]

引用格式

bibtex @misc{rahman2025text2vischallengingdiversebenchmark, title={Text2Vis: A Challenging and Diverse Benchmark for Generating Multimodal Visualizations from Text}, author={Mizanur Rahman and Md Tahmid Rahman Laskar and Shafiq Joty and Enamul Hoque}, year={2025}, eprint={2507.19969}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2507.19969}, }

搜集汇总

数据集介绍

构建方式

在数据可视化领域，自动化生成技术正日益成为简化数据解读和提升决策效率的关键工具。Text2Vis数据集的构建过程体现了严谨的科学方法论，研究团队首先从ChartQA语料库中精选了2001个高质量数据表，涵盖金融、医疗、政治等多个领域，并辅以173个合成数据表以增强复杂性。通过专家手工标注与多模型协同生成相结合的方式，构建了1985个样本，每个样本包含数据表、自然语言查询、简短回答、可视化代码及标注图表，形成多模态数据结构。数据采集阶段特别注重真实性与多样性，覆盖20余种图表类型，并纳入动态数据检索、多轮对话等现实场景，为评估模型在复杂推理任务中的表现提供了坚实基础。

特点

作为文本到可视化生成领域的前沿基准，Text2Vis展现出三大核心特征：其任务多样性体现在覆盖趋势分析、相关性检测、异常值识别等20类数据科学查询，包含11%不可回答问题与20%多轮对话样本，有效模拟真实分析场景；数据复杂性通过2000余个样本实现，其中包含191个含噪声数据表，平均查询长度达34.15个token，代码复杂度达33.74行，挑战模型的多模态理解能力；评估系统性则创新性地整合了答案匹配度、代码执行率、图表可读性等四维指标，并开发自动化评估框架，其与人工评估的Cohen's Kappa系数达0.78，确保评测结果的可靠性。这种多维度、高复杂度的特性使其成为当前最具挑战性的可视化生成基准之一。

使用方法

该数据集支持三种典型应用范式：直接推理模式下，研究者可通过零样本、三样本或检索增强提示，测试模型基于自然语言查询生成可视化代码及文本回答的端到端能力；跨模态智能体框架则引入创新性的执行-反馈机制，通过迭代优化将GPT-4o的通过率从26%提升至42%，为改进模型性能提供方法论指导；评估阶段可采用全自动LLM评估流程，5分钟内完成1985个样本的答案正确性、图表可读性等维度评测，大幅降低人工标注成本。使用时应特别注意多轮对话样本的上下文关联性处理，以及动态数据检索类任务的外部知识融合要求，建议配合论文提供的提示模板体系实现最佳实验效果。

背景与挑战

背景概述

Text2Vis是由约克大学的Mizanur Rahman、Md Tahmid Rahman Laskar等研究人员于2025年提出的多模态可视化生成基准数据集。该数据集旨在解决自然语言到可视化（text-to-visualization）转换领域缺乏全面评估基准的问题，覆盖20余种图表类型和复杂的数据科学查询，包含1,985个样本，每个样本均包含数据表、自然语言查询、简短答案、可视化代码及标注图表。其核心研究问题是评估大型语言模型（LLMs）在理解复杂查询、动态数据检索及多步骤推理后生成准确可视化代码的能力，填补了现有基准在多样性、真实性和复杂性上的空白，推动了自动化数据可视化领域的发展。

当前挑战

Text2Vis面临的挑战主要包括两方面：领域问题挑战和构建过程挑战。在领域问题方面，该数据集需解决自然语言查询的歧义性（如隐含的图表类型推断）、多模态对齐（文本答案与可视化代码的协同生成）以及复杂分析任务（如趋势预测、异常检测）的准确表达。构建过程中的挑战包括：1）数据多样性保障（需平衡真实数据与合成数据的比例）；2）查询复杂性设计（需模拟真实场景中的多轮对话和未回答问题）；3）自动化评估框架开发（需通过LLM实现答案正确性、代码执行、图表可读性的多维度评估）；4）跨模态反馈机制实现（需协调文本生成与可视化代码优化的联合训练）。

常用场景

经典使用场景

Text2Vis数据集在自动化数据可视化领域具有广泛的应用场景，特别是在自然语言处理与数据科学的交叉领域。该数据集通过提供多样化的数据表格和自然语言查询，支持从简单的趋势分析到复杂的多步推理任务。其经典使用场景包括利用大型语言模型（LLMs）将自然语言查询转换为可视化代码，例如生成线图、柱状图、散点图等，以支持数据驱动的决策过程。

实际应用

在实际应用中，Text2Vis数据集被广泛用于开发自然语言界面（NLIs）和自动化数据可视化工具。例如，非技术用户可以通过简单的自然语言查询生成复杂的可视化图表，而无需掌握编程或数据科学专业知识。该数据集还在商业智能、金融分析和医疗数据可视化等领域展示了强大的实用性，帮助用户快速从数据中提取洞察并支持决策。

衍生相关工作

Text2Vis数据集衍生了许多相关研究工作，特别是在多模态学习和自动化可视化生成领域。例如，基于该数据集提出的跨模态行动者-评论家框架（cross-modal actor-critic framework）显著提升了模型在生成文本答案和可视化代码时的联合优化能力。此外，数据集还激发了针对复杂查询（如多轮对话和网络数据检索）的新方法研究，推动了文本到可视化任务的进一步发展和创新。