nvBench-Rob

nvBench-Rob是一个用于文本到可视化转换的鲁棒性基准数据集，旨在评估模型对自然语言查询中词汇和短语变异的性能表现。该数据集包含1,182个可视化查询，涵盖多个领域数据库模式，支持多种图表类型，并具有词汇变化（同义词、释义）和短语变化（不同句子结构）等鲁棒性特征

nvBench-Rob is a robustness benchmark dataset for text-to-visualization conversion, which aims to evaluate the performance of models against lexical and phrasal variations in natural language queries. This dataset includes 1,182 visualization queries, covering database schemas across multiple domains, supporting various chart types, and features robustness-related characteristics such as lexical variations (synonyms, paraphrases) and phrasal variations (different sentence structures).

原始信息汇总

nvBench-Rob 数据集概述

数据集简介

nvBench-Rob 是一个用于文本到可视化翻译的鲁棒性基准数据集，旨在评估模型针对自然语言查询中词汇和短语变异的性能。

数据集统计

• 总样本数：1,182 个可视化查询
• 数据库模式：包含学术、浏览器、员工等多个领域
• 查询类型：条形图、折线图、饼图和其他可视化类型
• 鲁棒性特征：
  • 词汇变异（同义词、释义）
  • 短语变异（不同句子结构）
  • 每个可视化查询的多种自然语言表述

数据集文件

• nvBench-Rob_nlq.json：包含自然语言查询变异的主数据集
• nvBench-Rob_nlq_schema.json：模式感知的自然语言查询变异
• nvBench-Rob_schema.json：模式信息
• tables.json：数据库表模式

数据格式

每个数据样本包含以下字段：

• vis_query：可视化查询信息
  • vis_part：可视化部分
  • data_part：数据部分
    • sql_part：SQL 查询语句
    • binning：分箱信息
  • VQL：可视化查询语言
• chart：图表类型
• hardness：难度级别
• db_id：数据库名称
• nl_queries：自然语言查询列表
• record_name：记录名称

相关论文

• 标题：Towards Robustness of Text-to-Visualization Translation Against Lexical and Phrasal Variability
• 会议：2025 IEEE 第41届国际数据工程会议（ICDE）
• DOI：https://doi.org/10.1109/ICDE65448.2025.00065

许可证

MIT 许可证

搜集汇总

数据集介绍

构建方式

在文本到可视化转换的研究领域，nvBench-Rob数据集通过精心设计的构建流程确保了其科学性与实用性。该数据集基于原始nvBench扩展而来，采用检索增强生成技术自动产生多样化的自然语言查询变体。构建过程中，研究团队引入了同义词替换、句式重组以及语义保持的短语变异策略，覆盖了1,182个可视化查询样本，并关联了多领域数据库模式，包括学术、浏览器及员工管理等场景，从而系统性地捕捉了语言表达中的词汇与短语层面变异。

特点

nvBench-Rob的显著特点在于其针对模型鲁棒性评估的专门化设计。数据集囊括了柱状图、折线图、饼图等多种可视化类型，每个查询均配备多个自然语言表述变体，这些变体在词汇选择与句子结构上呈现高度多样性。其核心特征包括通过同义词和释义实现词汇变异，以及通过不同句式结构实现短语变异，全面模拟了真实场景中用户查询的复杂性，为评估文本到可视化转换模型的抗干扰能力提供了丰富且可控的测试环境。

使用方法

使用nvBench-Rob数据集时，研究人员可借助其提供的标准化JSON格式文件开展模型训练与评估。主要数据文件包括自然语言查询变体文件、模式感知查询文件及数据库模式描述文件。用户可通过加载这些结构化数据，构建基于检索增强生成或大型语言模型的文本到可视化转换流程，并通过对比不同变异查询下的模型输出一致性来量化鲁棒性。数据集中每个样本均包含可视化查询结构、对应的SQL语句及多个自然语言表述，支持端到端的性能测试与错误分析。

背景与挑战

背景概述

自然语言到可视化转换作为数据工程与可视化交叉领域的前沿研究方向，nvBench-Rob数据集由香港科技大学研究团队于2025年构建，旨在应对文本到可视化转换任务中语言表达的多样性与复杂性。该数据集依托IEEE数据工程国际会议（ICDE）平台发布，包含1,182个涵盖多领域数据库模式的可视化查询样本，通过系统化整合学术、企业等多源数据架构，为评估模型在词汇与短语变异条件下的鲁棒性提供了标准化基准。其创新性在于首次将语言学变异机制引入可视化生成评估体系，推动了自然语言处理与数据可视化领域的深度融合。

当前挑战

文本到可视化转换领域面临核心挑战在于自然语言查询的语义歧义与结构多样性，例如同义词替换、句式重构等语言现象会导致模型生成错误可视化类型或错误数据映射。数据集构建过程中需克服多维度挑战：一是跨领域数据库模式与自然语言表达的语义对齐难题，需确保相同可视化意图在不同数据库上下文中的一致性表达；二是语言变异标注的规模与质量平衡，需通过检索增强生成技术构建高覆盖度的查询变体集合；三是可视化逻辑与语法结构的双重验证，要求每个查询变体同时满足语法正确性与可视化逻辑合理性。

常用场景

经典使用场景

在数据可视化与自然语言处理交叉领域，nvBench-Rob数据集被广泛用于评估文本到可视化转换模型的鲁棒性。研究者通过该数据集中的多样化自然语言查询变体，系统测试模型对同义词替换、句式重构等语言变化的适应能力，为模型优化提供基准参照。

衍生相关工作

基于nvBench-Rob，研究者提出了多种改进文本到可视化转换鲁棒性的方法，包括检索增强生成（RAG）技术和模式感知的查询校正机制。这些工作不仅扩展了数据可视化与自然语言处理融合的研究边界，还为构建更智能、更自适应的大语言模型应用奠定了重要基础。

数据集最近研究

最新研究方向

在文本到可视化翻译领域，nvBench-Rob数据集的推出标志着对模型鲁棒性评估的重要进展。该数据集聚焦于应对自然语言查询中的词汇和短语变异性挑战，通过包含丰富的同义替换、句式重构等扰动形式，为评估大语言模型在可视化生成任务中的稳定性提供了基准。当前研究热点集中在结合检索增强生成技术提升模型对多样化输入的适应能力，同时探索基于数据库模式的语义纠错机制。这些方向不仅推动了可视化自动生成系统的实用化进程，也对跨模态语义理解技术的发展产生了深远影响。