nvBench 2.0

nvBench 2.0是一个用于评估自然语言到可视化（NL2VIS）系统在处理模糊查询场景下的表现的基准测试数据集。

nvBench 2.0 is a benchmark dataset for evaluating the performance of Natural Language to Visualization (NL2VIS) systems when handling ambiguous query scenarios.

原始信息汇总

nvBench 2.0: 自然语言到可视化模糊场景下的基准测试

简介

nvBench 2.0 是一个用于评估自然语言到可视化（NL2VIS）系统在处理模糊查询场景下的性能的基准测试。

数据使用

数据存储在 ./data/ 目录中。

数据集特点

• 支持从自然语言查询到多个可视化的映射。
• 明确建模查询模糊性。
• 提供解释模糊性解析的推理路径。
• 使用基于语言模型的方法生成自然且多样化的查询。

数据集统计

• 包含多种查询风格（命令、问题、标题）和各种图表类型。
• 平均查询长度约为14个单词。
• 包含多种模糊性模式，其中通道编码（CE）是最常见的模糊类型（88.06%），其次是数据转换（DT）模糊（46.00%）。

数据集引用

若使用 nvBench 2.0 对您的工作有帮助，请引用以下文献：

@article{luo2024nvbench2, author = {Luo, Tianqi and Huang, Chuhan and Shen, Leixian and Li, Boyan and Shen, Shuyu and Zeng, Wei and Tang, Nan and Luo, Yuyu}, title = {nvBench 2.0: A Benchmark for Natural Language to Visualization under Ambiguity}, }

数据集许可

此工作遵循 Creative Commons Attribution-ShareAlike 4.0 国际许可。

搜集汇总

数据集介绍

构建方式

nvBench 2.0数据集的构建，以自然语言到可视化（NL2VIS）系统在处理模糊查询场景下的性能评估为目标。该数据集通过设计一套模糊性注入的自然语言查询合成流程，将模糊性节点引入可视化树中，生成多个有效的可视化规范，并以此产生相应的模糊自然语言查询。整个构建过程分为模糊性感知的可视化树合成、可视化合成、自然语言合成以及推理路径合成四个步骤，从而形成了一个全面评价NL2VIS系统处理模糊查询能力的数据集。

特点

nvBench 2.0数据集的特点在于其支持从自然语言查询到可视化的一对多映射，显式建模查询的模糊性，并提供了推理路径以解释模糊性的解决过程。此外，该数据集利用语言模型生成自然且多样化的查询，包含了丰富的模糊模式，如通道编码和数据转换的模糊性，且多个样本中存在多种模糊性的组合，体现了现实世界可视化请求的复杂性。

使用方法

使用nvBench 2.0数据集时，用户可以参考数据集中的自然语言风格分布和词统计信息，这些信息有助于了解数据集的查询风格和长度分布。数据集的使用包括模糊性注入的可视化规范合成和自然语言查询生成，用户可以通过分析推理路径来理解系统如何逐步解决查询中的模糊性。此外，数据集还提供了性能评估的基准，便于研究者比较不同模型在处理模糊NL2VIS任务时的表现。

背景与挑战

背景概述

nvBench 2.0数据集，作为自然语言到可视化（NL2VIS）领域的一项重要研究工具，旨在评估NL2VIS系统在处理模糊查询场景下的性能。该数据集由Luo等人于2024年开发，隶属于自然语言处理与数据可视化交叉领域，核心研究问题是如何准确解读用户模糊的自然语言查询，并生成合适的可视化结果。nvBench 2.0的构建，不仅推动了NL2VIS技术的发展，也为相关领域的研究提供了新的视角和方法，具有重要的学术影响力。

当前挑战

该数据集面临的挑战主要包括：1）如何准确处理自然语言查询中的模糊性，例如数据层、图表类型、数据映射、数据转换等方面的不确定性；2）构建过程中，如何系统地在数据集中注入可控的模糊性，并生成与之对应的自然语言查询；3）如何设计有效的评估指标和模型，以准确衡量NL2VIS系统在处理模糊查询时的性能。这些挑战对于提升NL2VIS系统的实用性和泛化能力至关重要。

常用场景

经典使用场景

nvBench 2.0 数据集作为自然语言到可视化（NL2VIS）系统的评估工具，其经典使用场景在于对含有模糊查询的NL2VIS系统进行性能评测。该数据集通过引入模糊性，模拟现实世界中用户在表达可视化需求时使用的含糊不清的语言，从而测试系统处理这类查询的能力。

解决学术问题

该数据集解决了NL2VIS系统在处理用户模糊查询时遇到的学术研究问题，如数据选择、图表类型推理、数据到视觉通道的映射、数据转换和可视化合成等步骤中的模糊性处理。通过对这些问题的研究，有助于提高NL2VIS系统的智能推理和准确响应能力。

衍生相关工作

基于nvBench 2.0 数据集，研究者们衍生出了一系列相关工作，如Step-NL2VIS模型，该模型通过引入步骤优化，提高了在模糊NL2VIS任务中的性能。这些衍生工作进一步推动了NL2VIS领域的研究进展和技术发展。