SBS Figures

SBS Figures是由京都大学和日本欧姆龙新科X公司联合创建的一个用于预训练图表问答（Figure QA）的大规模合成数据集。该数据集包含100万张图表图像，每张图像都配有精确的可视化数据标注和密集的问答对。数据集的创建过程采用分阶段生成引擎，确保了图表的多样性和无代码错误。该数据集主要用于训练能够理解图表信息的模型，旨在解决文档自动化理解中的图表解读问题。

SBS Figures is a large-scale synthetic dataset dedicated to pre-training Figure QA, jointly created by Kyoto University and Omron Shinco X Corporation of Japan. This dataset contains 1 million chart images, each accompanied by precise visual data annotations and dense question-answer pairs. The dataset was constructed using a staged generation engine, which guarantees the diversity of the charts and eliminates coding errors. This dataset is primarily designed to train models capable of comprehending chart information, with the goal of addressing chart interpretation challenges in automated document understanding.

搜集汇总

数据集介绍

构建方式

SBS Figures数据集通过一个创新的阶段式生成管道构建，该管道将图表生成过程分为三个模块：数据生成、图表渲染和问答对生成。首先，利用大型语言模型（LLM）生成可视化数据，随后通过预定义的Python代码将这些数据渲染为图表。最后，基于生成的数据自动生成密集的问答对。该方法不仅避免了手动标注的繁琐过程，还通过分阶段生成确保了图表的多样性和代码的准确性，从而实现了高效的大规模图表生成。

使用方法

SBS Figures数据集适用于预训练图表理解模型，尤其适用于需要处理大量图表数据的任务。用户可以通过预训练模型在真实世界的图表数据上进行微调，从而提升模型的性能。数据集的问答对设计涵盖了多种推理技能，如数据提取、计算和颜色识别，适合用于训练多模态模型。此外，数据集的代码和生成管道已公开，便于研究人员进一步扩展和优化。

背景与挑战

背景概述

SBS Figures数据集由日本京都大学和OMRON SINIC X公司联合开发，旨在解决大规模图表问答（Figure QA）数据集构建中的挑战。该数据集通过分阶段合成图像的流程，生成了包含100万张图表图像及其密集问答对的数据集。SBS Figures的核心研究问题是如何高效地生成多样化且无错误的图表图像，并为其自动生成准确的问答对，从而减少人工标注的负担。该数据集的提出不仅推动了文档理解领域的自动化进程，还为图表理解模型的预训练提供了强有力的支持，展示了在真实世界图表数据上的显著预训练效果。

当前挑战

SBS Figures数据集的构建面临多重挑战。首先，图表的生成需要避免代码错误、相似外观和重复内容，这要求生成流程具备高度的多样性和可靠性。其次，问答对的生成需要准确反映图表中的信息，且无需依赖光学字符识别（OCR），这对生成模型的推理能力提出了较高要求。此外，数据集的规模和多样性也是一大挑战，如何在有限的计算资源下生成大规模、多样化的图表及其问答对，是该数据集构建过程中需要克服的关键问题。

常用场景

经典使用场景

SBS Figures数据集的经典使用场景主要集中在图表理解和问答任务中。该数据集通过合成的方式生成大量多样化的图表图像，并为其配备详细的问答对，使得模型能够在无需人工标注的情况下进行高效的预训练。这种预训练方式特别适用于需要对图表进行复杂推理的场景，如文档理解、数据可视化分析等。

解决学术问题

SBS Figures数据集解决了传统图表问答数据集在数据量和多样性上的不足问题。通过合成生成的方式，该数据集不仅提供了大规模的图表图像，还生成了高质量的问答对，涵盖了多种推理任务，如数值计算、颜色识别和趋势分析等。这为研究者提供了一个强大的工具，用于训练和评估图表理解模型，推动了多模态学习和文档智能领域的发展。

实际应用

SBS Figures数据集在实际应用中具有广泛的前景，特别是在自动化文档处理和数据分析领域。例如，在金融报告中，模型可以通过理解图表中的数据趋势来生成自动化的分析报告；在医疗领域，模型可以帮助医生快速解读复杂的医疗数据图表，辅助诊断决策。此外，该数据集还可用于教育、市场分析等多个领域，提升数据可视化分析的自动化水平。

数据集最近研究

最新研究方向

SBS Figures数据集的最新研究方向主要集中在通过分阶段合成图像来预训练图表问答（Figure QA）模型。该数据集通过一个创新的阶段式生成管道，能够高效地创建包含多样化主题和视觉风格的图表图像，并生成密集的问答对，无需人工标注。这一方法不仅解决了传统数据集在图表生成和标注上的高成本问题，还显著提升了模型在真实世界图表数据上的预训练效果。研究者们正在探索如何通过优化数据集的多样性、问答对的质量以及任务提示等因素，进一步提升预训练模型的性能。此外，SBS Figures的公开发布为未来的图表理解与问答研究提供了强有力的支持，尤其是在多模态模型和视觉语言模型的预训练领域。

相关研究论文

• SBS Figures: Pre-training Figure QA from Stage-by-Stage Synthesized Images

  京都大学，日本欧姆龙新科X公司 · 2024年