InsQABench

InsQABench是由华中科技大学、复旦大学和紫金山实验室联合创建的中文保险领域问答基准数据集，旨在解决保险领域复杂术语和多样化数据类型的挑战。该数据集包含54436条数据，分为保险常识知识、保险结构化数据库和保险非结构化文档三类，涵盖了从基础概念到复杂法律条款的广泛内容。数据来源包括保险公司官方网站和公共在线资源，采用半自动化方法收集和分类。该数据集的应用领域主要集中在保险领域的自然语言处理任务，特别是问答系统的性能提升和模型微调。

InsQABench is a Chinese insurance domain question answering benchmark dataset jointly created by Huazhong University of Science and Technology, Fudan University, and Purple Mountain Laboratories, which aims to address the challenges posed by complex terminology and diverse data types in the insurance field. This dataset includes 54,436 entries, divided into three categories: insurance common sense knowledge, insurance structured databases, and insurance unstructured documents, covering a wide range of content from basic concepts to complex legal clauses. The data is sourced from official websites of insurance companies and public online resources, and collected and classified through a semi-automated approach. Its application areas mainly focus on natural language processing tasks in the insurance domain, especially the performance improvement of question answering systems and model fine-tuning.

原始信息汇总

InsQABench 数据集概述

数据集简介

InsQABench 是由华中科技大学 VLR Lab 开发并开源的中文保险数据集，包含三个任务：保险常识问答、保险数据库问答和保险合同问答。该数据集专为普通用户群体和应用场景设计，旨在提升模型在保险领域的理解能力和回答精准性。

任务描述

• 保险常识问答：聚焦基础的保险常识，涵盖保险基本概念和术语。
• 保险数据库问答：专注于从结构化保险数据库中检索信息。
• 保险合同问答：处理复杂的保险合同，从非结构化数据中检索、解释和提取关键信息。

数据集构建

• 保险常识问答：使用互联网收集的问题和 GPT3.5 生成的回答作为训练集，Insurance_QA_zh 数据集作为测试集。
• 保险合同问答：从互联网下载的保险公司 PDF 格式保险条款，使用 Adobe PDF Extract API 解析后生成 QA 对，构成训练集和测试集。

数据集组成

• 基本保险知识问答
  • 训练集：BX_GPT3.5，规模 10k
  • 测试集：Insurance_QA_zh，规模 3k
• 保险合同问答
  • 训练集：保险合同，规模 40k
  • 测试集：保险合同，规模 100
• 保险数据库问答
  • 训练集：保险合同，规模 44k
  • 测试集：保险合同，规模 546

模型评测

构建了评估体系，从客观和主观两个维度对模型性能进行评估。客观评估使用 BLEU-4、ROUGE-l 分数，主观评估通过模拟真实用户查询场景进行打分。

协议

InsQABench 可在 Apache 许可证下使用。

搜集汇总

数据集介绍

构建方式

InsQABench数据集的构建旨在解决中国保险行业领域内大型语言模型（LLMs）应用的挑战。该数据集由华中科技大学、复旦大学和紫金山实验室的研究人员合作完成，通过从各个保险公司的官方网站和公共在线资源中收集大量保险相关信息，采用半自动化方法进行分类。数据集分为三个主要类别：保险常识知识（ICK）、保险结构化数据库（ISD）和保险非结构化文档（IUD），分别涵盖了保险行业的静态知识和动态知识。ICK包含了保险的基本概念、术语和原则，为保险行业新手和公众提供易于理解的入门知识；ISD包含了保险公司和产品的结构化信息，存储在SQL数据库中，便于查询和分析保险统计数据；IUD则包含了保险条款、法律法规等非结构化文档，为保险营销人员、产品开发人员和监管机构提供深入和权威的信息。通过对这些数据进行细化和标注，构建了一个全面的保险知识管理系统，为LLMs在保险领域的应用提供了坚实的基础。

使用方法

使用InsQABench数据集，研究人员可以测试和改进自然语言处理（NLP）模型在保险领域的性能。首先，需要将LLMs在InsQABench数据集上进行监督微调（SFT），以提高模型理解保险相关数据和回答基本保险查询的能力。然后，针对保险数据库问答任务，可以使用SQL-ReAct方法进行微调，以使模型能够构建准确的SQL查询，与结构化保险数据库进行交互，并迭代地改进查询结果以获得精确的答案。对于保险条款问答任务，可以使用RAG-ReAct方法进行微调，以使模型能够有效地检索、解释和提取关键信息，如保险条款和法规文本。通过这些方法，研究人员可以评估模型在处理保险领域的特定术语和复杂条款文本时的性能，并为LLMs在保险领域的应用提供坚实的基础。

背景与挑战

背景概述

InsQABench是一个针对中国保险行业的问答基准数据集，由华中科技大学、复旦大学和紫金山实验室的研究人员于2025年创建。该数据集旨在解决大型语言模型在处理保险领域特定术语和复杂数据类型时的挑战，为推动大型语言模型在保险领域的应用提供基础。InsQABench数据集分为三个类别：保险常识知识、保险结构化数据库和保险非结构化文档，反映了现实世界的保险问答任务。该数据集的创建为保险行业提供了一个多方面的知识系统，包括静态知识和动态知识，为保险知识管理提供了一个可扩展和全面的解决方案。

当前挑战

InsQABench数据集面临的挑战包括：1)所解决的领域问题：大型语言模型在处理保险领域特定术语和复杂数据类型时的挑战。2)构建过程中所遇到的挑战：保险数据的碎片化性质，以及复杂术语和不断变化的法规带来的障碍。为了解决这些挑战，研究人员采用半自动化的方法收集了大量与保险相关的信息，并将其分类为三个主要类别：保险常识知识、保险结构化数据库和保险非结构化文档。这些挑战为推动大型语言模型在保险领域的应用提供了重要机遇。

常用场景

经典使用场景

InsQABench数据集被设计为中文保险领域问答任务的基准，涵盖了保险常识知识、保险结构化数据库和保险非结构化文档三个主要类别。该数据集的构建旨在模拟真实世界的保险问答场景，使得模型能够更好地理解和回答涉及保险专业术语和复杂条款文本的问题。通过在InsQABench上进行微调，大型语言模型（LLMs）在处理保险领域特定术语和细微差别条款文本方面取得了显著改进，从而提高了模型的性能和准确性。

解决学术问题

InsQABench数据集解决了在保险领域应用LLMs时遇到的一些关键学术研究问题。首先，它提供了一个标准化的基准，用于评估和比较不同模型在保险问答任务上的性能。其次，该数据集揭示了LLMs在处理保险领域特定术语和复杂条款文本方面的挑战，并展示了微调对提高模型性能的有效性。此外，InsQABench还提出了SQL-ReAct和RAG-ReAct两种方法，分别用于处理结构化和非结构化数据任务，为LLMs在保险领域的应用提供了新的思路和方法。

实际应用

InsQABench数据集在实际应用场景中具有广泛的应用前景。例如，保险公司可以利用该数据集来开发和训练智能客服系统，以自动回答客户关于保险产品和服务的常见问题。此外，保险代理人和经纪人可以利用该数据集来提高自己的专业知识和技能，以便更好地为客户提供咨询和服务。此外，InsQABench还可以用于研究和开发其他保险领域的应用，例如风险评估、理赔处理和产品开发等。

数据集最近研究

最新研究方向

在自然语言处理（NLP）领域，大型语言模型（LLM）在处理特定领域的复杂知识和数据类型方面面临挑战。InsQABench数据集的提出旨在解决这些问题，特别是在中国保险行业。该数据集分为三个类别：保险常识知识、保险结构化数据库和保险非结构化文档，涵盖了真实世界的保险问答任务。为了应对结构化和非结构化数据任务中的挑战，InsQABench提出了SQL-ReAct和RAG-ReAct两种方法。评估表明，虽然LLM在处理特定领域的术语和细微的条款文本方面存在困难，但在InsQABench上进行微调可以显著提高性能。这一基准为推进LLM在保险领域的应用奠定了坚实的基础，并提供了数据和代码以供研究和使用。

相关研究论文

• InsQABench: Benchmarking Chinese Insurance Domain Question Answering with Large Language Models

  华中科技大学, 复旦大学, 紫金山实验室 · 2025年