QASU

QASU数据集是一个用于评估大型语言模型（LLM）在处理问卷数据时的结构理解能力的基准数据集。该数据集由爱尔兰科克大学的研究团队创建，旨在解决传统问卷数据分析工具无法有效整合LLM的问题。QASU数据集包含六种序列化格式和多种提示策略，涵盖六个微任务，如答案查找、受访者计数和多跳推理等。通过系统隔离格式和提示效果，该数据集为LLM在问卷分析领域的应用提供了一个简单而通用的基础。

The QASU dataset is a benchmark dataset for evaluating the structural comprehension capabilities of Large Language Models (LLMs) when processing questionnaire data. Created by a research team at University College Cork, Ireland, this dataset aims to address the limitation that traditional questionnaire data analysis tools cannot effectively integrate LLMs. The QASU dataset includes six serialization formats and multiple prompting strategies, covering six micro-tasks such as answer retrieval, respondent counting, multi-hop reasoning, and so on. By systematically disentangling the effects of formatting and prompting, this dataset provides a simple yet universal foundation for the application of LLMs in the field of questionnaire analysis.

搜集汇总

数据集介绍

构建方式

在问卷调查数据日益成为决策支撑核心的背景下，QASU基准数据集通过系统化的构建流程实现了对多样化问卷数据的整合。研究团队从医疗、心理学、人机交互及软件工程等五个公开数据源中采集原始问卷表格，经过统一的结构化处理形成标准化的问答映射框架。为确保评估的严谨性，采用随机抽样策略控制输入长度，并引入系统化混淆机制对受访者标识和敏感数值变量进行匿名化处理，有效隔离了模型记忆效应与推理能力的评估。

特点

该数据集最显著的特征在于其多维度评估框架的设计，通过六种序列化格式和六类结构性任务构建出立体化的能力评估体系。问卷数据结构呈现出典型的异质性特征，涵盖李克特量表、多选题网格和开放式文本等多种应答类型，真实还原了现实场景中问卷数据的复杂形态。基准任务设计遵循认知递进原则，从基础答案查找到多跳关系推理，逐步考察模型对问卷结构的深层理解能力。严格的输出约束机制与确定性评分标准则确保了评估结果的可复现性与可比性。

使用方法

使用该数据集时需遵循结构化提示工程的最佳实践，通过序列化格式选择与提示增强策略的协同优化来提升模型性能。实践表明，采用单样本提示结合自增强技术能显著改善模型在复杂推理任务中的表现，其中HTML和Markdown格式在多数任务中展现出最佳兼容性。评估过程中应注重输入设计的系统性比较，包括格式说明、分区标记等关键要素的配置，同时通过自生成的辅助结构信息为模型提供认知支架。这种分层使用方法既保证了评估的严谨性，又为实际应用场景中的问卷分析任务提供了可迁移的技术路径。

背景与挑战

背景概述

QASU数据集由爱尔兰科克大学的研究团队于2025年创建，旨在解决大语言模型在问卷数据处理中的结构理解能力评估问题。该数据集聚焦于医疗、心理学、人机交互等领域的问卷数据，通过设计六种序列化格式和六类结构性任务，系统评估模型在答案查找、多跳推理等核心操作上的表现。其创新性在于首次将问卷数据的异构特性与模型输入设计相结合，为跨领域问卷分析提供了标准化评估框架。

当前挑战

QASU面临的挑战主要体现在领域问题与构建过程两个维度。在领域层面，问卷数据存在混合答案类型、嵌套问题结构和条件跳转逻辑等复杂性，要求模型具备异构数据解析与符号推理能力。构建过程中，序列化格式的多样性导致模型性能波动高达8.8%，且长问卷的上下文截断可能引发关键信息丢失。此外，隐私保护要求通过秩交换和选项扰动实现数据脱敏，这为保持数据统计特性带来技术挑战。

常用场景

经典使用场景

在问卷数据分析领域，QASU数据集主要用于评估大语言模型对结构化问卷数据的处理能力。该数据集通过六种序列化格式和多种提示策略，系统测试模型在答案查找、受访者计数和多跳推理等任务中的表现。研究显示，选择合适的序列化格式与提示组合可使模型准确率提升高达8.8%，为问卷数据的自动化分析提供了标准化评估框架。

衍生相关工作

QASU催生了多项基于结构理解的延伸研究，包括跨语言问卷处理框架和动态跳转逻辑建模。其序列化格式比较方法启发了医疗FHIR标准与LLM的适配研究，而自增强提示机制被拓展应用于教育评估问卷的实时分析系统。这些衍生工作共同推动了结构化数据与生成式AI的深度融合，为多模态问卷智能分析开辟了新方向。

数据集最近研究

最新研究方向

在问卷调查数据分析领域，QASU基准测试系统揭示了大型语言模型处理结构化问卷数据的前沿研究方向。当前研究聚焦于探索六种序列化格式（HTML、JSON、XML等）对模型理解能力的影响，实证表明格式选择可使准确率产生高达8.8%的差异。自增强提示技术通过引导模型生成结构化线索，在逆向答案查找等复杂任务中实现3-4%的性能提升。该研究突破传统问卷分析工具的设计局限，为医疗健康、市场调研等高风险领域提供了可验证的模型集成方案，推动人工智能在结构化数据理解范式上的革新。

相关研究论文

• Questionnaire meets LLM: A Benchmark and Empirical Study of Structural Skills for Understanding Questions and Responses

  爱尔兰科克大学 · 2025年