Qiskit/Qiskit-QuantumKatas

该数据集包含350个量子计算任务，这些任务是从Microsoft的QuantumKatas（原为Q#）翻译到Qiskit（Python）的。它旨在评估大型语言模型生成正确量子计算代码的能力。数据集支持代码生成和量子算法实现等任务，涵盖了26个量子计算任务类别，包括基本门、叠加态、测量、Deutsch-Jozsa算法、Grover算法、量子傅里叶变换等。每个任务都有唯一的任务ID、自然语言描述、参考实现、单元测试和入口点函数名称。数据集的结构清晰，适用于评估模型在量子计算领域的代码生成能力。This dataset contains 350 quantum computing tasks translated from Microsofts QuantumKatas (originally in Q#) to Qiskit (Python). It is designed for evaluating LLMs on their ability to generate correct quantum computing code. The dataset supports tasks such as code generation and quantum algorithm implementation, covering 26 categories of quantum computing tasks including BasicGates, Superposition, Measurements, Deutsch-Jozsa algorithm, Grovers algorithm, Quantum Fourier Transform, etc. Each task has a unique task ID, natural language description, reference implementation, unit tests, and entry point function name. The dataset is well-structured and suitable for evaluating model performance in quantum computing code generation.

搜集汇总

数据集介绍

构建方式

量子计算作为前沿计算范式，在算法设计与代码实现层面具有极高复杂度。Qiskit-QuantumKatas数据集通过将微软QuantumKatas项目中350道Q#编程练习系统性迁移至Qiskit框架构建而成，保留了原习题集中的26个量子计算主题类别，涵盖基础门操作、Deutsch-Jozsa算法、Grover搜索、量子傅里叶变换等核心领域。每一道任务均包含自然语言指令描述、函数签名提示、标准参考解答以及基于Qiskit Statevector模拟器的单元测试代码，构成了完整的代码生成评测闭环。

特点

该数据集突出体现了面向大型语言模型评估的专业性设计。350个样本平均分布于26个量子计算子领域，从单量子比特门到量子纠错、量子游戏等高级主题，难度梯度合理。每条数据由任务标识符、提示文本、规范解决方案、测试代码和入口函数名五个结构化字段组成，便于自动化评测。特别地，测试代码直接调用Qiskit的量子态向量模拟器进行正确性验证，确保生成代码的语法与语义双重准确性。

使用方法

研究人员可通过HuggingFace datasets库一键加载数据集，调用load_dataset('Qiskit/qiskit-quantumkatas')获取测试集。使用基本模式为：提取prompt字段作为模型输入，让模型生成对应的canonical_solution代码，随后将模型输出与test字段中的测试代码组合执行。评测脚本需导入numpy、QuantumCircuit、Statevector等Qiskit核心模块，通过捕获异常判断测试通过与否。完整评测还依赖社区提供的基准测试框架，最低要求Python 3.10及Qiskit 2.0以上版本。

背景与挑战

背景概述

量子计算作为下一代计算范式，其编程复杂性对开发者提出了严峻挑战，而大语言模型在代码生成领域的突破为降低量子编程门槛提供了新思路。为系统性评估大语言模型在量子计算代码生成任务上的能力，Juan Cruz-Benito与Ismael Faro于2026年创建了Qiskit-QuantumKatas数据集。该数据集源自微软的QuantumKatas，将350个量子计算习题从Q#语言迁移至Qiskit（Python），涵盖基础门操作、量子傅里叶变换、Grover搜索算法、量子纠错等26个核心领域。作为首个专注于量子计算代码生成的基准数据集，它不仅为评估模型在量子算法实现、量子电路构建等任务上的表现提供了标准化测试平台，还促进了量子计算与人工智能的交叉融合，对推动量子编程自动化及量子计算教育普及具有重要价值。

当前挑战

该数据集的核心挑战在于解决两大领域难题。其一，量子编程的语义复杂性：量子算法涉及叠加态、纠缠态、测量坍缩等独特概念，要求生成的代码必须严格遵循量子力学规则并实现对量子门的精确操控，这对大语言模型理解量子逻辑并生成可运行代码构成根本性障碍。其二，跨语言迁移的准确性：将QuantumKatas从Q#翻译至Qiskit时，需确保功能等价且适应Python语法与Qiskit库的特定接口，而350个任务中部分涉及复杂量子协议（如量子相位估计、BB84密钥分发），翻译错误可能破坏习题的完整性。此外，构建过程中还需平衡习题难度分级与类别覆盖度，以避免模型能力评估出现偏差或过拟合现象。

常用场景

经典使用场景

在量子计算与人工智能交叉的前沿领域，Qiskit-QuantumKatas数据集为评估大语言模型在量子计算代码生成任务上的能力提供了标准化的测试基准。该数据集包含350个精心设计的量子计算习题，全面覆盖了基础量子门操作、量子算法实现、量子纠错、量子密钥分发等26个核心领域。研究者可基于自然语言描述与函数签名，引导模型生成符合Qiskit语法的Python代码，并通过内置的状态向量模拟器单元测试验证代码的量子逻辑正确性，从而精准评测模型对量子计算概念的理解与编码能力。

解决学术问题

该数据集的构建弥合了量子计算教育与人工智能评估之间的鸿沟，解决了长期以来缺乏针对量子领域代码生成能力量化评测标准的学术难题。传统编程基准测试多聚焦于经典计算范式，而量子计算的叠加、纠缠与干涉等独特概念对模型提出了更高阶的认知挑战。通过将微软QuantumKatas习题从Q#语言移植至Qiskit生态，数据集使得研究者能够系统性地探究大语言模型是否能够理解并正确实现诸如Deutsch-Jozsa算法、Grover搜索、量子傅里叶变换等核心量子协议，进而推动代码生成模型从经典领域向量子领域的范式迁移。

衍生相关工作

该数据集衍生了一系列具有深远影响的研究工作，包括但不限于面向量子代码生成的专项微调策略、基于思维链提示的量子算法推理增强方法，以及多语言量子编程模型的对比分析。研究者借鉴HumanEval与MBPP等经典基准的评估范式，开发了适用于量子领域的pass@k指标计算框架，并探索了通过迁移学习将经典代码生成知识迁移至量子编程场景的有效路径。这些工作共同勾勒出量子计算与大规模语言模型交叉方向的研究蓝图，为未来的量子软件智能化开发奠定了理论和实验基础。