ORD-QA

ORD-QA数据集由香港中文大学、ChatEDA Tech和上海人工智能实验室联合创建，专门用于评估电子设计自动化（EDA）工具文档的问答系统。该数据集包含90个高质量的问题-文档-答案三元组，涵盖了VLSI流程查询、命令/选项使用、安装指南和GUI使用等多种查询类型。数据集的创建过程结合了EDA领域的专业知识，通过对比学习等技术对文本嵌入模型进行了微调，以提高其在EDA特定上下文中的性能。ORD-QA数据集主要应用于EDA工具文档的自动化问答系统，旨在提高用户查询的准确性和效率。

The ORD-QA dataset was co-developed by The Chinese University of Hong Kong, ChatEDA Tech, and the Shanghai AI Laboratory, and is specifically designed for evaluating question answering systems for electronic design automation (EDA) tool documentation. This dataset contains 90 high-quality question-document-answer triplets, covering a wide range of query categories including VLSI flow queries, command/option usage, installation guides, and GUI operation scenarios. The construction of the ORD-QA dataset integrates professional expertise from the EDA domain, and fine-tunes text embedding models via techniques such as contrastive learning to improve their performance in EDA-specific contextual scenarios. The ORD-QA dataset is primarily utilized for automated question answering systems targeting EDA tool documentation, aiming to enhance the accuracy and efficiency of user query responses.

原始信息汇总

RAG-EDA 数据集概述

目录结构

• benchmark
  • ORD-QA.jsonl: 包含90个问题-参考-答案三元组的ORD-QA基准数据集。
  • openroad_documentation.json: OpenROAD文档片段。
• training_dataset
  • generator_dataset
    • eda_corpus_pretrain.jsonl: 用于生成器预训练的语料库。
    • QA_finetuning_v1v2amend1.jsonl: 用于生成器微调的语料库。
  • reranker_dataset
    • openroad_pos_neg_backup_data.jsonl: 用于重排序器微调的语料库。
  • text-embedding-model_dataset
    • embedding_contrastive_corpus.csv: 用于文本嵌入模型微调的语料库。

ORD-QA 数据集示例

json { "id": 67, "type": "functionality", "question": " Once the design is routed, how can I estimate the parasitics? ", "ref_num": 1, "reference": [ "global_routing_12" ], "reference_content": [ "id:global_routing_12

Estimate Global Routing Parasitics

To estimate RC parasitics based on global route results, use the -global_routing option of the estimate_parasitics command.

{note} To see the function definition for estimate_parasitics, refer to Resizer docs.

tcl estimate_parasitics -global_routing

Commands

{note}

• Parameters in square brackets [-param param] are optional.
• Parameters without square brackets -param2 param2 are required.

" ], "answer": " You can estimate the parasitics after global routing by running:\n\ntcl\nestimate_parasitics -global_routing\n\n\n " }

• id: QA的唯一标识符。
• type: 问题的类型，共有三种类型：functionality, vlsi_flow, gui & installation & test。
• question: 问题内容。
• ref_num: 用于回答问题的文档数量。
• reference: 相关文档的标识符。
• reference_content: 相关文档的内容。
• answer: 答案内容。

搜集汇总

数据集介绍

构建方式

ORD-QA数据集的构建过程首先涉及将OpenROAD文档分割成290个大小合理的块，然后从中随机抽取1至5个文档块作为参考文档。基于这些文档块，使用GPT-4生成与EDA相关的用户问题，并分析问题以生成相应的答案。每个生成的问答对都经过严格的手动审查，以确保逻辑一致性和准确性。此外，还手动创建了关于OpenROAD文档的实用用户查询和准确答案，以进一步丰富数据集。最终，ORD-QA数据集包含了90个高质量的问答对，涵盖了各种查询类型，包括VLSI流程查询、命令/选项使用、安装指南和GUI使用。

特点

ORD-QA数据集的特点在于其高质量和高相关性。数据集中的问题都是基于实际用户可能遇到的场景，因此具有很高的实用价值。此外，数据集中的每个问题都经过严格的手动审查，确保了答案的准确性和可靠性。这使得ORD-QA数据集成为评估和训练EDA工具文档问答系统的理想选择。

使用方法

使用ORD-QA数据集的方法主要包括两个方面：评估和训练。首先，可以使用数据集中的问答对来评估问答系统的性能。通过计算生成答案与真实答案之间的相似度指标，如BLEU、ROUGE-L和UniEval，可以评估问答系统的准确性和可靠性。其次，可以使用数据集中的问答对来训练问答系统。通过将问答对输入到问答系统中，可以训练系统学习如何生成准确的答案。此外，还可以使用数据集中的文档块来训练文本嵌入模型和重排序器模型，以增强问答系统的检索和过滤能力。

背景与挑战

背景概述

电子设计自动化（EDA）工具在电子系统设计、分析和验证中发挥着关键作用。随着半导体制造业需求的增长和技术节点的进步，EDA工具支持复杂的设计流程，具有各种功能和命令。然而，这些工具的详细文档对于用户来说往往难以理解。为了改善用户体验和开发效率，本研究提出了一个定制的检索增强生成（RAG）框架，用于解决EDA工具文档问答的挑战。该框架包括三个特定领域的技术：用于文本嵌入模型微调的对比学习方案、从私有LLM中提取的排序器以及使用高质量领域语料库微调的生成LLM。此外，还开发并发布了ORD-QA评估基准，用于评估OpenROAD高级RTL-to-GDSII设计平台的文档问答性能。实验结果表明，与现有技术相比，该框架在ORD-QA和商业工具上均取得了优异的性能。

当前挑战

尽管RAG技术在文档问答领域取得了显著进展，但在应用于知识密集型垂直领域（如EDA）时，仍面临重大挑战。首先，现有的文本嵌入模型缺乏对EDA术语和概念的理解，导致检索准确性降低。其次，现有的排序器模型无法准确区分相关和弱相关的文档。最后，现有的生成LLM缺乏EDA领域知识，导致回答生成质量不足。为了解决这些挑战，本研究提出了一种定制的RAG框架，并通过对比学习、私有LLM提取和领域语料库微调来优化各个组件。此外，还开发了ORD-QA评估基准，以促进EDA工具文档问答领域的研究和开发。

常用场景

经典使用场景

ORD-QA数据集主要用于电子设计自动化(EDA)工具文档的问答(QA)任务，特别是在OpenROAD这一高级RTL-to-GDSII设计平台上。该数据集提供了高质量的问答对，覆盖了功能、VLSI流程、GUI和安装测试等多种查询类型，为研究者提供了评估和改进RAG流程的基准。

解决学术问题

ORD-QA数据集解决了将通用RAG流程应用于知识密集型垂直领域，如EDA，时遇到的挑战。现有的RAG组件缺乏EDA专业知识，导致在EDA特定上下文中性能不佳。ORD-QA通过定制化的RAG框架和领域特定技术，包括对比学习方案、从私有LLM中提取的reranker和用高质量领域语料库微调的生成LLM，有效地提高了RAG流程在EDA工具文档QA任务中的性能。

衍生相关工作

ORD-QA数据集的发布促进了相关领域的研究和发展。它不仅为EDA工具文档QA任务提供了一个可靠的评估基准，还为其他知识密集型垂直领域的文档问答系统提供了参考和灵感。基于ORD-QA的研究成果可以进一步推动RAG技术在更多领域的应用，例如医疗、法律、金融等。