Hakka Cultural Knowledge Cognitive Domain Dataset

Hakka Cultural Knowledge Cognitive Domain Dataset是由国立联合大学开发的一个综合性数据集，旨在评估大型语言模型（LLMs）在理解和处理客家文化知识方面的表现。该数据集包含10,158个问题，涵盖了客家文化的各个方面，如语言、建筑、饮食和节日等。数据集的创建过程结合了Bloom’s Taxonomy的六个认知层次和Retrieval-Augmented Generation（RAG）技术，确保了对LLMs在文化认知任务中的全面评估。该数据集主要应用于AI驱动的文化知识保存和传播领域，旨在解决文化误解和偏见问题，促进多元文化的准确传播。Hakka Cultural Knowledge Cognitive Domain Dataset is a comprehensive dataset developed by National United University, designed to assess the performance of Large Language Models (LLMs) in comprehending and processing Hakka cultural knowledge. The dataset contains 10,158 questions covering all dimensions of Hakka culture, including language, architecture, cuisine, festivals and other related aspects. The construction of this dataset integrates the six cognitive levels of Bloom’s Taxonomy and Retrieval-Augmented Generation (RAG) technology, ensuring a comprehensive evaluation of LLMs in cultural cognitive tasks. This dataset is primarily applied in the field of AI-driven cultural knowledge preservation and dissemination, with the goals of resolving cultural misunderstandings and biases, and promoting the accurate dissemination of diverse cultures.

搜集汇总

数据集介绍

构建方式

该数据集的构建方法是通过整合Bloom’s Taxonomy和Retrieval-Augmented Generation (RAG)技术，从Hakka Culture Encyclopedia和Taiwan Ministry of Education’s Hakka Knowledge Base中选取文本，设计出覆盖Bloom’s Taxonomy六个认知层次的问题集，并利用RAG技术增强模型对文化知识的理解和应用能力。

特点

该数据集的特点在于：1) 基于Bloom’s Taxonomy框架，全面评估LLMs在理解、应用、分析、评价和创造等不同认知层次上的表现；2) 利用RAG技术，动态检索外部知识库信息，提高回答的准确性和相关性；3) 覆盖Hakka文化的各个方面，包括语言、建筑、饮食和节日等。

使用方法

使用该数据集的方法包括：1) 作为LLMs训练和测试的基准，评估模型在不同认知层次上的性能；2) 利用RAG技术增强模型对文化知识的理解和应用；3) 通过定量分析模型在各个认知层次上的准确率，为模型优化提供依据。

背景与挑战

背景概述

Hakka Cultural Knowledge Cognitive Domain Dataset是由Chen-Chi Chang等研究人员于2024年提出的一个全面的基准测试数据集，专注于评估大型语言模型(LLM)在理解和处理文化知识方面的性能。该数据集以台湾的客家文化为案例研究，利用Bloom's Taxonomy的六个认知域：Remembering、Understanding、Applying、Analyzing、Evaluating和Creating，系统地评估LLM在这六个认知域对客家文化知识的理解程度。该研究旨在探究LLM是否能够充分理解和应用客家文化知识，这对于准确的文化保存和传播至关重要。

当前挑战

该数据集构建过程中遇到的挑战包括：1) 客家文化知识的稀缺性，导致构建全面的知识库较为困难；2) 如何确保数据集中的问题能够全面覆盖Bloom's Taxonomy的六个认知域；3) 如何利用Retrieval-Augmented Generation (RAG)技术提高LLM在处理客家文化知识时的准确性和可靠性；4) 在创造性的任务中，如何平衡RAG技术的作用，以优化LLM的性能。

常用场景

经典使用场景

该数据集经典使用场景描述为：评估大型语言模型（LLM）在理解和处理文化知识方面的性能，特别是针对台湾客家文化作为案例研究。通过采用Bloom's Taxonomy的六个认知域：Remembering、Understanding、Applying、Analyzing、Evaluating和Creating，设计多维度的问题集，以全面评估LLM在不同认知层次上对客家文化知识的理解和应用能力。

解决学术问题

该数据集解决学术研究问题包括：1) 如何准确评估LLM在处理特定文化知识方面的性能；2) 如何通过增强检索和生成能力来提升LLM在文化知识任务上的表现；3) 如何构建适用于少数文化知识评估的测试数据集。

衍生相关工作

衍生的相关工作包括：1) 基于该数据集的性能评估，进一步优化LLM模型；2) 开发新的文化知识评估方法和工具；3) 探索LLM在处理其他少数文化知识方面的应用和挑战。