Pinocchio 匹诺曹事实知识评估数据集

Pinocchio 数据集是由清华大学、伊利诺伊大学芝加哥分校和剑桥大学的研究人员联合创建的，其目的在于全方位评测大型语言模型 (LLMs) 在事实知识存储以及推理能力上的表现。

The Pinocchio Dataset was jointly developed by researchers from Tsinghua University, the University of Illinois Chicago, and the University of Cambridge, with the aim of comprehensively evaluating the performance of Large Language Models (LLMs) in terms of factual knowledge storage and reasoning abilities.

搜集汇总

背景与挑战

背景概述

Pinocchio数据集由多所高校联合开发，旨在全面评估大型语言模型的事实知识与推理能力。它包含20,000个多样化的事实问题，通过7项任务测试模型在多事实推理、知识处理及抗干扰等方面的表现。