rlacombe/ClimateX

ClimateX数据集是一个新颖的、经过专家标注的自然语言数据集，包含从IPCC第六次评估报告中提取或改写的8094条气候声明。每条声明都标注了来源报告、页码以及由IPCC气候科学家评估的置信度等级（低、中、高、非常高）。该数据集旨在帮助NLP和气候传播研究人员评估LLM在评估IPCC报告中气候科学声明的人类专家置信度方面的表现。数据集构建过程包括从PDF中提取文本、标准化空白、分词、筛选包含置信度标签的句子，并进一步选择300条声明作为测试集。

原始信息汇总

数据集概述

数据集名称

• ClimateX – Expert Confidence in Climate Statements

数据集描述

• ClimateX 是一个由专家标注的自然语言数据集，包含8094条从IPCC第六次评估报告（Working Group I, II, III）中提取或改写的声明。
• 每条声明均标注了来源报告、页码及专家根据现有证据和同行共识评估的信心水平（低、中、高、非常高）。

数据集构建

• 数据集通过提取IPCC报告的完整文本，使用pypdf2和NLTK进行文本处理和句子分割，筛选出包含信心标签的完整句子。
• 最终数据集包含8094条标注句子，其中300条被选为测试集，其余7794条为训练集。

数据集用途

• 用于评估大型语言模型（LLMs）在零样本设置下对气候科学声明中专家信心水平的分类能力。
• 研究表明，模型如gpt3.5-turbo和gpt4在零样本设置下能合理准确地评估信心水平，但倾向于高估低和中信心标签的确定性。

数据集特点

• 数据集利用IPCC报告中的结构化框架来标注不确定性，有助于NLP和气候通信研究者评估模型性能。
• 数据集的构建确保了测试集在信心类别和报告来源上的代表性，以保证结果的统计稳健性。

数据集规模

• 数据集规模：8094条标注句子。
• 测试集规模：300条句子。
• 训练集规模：7794条句子。

数据集许可

• MIT 许可。

搜集汇总

背景与挑战

背景概述

ClimateX数据集是一个包含8094条语句的文本数据集，这些语句提取自IPCC第六次评估报告（AR6），每条语句都标注了由IPCC气候科学家评估的置信度级别（低、中、高、非常高）。该数据集旨在为NLP和气候传播研究提供资源，用于评估大型语言模型对人类专家在气候科学陈述中置信度的理解能力。