facebook/lama
收藏资源简介：
LAMA数据集用于分析和探测预训练语言模型中的事实和常识知识。数据集包含多个配置，如google_re、trex、conceptnet和squad，每个配置都有特定的数据字段和用途。数据集的语言为英语，且为单语种。数据集的创建目的是为了探测语言模型的理解能力，数据来源包括Google_RE、TRex、Conceptnet和Squad等。数据集包含一些清理工作，并添加了用于[MASK]标记的掩码句子和相关答案。预测[MASK]标记的准确性显示了语言模型对事实和常识信息的了解程度。此版本的数据集还包括否定句子以及掩码句子。某些配置还包括模板和否定模板字段，形式为“[X] some text [Y]”，其中[X]和[Y]是某些关系的主语和宾语槽。
The LAMA dataset is designed for analyzing and probing factual and commonsense knowledge within pre-trained language models. It comprises multiple configurations including Google_RE, TREx, ConceptNet, and SQuAD, each with specific data fields and use cases. The dataset is an English-only monolingual corpus. It was developed to evaluate the understanding capabilities of language models, with data sourced from platforms including Google_RE, TREx, ConceptNet, and SQuAD among others. Standard data cleaning operations have been performed on the dataset, and masked sentences paired with corresponding answers marked with the [MASK] token have been incorporated. The accuracy of predicting the [MASK] token serves as an indicator of the extent to which a language model has acquired factual and commonsense knowledge. This iteration of the dataset additionally includes negative sentences alongside masked sentences. Certain configurations also provide template and negative template fields formatted as "[X] some text [Y]", where [X] and [Y] represent the subject and object slots for specific relational pairs.
数据集概述
数据集名称： LAMA: LAnguage Model Analysis
数据集目的： 用于探测和分析预训练语言模型中包含的事实和常识知识。
数据集构成： 包含来自Google_RE、TRex（Wikidata子集）、Conceptnet和Squad的数据。
语言： 英语（en）
许可证： CC-BY-4.0
多语言性： 单语
数据集大小：
- 小于1K
- 1K到10K
- 10K到100K
- 1M到10M
任务类别：
- 文本检索
- 文本分类
任务ID：
- 事实检查检索
- 文本评分
数据集配置：
- conceptnet
- google_re
- squad
- trex
数据集结构
数据实例：
- trex配置： 包含uuid、obj_uri、obj_label、sub_uri、sub_label、predicate_id等字段。
- conceptnet配置： 包含uuid、sub、obj、pred等字段。
- squad配置： 包含id、sub_label、obj_label等字段。
- google_re配置： 包含uuid、pred、sub、obj、evidences、judgments等字段。
数据字段：
- trex配置： uuid、obj_uri、obj_label、sub_uri、sub_label、predicate_id等。
- conceptnet配置： uuid、sub、obj、pred、obj_label等。
- squad配置： id、sub_label、obj_label等。
- google_re配置： uuid、pred、sub、obj、evidences、judgments等。
数据分割： 无明确数据分割信息。
数据集创建
来源数据： 数据来源于多个已有的数据集，经过清理和调整用于探测目的。
注释过程： 包含人群注释、专家生成和机器生成。
注释者： 人群注释者和机器注释。
使用数据注意事项
社会影响： 旨在探测语言模型的理解能力。
偏见讨论： 数据来自人群注释，可能存在偏见。
其他已知限制： 数据字段的原生文档有限。
