amydeng2000/CREAK

Name: amydeng2000/CREAK
Creator: amydeng2000
Published: 2023-02-24 01:13:57
License: 暂无描述

Hugging Face2023-02-24 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/amydeng2000/CREAK

下载链接

链接失效反馈

官方服务：

资源简介：

Home page & Original source: https://github.com/yasumasaonoe/creak

提供机构：

amydeng2000

原始信息汇总

数据集概述

数据集来源

原始来源：https://github.com/yasumasaonoe/creak

CREAK

为了探索模型将实体知识与常识推理相结合的能力，引入了CREAK数据集。它建立了关于实体的事实细节（例如，像哈利·波特这样的巫师擅长骑扫帚飞行）与常识推理原则（例如，擅长某项技能就可以教别人）之间的联系。这一过程产生了推理查询（例如，哈利·波特是否能够教授骑扫帚飞行）。

github2021-09-01 更新1250

CREAK

CREAK是一个旨在评估自然语言处理模型在实体理解和常识推理方面能力的数据集。该数据集由德克萨斯大学奥斯汀分校的研究人员创建，包含13,000个人工编写的关于实体的英语陈述，这些陈述被标记为真或假。数据集的创建过程涉及众包工作者基于维基百科实体生成陈述，鼓励从零开始创造性编写，以确保陈述结合了实体知识和常识。CREAK数据集的应用领域包括测试模型对实体知识的检索能力和未明确说明的常识知识，旨在解决

arXiv2021-09-04 更新190

presencesw/creak

--- dataset_info: features: - name: question dtype: string - name: choice dtype: string - name: answer dtype: string - name: cot dtype: string splits: - name: train n

Hugging Face2023-11-24 更新60

CREAK

我们介绍了 CREAK，一个关于实体知识的常识推理测试平台，将关于实体的事实检查（哈利波特是一个巫师，擅长骑扫帚）与常识推理（如果你擅长一项技能，你可以教别人如何去做吧）。我们的数据集包含 13k 个人类撰写的关于实体的真实或虚假的英语声明，以及一个小的对比集。群众工作者可以很容易地提出这些陈述，并且人类在数据集上的表现很高（高 90 年代）；我们认为，预训练的语言模型（LMs）应该能够融合实体知

OpenDataLab2026-07-05 更新210

CREAK

OpenXLab10