ucsbai/liar

--- annotations_creators: - expert-generated language_creators: - found language: - en license: - unknown multilinguality: - monolingual size_categories: - 10K<n<100K source_datasets: - original task_categories: - text-classification task_ids: [] paperswithcode_id: liar pretty_name: LIAR tags: - fake-news-detection dataset_info: features: - name: id dtype: string - name: label dtype: class_label: names: '0': 'false' '1': half-true '2': mostly-true '3': 'true' '4': barely-true '5': pants-fire - name: statement dtype: string - name: subject dtype: string - name: speaker dtype: string - name: job_title dtype: string - name: state_info dtype: string - name: party_affiliation dtype: string - name: barely_true_counts dtype: float32 - name: false_counts dtype: float32 - name: half_true_counts dtype: float32 - name: mostly_true_counts dtype: float32 - name: pants_on_fire_counts dtype: float32 - name: context dtype: string splits: - name: train num_bytes: 2730651 num_examples: 10269 - name: test num_bytes: 341414 num_examples: 1283 - name: validation num_bytes: 341592 num_examples: 1284 download_size: 1013571 dataset_size: 3413657 train-eval-index: - config: default task: text-classification task_id: multi_class_classification splits: train_split: train eval_split: test col_mapping: statement: text label: target metrics: - type: accuracy name: Accuracy - type: f1 name: F1 macro args: average: macro - type: f1 name: F1 micro args: average: micro - type: f1 name: F1 weighted args: average: weighted - type: precision name: Precision macro args: average: macro - type: precision name: Precision micro args: average: micro - type: precision name: Precision weighted args: average: weighted - type: recall name: Recall macro args: average: macro - type: recall name: Recall micro args: average: micro - type: recall name: Recall weighted args: average: weighted --- # Dataset Card for [Dataset Name] ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** https://sites.cs.ucsb.edu/~william/ - **Repository:** - **Paper:** https://arxiv.org/abs/1705.00648 - **Leaderboard:** - **Point of Contact:** ### Dataset Summary LIAR is a dataset for fake news detection with 12.8K human labeled short statements from politifact.com's API, and each statement is evaluated by a politifact.com editor for its truthfulness. The distribution of labels in the LIAR dataset is relatively well-balanced: except for 1,050 pants-fire cases, the instances for all other labels range from 2,063 to 2,638. In each case, the labeler provides a lengthy analysis report to ground each judgment. ### Supported Tasks and Leaderboards [More Information Needed] ### Languages English. ## Dataset Structure ### Data Instances [More Information Needed] ### Data Fields [More Information Needed] ### Data Splits [More Information Needed] ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information [More Information Needed] ### Citation Information [More Information Needed] ### Contributions Thanks to [@hugoabonizio](https://github.com/hugoabonizio) for adding this dataset.annotations_creators: 注释生成方式：专家生成 language_creators: 语言数据来源：公开采集 language: 语言：英语（en） license: 许可协议：未知 multilinguality: 多语言属性：单语言 size_categories: 样本规模：10000 < 样本数 < 100000 source_datasets: 原始数据集：原生数据集 task_categories: 任务类别：文本分类 task_ids: 任务子类别：无 paperswithcode_id: PapersWithCode 编号：liar pretty_name: 数据集名称：LIAR tags: 标签：假新闻检测（fake-news-detection） dataset_info: 数据集信息： features: 数据集特征： - 字段名：id 数据类型：字符串 - 字段名：标签（label） 数据类型：类别标签（class_label） 类别映射： 0: 虚假（false） 1: 半真（half-true） 2: 大部分为真（mostly-true） 3: 真实（true） 4: 几乎不真实（barely-true） 5: 彻头彻尾的谎言（pants-fire） - 字段名：陈述文本（statement） 数据类型：字符串 - 字段名：主题（subject） 数据类型：字符串 - 字段名：发言者（speaker） 数据类型：字符串 - 字段名：职位头衔（job_title） 数据类型：字符串 - 字段名：地区信息（state_info） 数据类型：字符串 - 字段名：党派归属（party_affiliation） 数据类型：字符串 - 字段名：几乎不真实次数（barely_true_counts） 数据类型：32位浮点型（float32） - 字段名：虚假次数（false_counts） 数据类型：32位浮点型（float32） - 字段名：半真次数（half_true_counts） 数据类型：32位浮点型（float32） - 字段名：大部分为真次数（mostly_true_counts） 数据类型：32位浮点型（float32） - 字段名：彻头彻尾谎言次数（pants_on_fire_counts） 数据类型：32位浮点型（float32） - 字段名：上下文背景（context） 数据类型：字符串 splits: 数据划分： - 划分名称：训练集（train） 字节数：2730651 样本数：10269 - 划分名称：测试集（test） 字节数：341414 样本数：1283 - 划分名称：验证集（validation） 字节数：341592 样本数：1284 下载大小：1013571 字节 数据集总大小：3413657 字节 train-eval-index: 训练评估索引： - 配置：默认配置（default） 任务：文本分类（text-classification） 任务子类型：多分类（multi_class_classification） 划分设置： 训练划分：训练集（train） 评估划分：测试集（test） 列映射： 陈述文本（statement）：输入文本（text） 标签（label）：预测目标（target） 评估指标： - 指标类型：准确率（accuracy） 指标名称：准确率（Accuracy） - 指标类型：F1值（f1） 指标名称：宏平均F1值（F1 macro） 参数： 平均方式：宏平均（macro） - 指标类型：F1值（f1） 指标名称：微平均F1值（F1 micro） 参数： 平均方式：微平均（micro） - 指标类型：F1值（f1） 指标名称：加权平均F1值（F1 weighted） 参数： 平均方式：加权平均（weighted） - 指标类型：精确率（precision） 指标名称：宏平均精确率（Precision macro） 参数： 平均方式：宏平均（macro） - 指标类型：精确率（precision） 指标名称：微平均精确率（Precision micro） 参数： 平均方式：微平均（micro） - 指标类型：精确率（precision） 指标名称：加权平均精确率（Precision weighted） 参数： 平均方式：加权平均（weighted） - 指标类型：召回率（recall） 指标名称：宏平均召回率（Recall macro） 参数： 平均方式：宏平均（macro） - 指标类型：召回率（recall） 指标名称：微平均召回率（Recall micro） 参数： 平均方式：微平均（micro） - 指标类型：召回率（recall） 指标名称：加权平均召回率（Recall weighted） 参数： 平均方式：加权平均（weighted） --- # LIAR数据集卡片 ## 目录 - [数据集概述](#数据集概述) - [数据集摘要](#数据集摘要) - [支持任务与排行榜](#支持任务与排行榜) - [语言](#语言) - [数据集结构](#数据集结构) - [数据实例](#数据实例) - [数据字段](#数据字段) - [数据划分](#数据划分) - [数据集构建](#数据集构建) - [数据集构建逻辑](#数据集构建逻辑) - [源数据](#源数据) - [注释标注](#注释标注) - [个人与敏感信息](#个人与敏感信息) - [数据使用注意事项](#数据使用注意事项) - [数据集的社会影响](#数据集的社会影响) - [偏差讨论](#偏差讨论) - [其他已知局限](#其他已知局限) - [附加信息](#附加信息) - [数据集维护者](#数据集维护者) - [许可信息](#许可信息) - [引用信息](#引用信息) - [贡献](#贡献) ## 数据集概述 - **主页:** https://sites.cs.ucsb.edu/~william/ - **代码仓库:** - **论文:** https://arxiv.org/abs/1705.00648 - **排行榜:** - **联系人:** ### 数据集摘要 LIAR是一款面向假新闻检测任务的数据集，包含12800条由人工标注的简短陈述文本，所有文本均来自PolitiFact.com的API接口，每条陈述均由PolitiFact的编辑对其真实性进行评估。该数据集的标签分布相对均衡：除1050条“彻头彻尾的谎言（pants-fire）”类样本外，其余各类别的样本数量均介于2063至2638之间。每条标注样本均附带详尽的分析报告，为标注者的判断提供依据。 ### 支持任务与排行榜 [需补充更多信息] ### 语言 英语。 ## 数据集结构 ### 数据实例 [需补充更多信息] ### 数据字段 [需补充更多信息] ### 数据划分 [需补充更多信息] ## 数据集构建 ### 数据集构建逻辑 [需补充更多信息] ### 源数据 #### 初始数据收集与标准化 [需补充更多信息] #### 源语言生产者是谁？ [需补充更多信息] ### 注释标注 #### 标注流程 [需补充更多信息] #### 标注者是谁？ [需补充更多信息] ### 个人与敏感信息 [需补充更多信息] ## 数据使用注意事项 ### 数据集的社会影响 [需补充更多信息] ### 偏差讨论 [需补充更多信息] ### 其他已知局限 [需补充更多信息] ## 附加信息 ### 数据集维护者 [需补充更多信息] ### 许可信息 [需补充更多信息] ### 引用信息 [需补充更多信息] ### 贡献 感谢[@hugoabonizio](https://github.com/hugoabonizio)添加本数据集。