nikchar/paper_test_assym_roberta_3_epochs_results

---
dataset_info:
features:
- name: claim
dtype: string
- name: evidence_wiki_url
dtype: string
- name: text
dtype: string
- name: retrieved_evidence_title
sequence: string
- name: retrieved_evidence_text
sequence: string
- name: labels
dtype: int64
- name: Retrieval_Success
dtype: bool
- name: Predicted_Labels
dtype: int64
- name: Predicted_Labels_Each_doc
sequence: int64
splits:
- name: train
num_bytes: 73601741
num_examples: 11073
download_size: 34426547
dataset_size: 73601741
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "paper_test_assym_roberta_3_epochs_results"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征字段：
- 名称：断言（claim），数据类型：字符串
- 名称：维基百科证据链接（evidence_wiki_url），数据类型：字符串
- 名称：文本（text），数据类型：字符串
- 名称：检索到的证据标题（retrieved_evidence_title），数据类型：字符串序列
- 名称：检索到的证据文本（retrieved_evidence_text），数据类型：字符串序列
- 名称：标签（labels），数据类型：64位整数
- 名称：检索成功状态（Retrieval_Success），数据类型：布尔值
- 名称：预测标签（Predicted_Labels），数据类型：64位整数
- 名称：单文档预测标签（Predicted_Labels_Each_doc），数据类型：整数序列
数据集划分：
- 名称：训练集（train），字节数：73601741，样本数量：11073
下载大小：34426547
数据集总大小：73601741
配置项：
- 配置名称：默认配置（default），数据文件：
- 划分集：训练集，路径：data/train-*

# 「paper_test_assym_roberta_3_epochs_results」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据特征

• claim: 数据类型为字符串。
• evidence_wiki_url: 数据类型为字符串。
• text: 数据类型为字符串。
• retrieved_evidence_title: 数据类型为字符串序列。
• retrieved_evidence_text: 数据类型为字符串序列。
• labels: 数据类型为64位整数。
• Retrieval_Success: 数据类型为布尔值。
• Predicted_Labels: 数据类型为64位整数。
• Predicted_Labels_Each_doc: 数据类型为64位整数序列。

数据分割

• train: 包含11073个样本，总字节数为73601741。

数据集大小

• 下载大小: 34426547字节
• 数据集大小: 73601741字节

配置

• default:
  • 数据文件:
    • train: 路径为data/train-*

搜集汇总

数据集介绍

构建方式

该数据集名为nikchar/paper_test_assym_roberta_3_epochs_results，专为科学文献领域的文本验证与检索任务而设计。其构建源于对论文测试场景的深度模拟，通过整合声明（claim）、证据维基百科链接（evidence_wiki_url）及原始文本（text）等核心字段，形成结构化数据。数据集进一步引入检索证据标题（retrieved_evidence_title）与文本（retrieved_evidence_text）的序列信息，并基于RoBERTa模型在3个训练周期后的推理结果，标注了标签（labels）、检索成功标志（Retrieval_Success）及预测标签（Predicted_Labels）等字段。整体以HuggingFace标准格式存储，包含单一训练集拆分，共11073个样本，数据规模约73.6MB，确保了实验的可复现性。

特点

该数据集的特点在于其融合了检索与推理的双重维度，为评估模型在不对称证据环境下的表现提供了独特视角。特征设计中，labels与Predicted_Labels的对比可直接衡量预测精度，而Retrieval_Success布尔字段则量化了证据召回的有效性。尤为突出的是Predicted_Labels_Each_doc序列，它记录了每个文档级别的细粒度预测，使研究者能深入剖析模型在不同文档间的决策差异。此外，数据集聚焦于论文测试场景，声明与证据的配对结构贴近真实学术验证需求，为自然语言处理中的事实验证与信息检索交叉领域研究提供了标准化基准。

使用方法

使用该数据集时，用户可通过HuggingFace的datasets库直接加载，指定config_name为'default'并选择train拆分即可获取数据。每条样本包含字符串型声明与证据文本，以及整型标签和预测结果，适用于监督学习中的分类任务。研究者可基于labels字段训练模型，或利用Predicted_Labels评估已训练模型的性能。Retrieval_Success字段可用于分析检索环节的瓶颈，而Predicted_Labels_Each_doc则支持多文档聚合分析。建议结合RoBERTa等预训练模型进行实验，通过对比预测与真实标签，优化证据检索与声明验证的联合建模能力。

背景与挑战

背景概述

在自然语言处理领域，事实验证与证据检索的交叉研究日益成为关注焦点，特别是针对科学文献与公共知识库中声明（claim）的可信度评估。该数据集由研究者nikchar构建，旨在探索基于不对称神经网络架构（如RoBERTa）在有限训练周期（3个epochs）下的性能表现。数据集核心研究问题聚焦于如何利用检索到的维基百科证据（包含标题与文本）对声明进行自动分类，并评估检索成功与否对预测标签的影响。其收录了超过11,000个训练样本，每一样本均包含声明、证据URL、文本内容及多维度标签，为事实验证任务提供了结构化基准。该数据集对推动低资源环境下高效证据推理模型的发展具有潜在影响，尤其为优化检索-推理联合框架中的计算效率与准确性平衡提供了实证基础。

当前挑战

该数据集所面临的挑战首先体现在事实验证领域的核心难题：如何从海量、多源且可能存在噪声的维基百科证据中精准定位与声明相关的关键信息，并克服证据文本与声明之间的语义鸿沟。构建过程中，研究者需应对证据检索的覆盖率与精确度矛盾——例如，仅依赖标题匹配可能遗漏深层语义关联，而全文本检索则引入冗余信息。此外，标签预测的不对称性（如某些声明仅由单篇文档支撑，而另一些需跨文档推理）增加了模型泛化难度。有限训练周期（3个epochs）进一步加剧了过拟合风险，要求数据特征设计必须高度紧凑，以避免模型在稀疏标注空间中陷入局部最优。这些挑战共同指向如何在数据规模、标注质量与计算约束间达成有效权衡。

常用场景

经典使用场景

该数据集专为事实验证任务设计，核心在于通过检索到的证据对给定的声明（claim）进行真伪判别。其经典使用场景是构建端到端的声明验证系统，利用预训练语言模型（如RoBERTa）对声明与检索证据文本进行语义对齐和逻辑推理，最终输出二分类或多分类标签（如支持、反驳或信息不足）。数据集中包含检索标题、文本及成功标记，使得研究者能够系统性地评估检索模块与推理模块的协同效果。

解决学术问题

该数据集主要解决事实验证领域中的证据检索与推理脱节问题。传统方法常将证据检索与声明判别分离，导致检索结果不相关或噪声过多，影响验证性能。通过提供结构化的检索结果（包括标题、文本及检索成功标志），该数据集支持端到端训练，使模型学习如何从噪声证据中提取关键信息，提升跨文档推理的鲁棒性。其意义在于推动可解释性更强的验证模型发展，并为虚假信息检测提供标准化基准。

衍生相关工作

该数据集衍生了一系列重要工作，包括基于对比学习的证据排序方法、多跳推理的声明验证模型以及结合知识图谱的增强验证框架。例如，FEVEROUS数据集借鉴其检索-推理联合设计思路，扩展了多证据融合任务；而RoBERTa-claim模型则直接在此数据上微调，验证了预训练语言模型在事实验证中的有效性。此外，该数据集还推动了证据可溯源性研究，促使研究者关注检索文档的置信度评估与噪声过滤策略。