Scalable Influence and Fact Tracing for Large Language Model Pretraining

该数据集包括用于事实追踪评估的5.4k提示（查询），以及从中抽样的1.2M查询。还包括TDA方法输出（检索和评分的支持者），对应于论文中的实验和附加评估任务。此外，还包括来自T-REx维基百科摘要的19.6M句子语料库。

This dataset comprises 5.4k prompts (queries) for fact-tracing evaluation, along with 1.2 million queries sampled therefrom. It also includes the outputs of the TDA method (retrieved and scored supporting evidence), which correspond to the experiments and additional evaluation tasks detailed in the accompanying paper. Furthermore, it incorporates a 19.6-million-sentence corpus sourced from Wikipedia summaries within the T-REx dataset.

原始信息汇总

数据集概述

数据文件

评估查询

• 5.4k prompts (queries): 用于事实追踪评估的5.4k个提示（查询）。
  • 下载链接: trex_facts_sample.jsonl
• 1.2M prompts (queries): 完整的1.2M个提示（查询），5.4k个提示从中采样。
  • 下载链接: trex_facts.jsonl

TDA方法结果

• T-REx facts, retrievals from T-REx sentences: 从T-REx句子中检索的事实。

  • 方法包括BM25、Gecko、TRAK、Exp 1-5、TrackStar。
  • 下载链接:
    • BM25: trex_retrievals_bm25.jsonl
    • Gecko: trex_retrievals_gecko.jsonl
    • TRAK: trex_retrievals_trak.jsonl
    • Exp 1: trex_retrievals_exp1.jsonl
    • Exp 2: trex_retrievals_exp2.jsonl
    • Exp 3: trex_retrievals_exp3.jsonl
    • Exp 4: trex_retrievals_exp4.jsonl
    • Exp 5: trex_retrievals_exp5.jsonl
    • TrackStar: trex_retrievals_trackstar.jsonl

• T-REx facts, retrievals from C4: 从C4中检索的事实。

  • 方法包括BM25、Gecko、Gradient dot product、Gradient cosine、TrackStar。
  • 下载链接:
    • BM25: c4_trex_retrievals_bm25.jsonl
    • Gecko: c4_trex_retrievals_gecko.jsonl
    • Gradient dot product: c4_trex_retrievals_grad_dot.jsonl
    • Gradient cosine: c4_trex_retrievals_grad_cosine.jsonl
    • TrackStar: c4_trex_retrievals_trackstar.jsonl

• Appendix A.5: Additional tasks, retrievals from C4: 从C4中检索的其他任务。

  • 任务包括T-REx incorrect predictions、COPA、PIQA、Arithmetic word problems、Simple arithmetic、Story generation。
  • 下载链接:
    • T-REx incorrect predictions: c4_trex_incorrectpred_retrievals_trackstar.jsonl
    • COPA: c4_copa_retrievals_trackstar_nontaskspecific.jsonl
    • PIQA: c4_piqa_retrievals_trackstar_nontaskspecific.jsonl
    • Arithmetic word problems: c4_arithmeticwordproblem_retrievals_trackstar_nontaskspecific.jsonl
    • Simple arithmetic: c4_arithmetic_retrievals_trackstar_nontaskspecific.jsonl
    • Story generation: c4_storygeneration_retrievals_trackstar_nontaskspecific.jsonl

T-REx句子

• 19.6M sentences: 从T-REx Wikipedia摘要中提取的19.6M个句子。
  • 下载链接: trex_sentences.jsonl-000XY-of-00020

数据字段

评估查询字段

• fact_id
• kilt_id
• entity0, relation, entity1
• entity0_uri, predicate_uri, entity1_uri
• entity0_alias, entity1_alias
• trex_sentences
• c4_frequency
• is_repetition
• prompt0, prompt1, prompt2

TDA方法结果字段

• example_id
• query_set
• inputs_plaintext
• targets_plaintext
• proponents
• proponent_ids
• proponent_scores
• opponents
• opponent_ids
• opponent_scores
• fact_id
• relation
• 8b_generations
• 8b_confidence
• c4_frequency
• c4_frequency_bucket
• has_trex_sentence
• proponent_correct
• proponent_ais_scores
• is_8b_correct
• groundtruth

T-REx句子字段

• sentence_id
• text
• abstract_uri
• sent_idx_in_abst
• fact_triples

搜集汇总

数据集介绍

构建方式

该数据集的构建基于大规模语言模型预训练的需求，通过整合5.4k个用于事实追踪评估的提示（queries）以及从1.2M个查询中抽取的样本，构建了一个包含19.6M句子的T-REx Wikipedia摘要语料库。数据集的构建过程中，采用了TDA（TrackStar with non-task-specific Hessian approximation）方法，生成了对应于论文中实验部分的输出结果，包括检索到的支持段落及其评分。此外，数据集还包含了额外的评估任务结果，如T-REx事实的检索结果和C4语料库中的检索结果，确保了数据集的多样性和全面性。

使用方法

该数据集的使用方法灵活多样，用户可以通过提供的JSONL文件直接加载数据，进行事实追踪和影响分析。数据集附带了一个数据查看器应用，用户可以通过该应用直观地查看检索到的支持段落及其评分，支持从URL或本地文件加载数据，且所有操作均在浏览器中完成，确保了数据的安全性。此外，用户还可以根据需要选择不同的检索方法和任务类型，进行定制化的实验和分析，进一步挖掘数据集的潜在价值。

背景与挑战

背景概述

Scalable Influence and Fact Tracing for Large Language Model Pretraining 数据集由Chang等人于2024年创建，旨在解决大规模语言模型预训练中的影响追踪与事实溯源问题。该数据集的核心研究问题是如何在海量数据中高效追踪模型对特定事实的依赖，并评估这些依赖对模型输出的影响。数据集包含了5.4k个用于事实追踪评估的提示（queries），以及从1.2M个查询中采样的完整数据集。此外，数据集还包含了19.6M条来自T-REx Wikipedia摘要的句子，这些数据为研究提供了丰富的语料支持。该数据集的发布不仅为语言模型的预训练提供了新的研究视角，还为相关领域的研究者提供了宝贵的实验资源。

当前挑战

该数据集在构建过程中面临多项挑战。首先，如何在海量数据中高效地进行事实追踪与影响分析是一个技术难题，尤其是在处理19.6M条句子时，数据的规模和复杂性增加了计算和存储的负担。其次，数据集的多样性和复杂性使得确保追踪结果的准确性和可靠性成为一项挑战。此外，如何设计有效的评估方法来验证追踪结果的有效性，以及如何处理不同任务间的差异性，也是该数据集面临的重要问题。最后，数据集的构建还需要考虑数据隐私和版权问题，确保使用的数据符合相关法律法规。

常用场景

经典使用场景

该数据集主要用于大规模语言模型预训练中的事实追踪和影响分析。通过提供5.4k个事实查询及其对应的1.2M个查询样本，研究者可以评估模型在处理特定事实时的表现，并追踪这些事实在预训练过程中的影响。此外，数据集还包含了TDA方法的输出结果，如检索到的支持段落及其得分，这为模型在不同任务中的表现提供了深入的分析工具。

解决学术问题

该数据集解决了大规模语言模型预训练中的多个关键学术问题，包括如何有效追踪模型在处理特定事实时的表现，以及如何量化这些事实对模型输出的影响。通过提供详细的检索结果和得分，研究者能够更精确地分析模型的行为，从而优化预训练过程。此外，数据集还支持对模型在不同任务中的泛化能力进行评估，为模型的进一步改进提供了重要依据。

实际应用

在实际应用中，该数据集可用于评估和优化大规模语言模型的预训练过程。例如，通过分析模型在处理特定事实时的表现，开发者可以识别并修正模型中的偏差或错误。此外，数据集还可用于构建更智能的问答系统，通过追踪和分析模型在处理用户查询时的表现，提升系统的准确性和可靠性。

数据集最近研究

最新研究方向

在大型语言模型预训练领域，Scalable Influence and Fact Tracing数据集的研究方向主要集中在可扩展的影响力追踪和事实溯源技术上。该数据集通过提供5.4k的提示样本和1.2M的查询集，支持对模型预训练过程中事实溯源的深入分析。研究者们利用该数据集探索了多种方法，如TDA方法和TrackStar方法，以评估和优化模型在事实追踪任务中的表现。此外，数据集还包含了从T-REx和C4语料库中提取的19.6M句子，为研究提供了丰富的语料支持。这些研究不仅有助于提升模型的可解释性和透明度，还为未来在更大规模数据集上的预训练模型优化提供了重要参考。