parasail-ai/frames-benchmark-wikipedia

--- language: - en license: - cc-by-sa-3.0 - gfdl tags: - rag - long-context - llm-search - reasoning - factuality - retrieval - question-answering - iterative-search task_categories: - text-classification - token-classification - table-question-answering - question-answering dataset_info: features: - name: title dtype: string - name: link dtype: string - name: frames_prompt_id sequence: int64 - name: original_link sequence: string - name: text dtype: string splits: - name: train num_bytes: 57344587 num_examples: 2524 download_size: 33251945 dataset_size: 57344587 configs: - config_name: default data_files: - split: train path: data/train-* --- # FRAMES Wikipedia Articles This dataset contains fulltext of Wikipeida articles used in [FRAMES benchmark](https://huggingface.co/datasets/google/frames-benchmark) [(https://arxiv.org/abs/2409.12941)](https://arxiv.org/abs/2409.12941) for testing the capabilities of Retrieval-Augmented Generation (RAG) systems across factuality, retrieval accuracy, and reasoning. The articles are retrieved in Oct. 2024.语言： - 英语 许可协议： - 知识共享署名-相同方式共享3.0（CC BY-SA 3.0） - GNU自由文档协议（GFDL） 标签： - 检索增强生成（RAG） - 长上下文 - 大语言模型检索（LLM-Search） - 推理 - 事实性 - 检索 - 问答 - 迭代式检索 任务类别： - 文本分类 - Token分类 - 表格问答 - 问答 数据集信息： 特征： - 名称：标题，数据类型：字符串 - 名称：链接，数据类型：字符串 - 名称：FRAMES提示ID，序列类型，元素为64位整数 - 名称：原始链接，序列类型，元素为字符串 - 名称：文本，数据类型：字符串 数据集拆分： - 拆分名称：训练集（train），字节占用：57344587，样本数量：2524 下载大小：33251945字节 数据集总大小：57344587字节 配置项： - 配置名称：默认（default），数据文件路径：data/train-*，对应拆分集：训练集（train） # FRAMES 维基百科文章 本数据集收录了用于[FRAMES基准测试集](https://huggingface.co/datasets/google/frames-benchmark)（详见论文[https://arxiv.org/abs/2409.12941](https://arxiv.org/abs/2409.12941)）的维基百科文章全文，用于评估检索增强生成（Retrieval-Augmented Generation, RAG）系统在事实性、检索精度与推理能力方面的表现。 本文集所收录的文章均于2024年10月完成检索。