jonaspeschel/AVeriTeC-with-scraped-web-evidence
收藏资源简介：
--- dataset_info: features: - name: claim_id dtype: int64 - name: claim dtype: string - name: required_reannotation dtype: bool - name: label dtype: string - name: justification dtype: string - name: claim_date dtype: string - name: speaker dtype: string - name: original_claim_url dtype: string - name: fact_checking_article dtype: string - name: reporting_source dtype: string - name: location_ISO_code dtype: string - name: claim_types sequence: string - name: cached_original_claim_url dtype: string - name: search_queries sequence: string - name: evidences_metadata list: - name: date dtype: string - name: search_string dtype: string - name: search_type dtype: string - name: title dtype: string - name: url dtype: string - name: evidences_content sequence: string splits: - name: train num_bytes: 6609529 num_examples: 234 download_size: 3766325 dataset_size: 6609529 configs: - config_name: default data_files: - split: train path: data/train-* task_categories: - text-classification - question-answering language: - en tags: - fact-checking size_categories: - n<1K --- This dataset contains selected instances from the [AVeriTeC train split](https://huggingface.co/chenxwh/AVeriTeC) with custom retrieved web evidence. The evidence was retrieved using the following steps: 1. **Search query generation:** Generate 3-5 search queries for web retrieval per claim by few-shot prompting [Ministral-14B model](https://huggingface.co/mistralai/Ministral-3-14B-Instruct-2512). They can be found in the dataset under `search_queries`. 2. **Web-based evidence retrieval:** Google search using the original claim and generated search queries via [SERP API](https://serper.dev/) with date constraints to avoid information published after the claim was made. Web content was scraped using `trafilatura` and `pdfplumber` packages for HTML and PDF files, respectively. We successfully scrape about 150 web pages per claim. 3. **Evidence ranking:** Rank the relevance of the evidence chunks with respect to the claim and search queries 1. **Chunking:** Split/Merge the scraped web contents' paragraphs into chunks of about 500 tokens, resulting in ~50,000 - 100,000 chunks per claim 2. **Dense-sparse hybrid retrieval:** For dense retrieval, compute cosine similarity between all search query and evidence chunk embeddings, then max-pool over the search queries. Embeddings generated using [this model](https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1). For sparse retrieval, BM25 from `rank_bm25` is used, again max-pooling over search queries. Rankings from both methods are combined using Reciprocal Rank Fusion. The top-200 evidence chunks are retained for the following steps. 3. **De-duplication:** Remove duplicate or near-duplicate chunks by clustering based on the embeddings cosine similarities and retaining only the longest chunk per cluster. 4. **Generative re-ranking:** Re-rank the remaining chunks using a [generative re-ranking model](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2) and retain the top-10 highest ranking chunks. The dataset contains the textual content of the top-10 most relevant evidence chunks (`evidences_content`) and corresponding metadata (`evidences_metadata`), including the URL, title, and date of the web page from where the evidence chunk was scraped.
数据集信息： 特征字段： - 名称：claim_id（声明ID），数据类型：int64（64位整数） - 名称：claim（声明文本），数据类型：string（字符串） - 名称：required_reannotation（重新标注要求），数据类型：bool（布尔值） - 名称：label（标注标签），数据类型：string（字符串） - 名称：justification（佐证依据），数据类型：string（字符串） - 名称：claim_date（声明发布日期），数据类型：string（字符串） - 名称：speaker（发言者），数据类型：string（字符串） - 名称：original_claim_url（原始声明链接），数据类型：string（字符串） - 名称：fact_checking_article（事实核查文章），数据类型：string（字符串） - 名称：reporting_source（报道来源），数据类型：string（字符串） - 名称：location_ISO_code（地区ISO代码），数据类型：string（字符串） - 名称：claim_types（声明类型），数据类型：字符串序列 - 名称：cached_original_claim_url（原始声明缓存链接），数据类型：string（字符串） - 名称：search_queries（搜索查询词），数据类型：字符串序列 - 名称：evidences_metadata（证据元数据），数据类型：列表，包含以下子字段： - 名称：date（网页发布日期），数据类型：string（字符串） - 名称：search_string（搜索字符串），数据类型：string（字符串） - 名称：search_type（搜索类型），数据类型：string（字符串） - 名称：title（网页标题），数据类型：string（字符串） - 名称：url（网页链接），数据类型：string（字符串） - 名称：evidences_content（证据文本内容），数据类型：字符串序列 划分集： - 名称：train（训练集），占用字节数：6609529，样本数量：234 下载大小：3766325，数据集总大小：6609529 配置项： - 配置名称：default（默认配置），数据文件： - 划分集：train（训练集），路径：data/train-* 任务类别： - 文本分类 - 问答 语言： - en（英语） 标签： - fact-checking（事实核查） 样本规模类别： - n<1K（样本量小于1000） 本数据集源自[AVeriTeC训练划分集](https://huggingface.co/chenxwh/AVeriTeC)的精选样本，并附加了自定义检索的网络证据。证据获取流程如下： 1. **搜索查询词生成**：针对每条声明，通过少样本（few-shot）提示[Ministral-14B模型（Ministral-14B model）](https://huggingface.co/mistralai/Ministral-3-14B-Instruct-2512)生成3~5条用于网络检索的搜索查询词，相关查询词可在数据集中的`search_queries`字段中获取。 2. **基于网络的证据检索**：通过[SERP API](https://serper.dev/)结合日期约束（仅检索声明发布前公开的信息），使用原始声明文本与生成的搜索查询词进行谷歌搜索。分别使用`trafilatura`和`pdfplumber`工具包抓取HTML与PDF格式的网页内容，每条声明可成功抓取约150个网页。 3. **证据排序**：针对证据片段与声明及搜索查询词的相关性进行排序： 1. **片段切分**：将抓取的网页内容段落切分/合并为约500个Token的片段，每条声明可生成约50000~100000个证据片段。 2. **混合稠密-稀疏检索**：稠密检索方面，计算所有搜索查询词与证据片段嵌入向量之间的余弦相似度，再对查询词维度进行最大池化操作。嵌入向量由[mxbai-embed-large-v1模型（mxbai-embed-large-v1 model）](https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1)生成。稀疏检索方面，使用`rank_bm25`库实现BM25算法，同样对查询词维度进行最大池化。通过互反排序融合（Reciprocal Rank Fusion）结合两种方法的排序结果，保留前200个相关性最高的证据片段。 3. **去重处理**：基于嵌入向量的余弦相似度进行聚类，移除重复或近似重复的片段，仅保留每个聚类中最长的片段。 4. **生成式重排序**：使用[生成式重排序模型（generative re-ranking model）](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2)对剩余片段进行重排序，保留排名前10的证据片段。 本数据集包含排名前10的最相关证据片段的文本内容（`evidences_content`字段）以及对应的元数据（`evidences_metadata`字段），元数据涵盖证据片段来源网页的链接、标题与发布日期。
