webfaq_cleaned

webfaq_cleaned 是一个经过清理的多语言问答数据集，涵盖44种语言，总计约5850万个问答对。该数据集源自网页抓取的FAQ页面，原始数据包含大量SEO门户页面、垃圾内容、不匹配的电子商务列表页面、近重复模板和编码错误。通过多层清理管道（包括子字符串阻止列表、重复检测、编码修复等步骤）过滤了这些噪声，同时保留了实质性的问答内容。每个数据样本包含两个字符串字段：query（问题）和document（答案/支持段落）。数据集按语言分为不同的配置，每种配置仅包含训练分割，适用于对比学习训练、检索系统评估等自然语言处理任务。已知限制包括某些语言仍存在约15-20%的不匹配对，但大多数语言的实质内容保留率在90-100%之间。webfaq_cleaned is a cleaned multilingual question-answering (QA) dataset covering 44 languages, with a total of approximately 58.5 million QA pairs. This dataset is sourced from web-crawled FAQ pages. The raw data contained a large volume of SEO portal pages, spam content, mismatched e-commerce listing pages, near-duplicate templates, and encoding errors. A multi-layer cleaning pipeline was applied to filter out these noises while retaining the substantive question-answering content. Each data sample contains two string fields: `query` (the question) and `document` (the answer/supporting paragraph). The dataset is organized into language-specific configurations, where each configuration only includes the training split. This dataset is suitable for natural language processing (NLP) tasks such as contrastive learning training and retrieval system evaluation. The cleaning process includes steps such as substring blocklists, duplicate detection, and encoding correction, aiming to conservatively remove templated noises while preserving semantically aligned QA pairs. Known limitations include that approximately 15-20% of mismatched pairs still exist in certain languages, while the retention rate of substantive content for most languages ranges between 90% and 100%.

原始信息汇总

数据集概述：webfaq_cleaned

webfaq_cleaned 是一个经过清洗的多语言问答对数据集，旨在用于对比学习或检索评估。它源自 PaDaS-Lab/webfaq 数据集，通过多层清洗流程过滤了原数据中的大量噪音（如SEO入口页面、赌博垃圾信息、不匹配的产品列表、近似重复模板、编码错误），同时保留了高质量的问答内容。

数据结构

• 数据格式：每一条记录为一个问答对。
• 字段说明：
  • query（字符串）：问题。
  • document（字符串）：答案或相关段落。
• 数据集划分：每个语言配置（config）仅包含一个 train 分割（split）。
• 总数据规模：约58.5M个问答对，覆盖44种语言。

语言列表与数据统计

以下为各语言的数据保留情况，按清洗后保留的问答对数量排序。source 为原始数据量，kept 为清洗后保留量，kept% 为保留比例。

语言	原始数据量	保留数据量	保留比例	语言	原始数据量	保留数据量	保留比例
en (英语)	49,275,346	40,817,655	82.8%	ro (罗马尼亚语)	546,709	378,587	69.2%
fa (波斯语)	969,748	841,712	86.8%	fi (芬兰语)	641,009	373,519	58.3%
ar (阿拉伯语)	1,000,000	829,000	82.9%	th (泰语)	502,215	355,047	70.7%
tr (土耳其语)	1,000,000	820,040	82.0%	el (希腊语)	494,019	349,025	70.7%
fr (法语)	1,000,000	805,753	80.6%	hu (匈牙利语)	363,866	283,635	78.0%
nl (荷兰语)	1,000,000	802,485	80.2%	no (挪威语)	316,320	248,062	78.4%
de (德语)	1,000,000	798,319	79.8%	he (希伯来语)	391,084	188,530	48.2%
es (西班牙语)	1,000,000	797,885	79.8%	sk (斯洛伐克语)	177,748	141,875	79.8%
it (意大利语)	1,000,000	796,614	79.7%	bg (保加利亚语)	164,015	134,795	82.2%
pt (葡萄牙语)	1,000,000	793,637	79.4%	lt (立陶宛语)	119,192	89,490	75.1%
ru (俄语)	1,000,000	784,173	78.4%	is (冰岛语)	91,630	64,358	70.2%
pl (波兰语)	1,000,000	782,624	78.3%	lv (拉脱维亚语)	79,443	59,446	74.8%
vi (越南语)	1,000,000	723,073	72.3%	ca (加泰罗尼亚语)	80,189	57,740	72.0%
zh (中文)	1,000,000	682,722	68.3%	et (爱沙尼亚语)	69,643	56,385	81.0%
sv (瑞典语)	832,140	675,465	81.2%	bn (孟加拉语)	57,943	50,329	86.9%
ja (日语)	1,000,000	662,302	66.2%	sl (斯洛文尼亚语)	49,867	42,019	84.3%
da (丹麦语)	768,688	609,387	79.3%	mr (马拉地语)	30,658	26,642	86.9%
ko (韩语)	646,996	592,344	91.6%	ms (马来语)	24,448	20,867	85.4%
uk (乌克兰语)	805,505	580,032	72.0%	te (泰卢固语)	23,949	19,578	81.7%
id (印尼语)	652,660	482,649	74.0%	az (阿塞拜疆语)	19,738	18,357	93.0%
hi (印地语)	537,488	478,818	89.1%	tl (他加禄语)	21,467	16,743	78.0%
cs (捷克语)	538,343	392,826	73.0%	ta (泰米尔语)	19,815	16,305	82.3%

清洗流程

清洗采用迭代式方法，包含四个轻量级的过滤步骤：

1. 子串黑名单：使用跨语言的SEO品牌标记（如KAYAK、momondo、Tripadvisor）以及部分语言特定的模式。
2. 回声/问题模板过滤：针对受影响的语言，过滤简单的“是/否”回显及问题模板。
3. 近似重复去重：使用MinHash LSH（64排列，16条带，字符级5-gram，Jaccard相似度≥0.85）进行去重。
4. 编码修复：修复HTML实体、JSON Unicode转义残留及字面量特殊字符（如 ），并丢弃包含非法字符（ufffd）的行。

该流程设计保守，主要针对模板化噪音和已知编码问题，而非衡量语义相关性，因此即使表面形式有些模板化的问答对仍被保留。

已知局限性

• 产品列表SEO噪音残留：在部分语言中，仍存在约15-20%的不匹配问答对。主要模式为产品标题查询与不相关的用户评论配对，由于这些配对是唯一的（去重无法捕捉）且缺乏明显的子串标记，需要语义相关性分类器才能有效移除。
• 保留比例大幅下降的语言（如希伯来语、芬兰语、罗马尼亚语等）：这些下降主要反映了对模板化旅行聚合器酒店页面的大规模移除，而非实质问答内容的丢失。抽查显示这些语言保留的条目中90-100%为实质内容。
• 其他语言的质量：英语、阿拉伯语、印地语、韩语、德语、法语等语言的抽查显示，90-100%为实质内容。剩余约5-10%主要是良性的模板化单一来源答案（如价格预测、天气摘要、酒店信息），而非真正不匹配的问答对。

来源与引用

该数据集是 PaDaS-Lab/webfaq 的衍生和过滤版本。使用时请引用原始WebFAQ发布以及本次清洗工作。该数据集仅供研究使用。

搜集汇总

数据集介绍

构建方式

webfaq_cleaned数据集是源自PaDaS-Lab/webfaq的已清洗多语言问答对集合，涵盖44种语言，总计约5850万对查询与文档。其构建过程基于迭代式多层过滤流水线：首先通过大语言模型对每语言随机样本进行劣质模式识别，定位SEO门户页面、赌博垃圾信息、产品列表不匹配等典型噪声；随后将这些模式编码为轻量级子串与正则表达式过滤器，包括跨语言品牌关键词黑名单、特定语言的问答模板与重复模式检测，以及基于MinHash局部敏感哈希（64个排列、16条带、字符5-gram、Jaccard阈值0.85）的近重复去重。最后进行编码修复，处理HTML实体、JSON转义遗留字符及 \n\t等，并丢弃仍含替换字符的条目。这一保守策略优先保留语义对齐内容，而非全面评估相关性。

特点

该数据集的核心特点在于其多语言覆盖的广度与数据清洗的精细度。44种语言中，英语语料最为庞大（逾4000万对），而韩语、印地语、孟加拉语等保持率高达86%至93%，展现了优异的数据留存效率。清洗后各语言语料中实质性内容占比普遍达到90%至100%，仅部分语言（如希伯来语、芬兰语）因旅游聚合页面大量移除导致保持率下降至48%至58%，但残留条目经抽查仍以高质量问答为主。已知局限在于针对产品列表型SEO噪声（如标题与评论不匹配）难以通过子串过滤彻底清除，需依赖语义相关性分类器。数据集的每个配置仅含一个训练拆分，结构简洁统一。

使用方法

研究者可通过HuggingFace的datasets库便捷加载此数据集，仅需调用load_dataset函数并指定语言配置与拆分名。例如，`load_dataset("bowang0911/webfaq_cleaned", "en", split="train")`即可获取英语训练集。为处理大规模语料，支持流式加载模式，通过设置streaming=True参数实现逐行迭代，如`load_dataset("bowang0911/webfaq_cleaned", "ja", split="train", streaming=True)`，配合`.take(n)`方法可快速探查前n条样本。每一条记录包含query（问题）与document（答案/支撑段落）两个字符串字段，可直接用于对比学习训练或检索评估任务，无需额外预处理。

背景与挑战

背景概述

WebFAQ_Cleaned数据集由研究团队于近期构建，旨在为多语言对比学习与检索评估提供高质量语料。该数据集源于PaDaS-Lab发布的原始WebFAQ语料库，通过精细清洗流程对覆盖44种语言、逾5800万对问答数据进行去噪处理。其核心研究问题聚焦于如何从海量互联网常见问题页面中剥离模板化SEO内容、电商垃圾信息及编码异常，从而获得语义对齐的问答对。作为多语言信息检索领域的基准资源，该数据集为跨语言问答系统、稠密检索模型训练及零样本迁移学习提供了重要的评测平台，尤其对低资源语言的自然语言处理研究具有显著推动作用。

当前挑战

构建该数据集面临的首要挑战在于领域内噪声的复杂性：原始WebFAQ包含大量SEO门户页面、赌场垃圾信息、不匹配的产品评论及编码错误，这些模板化内容难以通过简单规则完全过滤。特别在电商领域中，商品标题查询与无关用户评论形成的独特问答对既缺乏重复特征又无显著子串标记，残余不匹配率仍达15-20%。清洗过程中需平衡噪声去除与有效信息的保留，对希伯来语、芬兰语等语言的大幅度过滤更需谨慎验证，确保实质性问答内容的完整性不受破坏。

常用场景

经典使用场景

在信息检索与自然语言处理领域，webfaq_cleaned数据集被广泛用于训练和评估跨语言语义检索模型。其核心使用场景在于以问答对（query-document）的形式提供大规模的监督信号，用于学习文本之间的语义匹配关系。研究者常利用该数据集的每个语言子集分别训练稠密检索模型或重新排序器，亦可将其作为多语言跨任务训练的基座数据。通过查询与文档的对应关系，模型能够捕捉问题意图与答案内容之间的潜在关联，进而提升对未见过问题的应答能力。该数据集覆盖44种语言、包含约5850万对高质量问答，尤其适用于构建多语言对比学习预训练语料以及零样本检索系统的评测基准。

解决学术问题

该数据集主要解决了多语言问答检索语料匮乏且质量参差不齐的学术难题。原始WebFAQ数据存在大量SEO门户页面、垃圾广告、电商评论不匹配、近似重复模板及编码错误等噪声信息，严重制约了检索模型的训练效果与评估可信度。webfaq_cleaned通过多层清洗流水线——包括关键词黑名单过滤、模板检测、基于MinHash LSH的近似去重及编码修复——大幅提升了数据语义一致性与纯净度。此工作为跨语言信息检索研究提供了可复现、高标准的训练与评测资源，推动了对低资源语言检索性能的准确评估，并揭示了单纯靠子串过滤无法完全消除语义不匹配对（如产品标题与无关用户评论）的根本性局限。

衍生相关工作

该数据集的发布催生了多项值得关注的衍生工作。研究者将其作为多语言稠密检索模型（如mDPR、mContriever）的对比训练语料，验证了在大规模多语言问答对上训练的跨语言编码器能有效迁移至未见过的语言。部分工作聚焦于利用其清洗后的高纯净度子集构建零样本跨语言检索评测基准。此外，基于该数据集提出的残差语义噪声（如产品标题与无关评论对）识别问题，推动了问答对质量判别模型的研究，直接启发了基于交叉编码器或双编码器的语义去噪方法。多语言FAQ系统的训练和评估流程也越来越多地采纳该数据集作为标准训练分片。