有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
WebQA|问答系统数据集|数据集数据集
收藏arXiv2016-09-01 更新2024-06-21 收录
下载链接：
http://idl.baidu.com/WebQA.html
下载链接
链接失效反馈资源简介：
WebQA是一个大规模的人工标注真实世界问答数据集，包含超过42,000个问题和556,000个证据。该数据集由百度深度学习研究院创建，旨在为开发和评估神经问答系统提供真实世界的数据支持。数据集中的问题均来自真实用户的日常提问，相比于控制条件下的数据集，更贴近实际应用场景。此外，每个问题都附有多个由人工标注的证据，适用于研究如证据排序和答案句选择等。WebQA的应用领域主要集中在开放领域的实体事实问答，旨在解决现有神经问答系统在处理大规模真实数据时的挑战。
提供机构：
百度深度学习研究院
创建时间：
2016-07-21
AI搜集汇总
数据集介绍
构建方式
WebQA数据集的构建基于大规模的真实世界问答数据，涵盖了超过42,000个问题和556,000条证据。这些问题主要来源于百度知道等社区问答网站，确保了数据的真实性和多样性。每条问题都伴随着多个证据，这些证据通过搜索引擎从互联网中检索得到，并经过人工标注以确定其是否包含正确答案。数据集的设计旨在为开放域的事实型问答系统提供训练和评估的基础。
特点
WebQA数据集的特点在于其大规模和真实性。与以往的人工合成或受控条件下生成的数据集不同，WebQA的问题均来自真实用户的日常提问，反映了实际应用场景中的复杂性。此外，每条问题都配备了多个证据，这些证据不仅用于回答问题，还可用于证据排序和答案句子选择等研究。数据集的多样性和丰富性使其成为开发高效问答系统的理想选择。
使用方法
WebQA数据集的使用方法主要围绕其问答对的训练和评估展开。研究人员可以利用该数据集训练端到端的问答模型，特别是基于序列标注的模型。通过将问答问题转化为序列标注任务，模型能够直接从证据中提取答案，避免了传统方法中的复杂特征工程和高计算成本。此外，数据集还可用于评估模型在处理未见过的答案和词汇时的表现，进一步推动问答系统的鲁棒性和泛化能力。
背景与挑战
背景概述
WebQA数据集由百度深度学习研究院于2016年提出，旨在解决开放域事实型问答系统中大规模真实世界数据集的缺失问题。该数据集包含超过42,000个问题和556,000条证据，所有问题均由真实用户在日常生活中提出，具有较高的现实应用价值。WebQA的提出为神经问答系统的开发与评估提供了重要的数据支持，推动了问答系统领域的研究进展。该数据集的构建不仅填补了现有数据集的空白，还为问答系统的端到端训练提供了更为丰富的语料资源。
当前挑战
WebQA数据集面临的挑战主要体现在两个方面：首先，问答系统在真实世界数据上的开发与评估仍然存在困难，现有数据集要么规模较小，要么在生成方式上过于人工化，难以反映真实场景的复杂性。其次，现有的神经问答方法在答案生成上主要依赖于序列生成或分类/排序，这些方法在处理大规模词汇时计算成本高昂，且难以应对未见过的答案。WebQA通过引入序列标注技术，提出了一种新的答案生成方式，有效解决了上述问题，但仍需进一步优化以应对多证据、多实体等复杂场景的挑战。
常用场景
经典使用场景
WebQA数据集在开放域事实型问答系统中扮演了重要角色，尤其是在基于神经网络的问答模型开发与评估中。该数据集通过提供大量真实世界中的问题和证据，使得研究者能够在接近实际应用的环境中训练和测试模型。其经典使用场景包括利用序列标注技术进行答案生成，以及通过条件随机场（CRF）模型从证据中提取答案。
衍生相关工作
WebQA数据集的发布催生了一系列相关研究工作，特别是在神经问答模型的改进方面。例如，基于WebQA的序列标注模型启发了更多关于多证据处理和深度模型的研究。此外，该数据集还被用于探索多语言问答系统、多实体问答以及非事实型问答等扩展领域，推动了问答技术的进一步发展。
数据集最近研究
最新研究方向
近年来，WebQA数据集在开放域事实型问答系统（Open-Domain Factoid Question Answering）领域的研究中占据了重要地位。随着深度学习技术的快速发展，神经问答系统（Neural QA）逐渐成为研究热点。WebQA作为一个大规模的真实世界问答数据集，包含了超过42,000个问题和556,000条证据，为神经问答系统的开发和评估提供了宝贵的资源。当前的研究方向主要集中在如何通过序列标注技术（Sequence Labeling）来优化问答系统的性能。与传统的序列生成或分类/排序方法相比，序列标注技术能够有效降低计算成本，并更好地处理未见过的答案。此外，WebQA数据集还被广泛应用于证据排序（Evidence Ranking）和答案句子选择（Answer Sentence Selection）等任务中，进一步推动了问答系统的多证据处理能力。未来，随着多实体事实型问答和非事实型问答的兴起，WebQA数据集的应用场景将更加广泛，相关研究也将继续深入。
相关研究论文
- 1Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering百度深度学习研究院 · 2016年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域交通网络数据集
该数据集包含中国各区域的交通网络信息，包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。
data.stats.gov.cn 收录
中国交通事故深度调查（CIDAS）数据集
交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息，以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例，单个案例信息包含人、车 、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征，探索事故预防和损伤防护措施的关键数据源，为制定汽车安全法规和标准、完善汽车测评试验规程、
北方大数据交易中心 收录
中国空气质量数据集（2014-2020年）
数据集中的空气质量数据类型包括PM2.5, PM10, SO2, NO2, O3, CO, AQI，包含了2014-2020年全国360个城市的逐日空气质量监测数据。监测数据来自中国环境监测总站的全国城市空气质量实时发布平台，每日更新。数据集的原始文件为CSV的文本记录，通过空间化处理生产出Shape格式的空间数据。数据集包括CSV格式和Shape格式两数数据格式。
国家地球系统科学数据中心 收录
Titanic Dataset
Titanic Data Analysis: A Journey into Passenger Profiles and Survival Dynamics
kaggle 收录
中国区域地面气象要素驱动数据集 v2.0（1951-2020）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 70 年（1951~2020 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 70 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致，仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新，以修正其长期趋势存在的问题。2021 年至 2024 年的 CMFD 数据正在制作中，计划于 2025 年上半年发布，从而使 CMFD 2.0 延伸至 2024 年底。
国家青藏高原科学数据中心 收录