MicPie/unpredictable_gamefaqs-com

UnpredicTable数据集由从互联网表格中提取的few-shot任务组成，旨在通过微调语言模型来提高其在few-shot学习中的表现。数据集包含413,299个任务，覆盖了多种任务类型，如多项选择、问答、表格问答等。每个任务由输入、选项、输出等字段组成，且没有额外的数据分割。数据集的创建目的是为了研究训练数据与few-shot学习之间的关系。数据集的语言为英语，且未经过过滤，可能包含敏感信息或偏见内容。

The UnpredicTable dataset consists of few-shot tasks extracted from web tables, aiming to enhance the few-shot learning performance of language models via fine-tuning. It contains 413,299 tasks covering diverse task types including multiple choice, question answering, table question answering, and more. Each task comprises fields such as input, options, and output, with no additional data splits. The dataset was developed to investigate the relationship between training data and few-shot learning. The dataset is in English and has not been filtered, so it may contain sensitive information or biased content.

原始信息汇总

数据集概述：UnpredicTable-gamefaqs-com

数据集描述

数据集摘要

UnpredicTable-gamefaqs-com 数据集包含从网页表格中提取的少量任务，用于微调语言模型以提高其在少量样本学习（few-shot learning）中的表现。该数据集包含多种版本，包括全量数据集、唯一网站数据集、随机抽样数据集以及基于人类质量评级的子集等。

支持的任务

数据集支持多种任务，包括多项选择、问答、零样本分类、文本生成、表格问答、文本分类和表格分类等。

语言

数据集仅包含英语内容。

数据集结构

数据实例

每个任务以jsonline文件格式表示，包含多个少量样本示例。每个示例包括任务标识、输入、选项和输出等字段，以及页面标题、输出列名、URL和WDC文件等元数据。

数据字段

• task: 任务标识
• input: 表格中特定行的列元素
• options: 多选分类时的选项
• output: 与输入同一行的目标列元素
• pageTitle: 包含表格的页面标题
• outputColName: 输出列名
• url: 包含表格的网站URL
• wdcFile: WDC Web Table Corpus文件

数据分割

UnpredicTable数据集未提供额外的数据分割。

数据集创建

数据收集与规范化

数据集从WDC Web Table Corpus 2015的英语关系子集中自动提取，该子集包含50,820,165个表格，来自323,160个网站域名。

注释过程

数据集的注释主要针对质量评级的子集进行，由实验室助理执行。

个人与敏感信息

数据集未经过滤，可能包含用户身份或敏感信息。

使用数据集的考虑

社会影响

数据集用于研究训练数据与少量样本学习之间的关系，包含高质量和低质量数据，以及可能不真实或不适当的内容。

偏见讨论

数据集未进行偏见分析，也未明确过滤内容，因此模型训练可能反映出数据集中存在的潜在有害偏见和有毒文本。

其他已知限制

无其他已知限制。

附加信息

数据集管理员

Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez

许可信息

Apache 2.0

引用信息

@misc{chan2022few, author = {Chan, Jun Shern and Pieler, Michael and Jao, Jonathan and Scheurer, Jérémy and Perez, Ethan}, title = {Few-shot Adaptation Works with UnpredicTable Data}, publisher={arXiv}, year = {2022}, url = {https://arxiv.org/abs/2208.01009} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，少样本学习性能的提升高度依赖于训练数据的多样性与规模。MicPie/unpredictable_gamefaqs-com数据集源自UnpredicTable项目，其构建方式独树一帜：从WDC Web Table Corpus 2015的英文关系子集中，提取了来自gamefaqs.com网站的互联网表格。这些表格经过自动化流水线转换为少样本学习任务，具体而言，每个表格的每一行被转化为一个示例，其中输入包含该行的若干列元素，输出则对应于另一列的目标值，同时为多选分类任务提供候选选项。该过程无需人工标注，仅依赖海量网络表格的自动解析，从而高效生成了覆盖广泛主题的少样本任务集合。

特点

该数据集的核心特点在于其任务分布的广度与稀疏性。与传统的深度数据集（即少量任务但每个任务包含大量样本）不同，UnpredicTable系列呈现宽而浅的形态——囊括数千个任务，每个任务仅包含寥寥数个示例。这种结构源自网络表格的自然多样性，任务类型横跨多项选择、抽取式问答、文本分类、表格问答乃至文本生成等范畴。此外，数据子集按来源网站精细划分，gamefaqs.com版本专注于游戏领域相关表格，为研究特定领域少样本适应提供了独特资源。数据以JSON Lines格式存储，每条记录包含任务标识、输入、输出、选项及元数据字段，便于灵活调用。

使用方法

该数据集的设计初衷在于作为微调或预训练语料，以提升语言模型在全新任务上的少样本泛化能力。使用时，研究人员可将多个任务示例拼接成少样本提示，直接用于模型训练。鉴于数据未预设训练-验证-测试划分，用户需根据研究目标自行构建评估方案。推荐通过HuggingFace Datasets库加载数据，利用其标准的迭代接口访问每个任务的输入输出对。对于多选分类任务，需关注'options'字段以限定预测空间。由于数据源自未经筛选的网络内容，使用前应评估其中潜在的偏见与敏感信息，避免直接部署于决策敏感场景。

背景与挑战

背景概述

在自然语言处理领域，少样本学习（Few-shot Learning）是提升模型泛化能力的关键方向，然而传统多任务训练数据集多依赖昂贵的人工标注，限制了任务规模与多样性。UnpredicTable数据集由纽约大学的研究团队（Jun Shern Chan、Michael Pieler、Ethan Perez等）于2022年创建，旨在探索从互联网表格中自动提取少样本任务的可能性。该数据集基于WDC Web Table Corpus 2015，从超过50万张网络表格中转化出413,299个少样本任务，覆盖23,744个独立网站，涵盖问答、文本分类、多项选择等多种任务类型。其核心研究问题在于：大规模、多样化的自动生成任务能否有效提升语言模型的少样本适应能力。这一资源为少样本学习的数据构成与下游任务迁移研究提供了全新的实验平台，推动了该领域从人工标注向自动化数据构建的范式转变。

当前挑战

UnpredicTable数据集面临的核心挑战源于其自动构建的固有特性。首先，在领域问题层面，少样本学习本身存在任务适配性难题：自动从表格提取的任务质量参差不齐，部分任务可能缺乏逻辑一致性或包含噪声，导致模型在微调时难以捕捉有效的泛化模式。其次，构建过程中的挑战尤为突出：原始表格来自Common Crawl网络爬虫，内容未经人工过滤，可能包含有害、偏见性文本或敏感个人信息，这要求研究者在使用时需审慎评估数据的社会影响与伦理风险。此外，任务格式的多样性（如输入输出列的选择、多选项的生成）需依赖自动化脚本处理，而表格结构的异构性（如缺失值、非标准布局）进一步增加了转换难度，导致部分任务的有效样本数极少，限制了模型的稳定训练。

常用场景

经典使用场景

在自然语言处理与少样本学习的研究疆域中，UnpredicTable-gamefaqs-com数据集犹如一座蕴藏丰富的矿藏，其核心价值在于将互联网中浩如烟海的Web表格转化为结构化的少样本任务。该数据集最经典的用途是作为语言模型微调与预训练的素材，通过从GameFAQs等游戏攻略网站中提取的多样化表格，为模型提供涵盖问答、文本分类、多项选择等类型的细粒度任务。研究者可借此在缺乏人工标注的条件下，大规模扩充训练任务的广度与多样性，从而显著提升模型在未知任务上的少样本泛化能力，这正是该数据集在少样本学习范式下不可替代的学术地位所在。

衍生相关工作

围绕UnpredicTable-gamefaqs-com数据集，学术界已催生了一系列具有深远影响的衍生工作。最核心的奠基性研究当属Chan等人发表的《Few-shot Adaptation Works with UnpredicTable Data》，该论文首次系统论证了从互联网表格中自动提取的少样本任务能够有效提升语言模型的适应性能。在此基础上，后续工作进一步探索了任务聚类、质量评级对少样本学习效果的调控机制，衍生出如UnpredicTable-rated-high等细粒度子集，用于研究任务难度与模型泛化的关系。此外，该数据集的构建范式还启发了从Common Crawl等大规模语料中自动生成训练任务的研究路线，推动了少样本学习从人工精标向自动获取的范式转型。

数据集最近研究

最新研究方向

在自然语言处理领域，少样本学习已成为前沿研究热点，而高质量、多样化的训练数据是提升模型泛化能力的关键瓶颈。UnpredicTable-gamefaqs-com数据集作为UnpredicTable系列的子集，源自游戏攻略网站GameFAQs的结构化表格，通过自动化的“表格到任务”转换流程，生成了涵盖多选问答、文本分类、表格推理等多样化少样本任务。这一研究方向的核心价值在于，它突破了传统人工标注的高成本限制，利用互联网上海量、动态的表格资源，为语言模型提供丰富的训练场景。当前，该数据集被广泛应用于探究训练数据分布与少样本适应性能之间的关联，特别是在游戏领域的高频交互场景中，其蕴含的领域特定知识（如角色属性、物品合成表等）为模型在垂直领域中的快速迁移学习提供了独特支撑。随着Few-shot Adaptation Works等研究的深入，该数据集正推动少样本学习从通用基准测试向真实世界、长尾任务延伸，为构建更具鲁棒性和自适应能力的语言模型开辟了新路径。