MicPie/unpredictable_cluster07

UnpredicTable数据集由网络表格格式化而成的少样本任务组成，旨在通过微调语言模型来提高其在少样本学习中的表现。数据集包含多个版本，如UnpredicTable-full、UnpredicTable-unique、UnpredicTable-5k等，每个版本都有不同的任务数量和来源。数据集支持多种任务类型，如多项选择、问答、文本生成等。数据集的语言为英语，且没有额外的数据分割。数据集的创建是为了研究训练数据与少样本学习之间的关系，数据来源于WDC Web Table Corpus。数据集可能包含敏感信息，因此在使用时需要谨慎。

The UnpredicTable dataset comprises few-shot tasks formatted as web tables, and is developed to enhance the performance of language models in few-shot learning via fine-tuning. The dataset offers multiple variants including UnpredicTable-full, UnpredicTable-unique, UnpredicTable-5k and others, where each variant has distinct numbers of tasks and data sources. It supports various task types such as multiple-choice, question answering, text generation and more. The dataset is in English and has no additional data splits. This dataset was created to study the relationship between training data and few-shot learning, with its data sourced from the WDC Web Table Corpus. The dataset may contain sensitive information, so caution should be exercised when using it.

原始信息汇总

数据集概述

数据集名称

• 名称: UnpredicTable-cluster07
• 别名: UnpredicTable数据集的子集，基于聚类分析

数据集属性

• 语言: 英语
• 许可证: Apache-2.0
• 多语言性: 单语种
• 大小类别: 100K<n<1M

数据集任务

• 任务类别:
  • 多项选择
  • 问答
  • 零样本分类
  • 文本到文本生成
  • 表格问答
  • 文本生成
  • 文本分类
  • 表格分类
• 具体任务ID:
  • 多项选择-QA
  • 抽取式QA
  • 开放域QA
  • 封闭域QA
  • 封闭书QA
  • 开放书QA
  • 语言建模
  • 多类分类
  • 自然语言推理
  • 主题分类
  • 多标签分类
  • 表格多类分类
  • 表格多标签分类

数据集结构

• 数据实例: 每个任务以jsonline文件形式表示，包含多个few-shot示例。每个示例包含task, input, options, output等字段。
• 数据字段:
  • task: 任务标识符
  • input: 表中特定行的列元素
  • options: 多选分类中的选项
  • output: 与输入同一行的目标列元素
  • pageTitle: 包含表的页面标题
  • outputColName: 输出列名
  • url: 包含表的网站URL
  • wdcFile: WDC Web Table Corpus文件
• 数据分割: 数据集未提供额外的数据分割。

数据集创建

• 来源数据: 数据集从WDC Web Table Corpus 2015中提取，该数据集包含50,820,165个表格，来自323,160个网站域名。
• 注释过程: 仅对特定子集进行了手动注释以评估任务质量。
• 个人和敏感信息: 数据集可能包含未过滤的个人和敏感信息，因为数据直接从网络表格中提取。

使用考虑

• 社会影响: 数据集用于研究训练数据与few-shot学习之间的关系，可能包含高质量和低质量数据，以及可能不真实或不适当的内容。
• 偏见讨论: 数据集可能包含网络表格中的有害偏见和文本，未进行偏见分析或内容过滤。

附加信息

• 数据集创建者: Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez
• 引用信息: 请参考提供的引用信息以正确引用数据集。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，少样本学习能力的提升高度依赖多样化的训练任务。UnpredicTable-cluster07数据集的构建源于WDC Web Table Corpus 2015中的互联网表格，该语料库包含超过5000万张从Common Crawl提取的英文表格。研究团队通过自动化流程将这些表格转化为少样本任务：每个任务选取表格中某一行作为输入，指定另一列作为输出目标，并针对多选分类任务提供候选选项。该过程无需人工标注，仅依赖结构化数据的重组，最终从23,744个网站中生成超过41万个任务，而cluster07是其中基于聚类算法划分的子集之一，聚焦于特定主题或格式的表格群体。

特点

该数据集的核心特点在于其极宽的任务分布形态——涵盖数千个任务，但每个任务仅包含少量示例，这与传统深度垂直的NLP数据集形成鲜明对比。任务类型横跨多项选择、抽取式问答、零样本分类、文本生成与表格问答等，体现了互联网表格内容的天然多样性。作为聚类子集，cluster07进一步浓缩了某一类语义或结构特征相近的表格，使得任务间具有内在关联性，便于研究特定数据分布对少样本适应的影响。更重要的是，所有数据均来自真实网页，保留了原始语境中的噪声与风格差异，为探索现实场景下的模型泛化能力提供了宝贵资源。

使用方法

使用UnpredicTable-cluster07时，研究者可直接通过HuggingFace数据集加载工具获取JSON格式的少样本任务。每个任务包含标识符、输入字段（列元素）、输出目标及可选的选项列表。典型应用流程是将同一任务的多个示例拼接为上下文，对语言模型进行微调或预训练，以提升其在未见任务上的少样本表现。由于数据集不包含预设的数据划分，用户可根据研究需求自定义训练与评估集。推荐结合论文中的基线方法，对比不同聚类子集的效果，或将其与完整版、唯一版等版本联合使用，系统分析训练数据的多样性与质量对模型适应能力的影响。

背景与挑战

背景概述

UnpredicTable-cluster07是UnpredicTable数据集家族中的一个子集，由纽约大学的研究人员Jun Shern Chan、Michael Pieler、Jonathan Jao、Jérémy Scheurer和Ethan Perez于2022年创建。该数据集的核心研究问题在于探索如何从海量互联网表格中自动提取少量样本学习任务，以替代昂贵的人工标注过程，从而提升语言模型在少样本场景下的适应能力。UnpredicTable-full源自WDC Web Table Corpus 2015，包含超过41万项任务，覆盖2.3万余个网站，而cluster07作为基于聚类划分的子集之一，旨在提供特定主题或结构相似的任务集合，为研究训练数据多样性与少样本学习效果之间的关系提供了独特资源。该数据集在自然语言处理领域产生了重要影响，推动了少样本学习研究向更大规模、更低成本的方向发展。

当前挑战

UnpredicTable-cluster07面临的核心挑战包括：1)领域问题层面，少样本学习任务通常依赖人工精心设计的训练集，而自动从网络表格中提取的任务质量参差不齐，存在噪声、无关信息或错误标注，如何确保这些任务能有效提升模型在未见任务上的泛化能力是一个关键难题；2)构建过程中，表格到任务的转换需要处理表格结构多样性、列名歧义、语义不一致等问题，同时过滤低质量或有害内容，但数据集并未进行显式过滤，导致可能包含偏见、歧视性文本或敏感信息，这限制了其在生产环境中的直接应用。此外，每个任务仅有少量示例，使得模型在训练时面临过拟合风险，进一步加剧了少样本适应的挑战。

常用场景

经典使用场景

UnpredicTable-cluster07 数据集的核心经典使用场景在于其作为少样本学习（few-shot learning）任务的训练与评估资源。该数据集从海量互联网表格中自动提取并转化为结构化的少样本任务，涵盖多样化的任务类型，如多项选择、问答、文本分类和表格问答等。研究者可将其用于微调预训练语言模型，以提升模型在未见任务上的少样本泛化能力。其独特的“宽任务、少样本”分布特性，为探究训练数据多样性与下游任务适应性的关系提供了理想平台。

实际应用

在实际应用中，UnpredicTable-cluster07 可用于提升语言模型在资源匮乏场景下的快速适应能力，例如新兴领域的知识问答、低资源语言的文本理解、以及特定行业（如医疗、金融）的表格信息抽取。通过在该数据集上微调，模型能够更高效地利用少量示例完成新任务，减少对大规模人工标注的依赖。此外，其子集按来源网站或聚类划分，便于针对特定领域或主题进行定制化训练，满足垂直场景的部署需求。

衍生相关工作

该数据集衍生了一系列关于少样本学习与训练数据关系的经典工作。其核心论文《Few-shot Adaptation Works with UnpredicTable Data》系统展示了互联网表格作为少样本训练源的可行性，并分析了任务质量、数量与多样性对模型性能的影响。后续研究基于其子集探索了聚类任务分布对泛化的作用，以及按质量评级过滤数据的效果。这些工作推动了少样本学习从人工标注向自动化数据构建的范式转变，并为多任务预训练与元学习领域提供了可复现的基准资源。