MicPie/unpredictable_cluster01

UnpredicTable数据集由互联网表格格式化而成的few-shot任务组成，旨在通过微调语言模型来提高其在few-shot任务中的表现。数据集包含多个版本，如UnpredicTable-full、UnpredicTable-unique、UnpredicTable-5k等，每个版本包含不同数量的任务和表格。数据集的任务类型广泛，包括多项选择、问答、表格问答、文本分类等。数据集的结构为每个任务包含多个few-shot示例，每个示例包含输入、选项和输出字段。数据集的创建基于WDC Web Table Corpus，并通过自动提取任务来生成few-shot学习任务。数据集未进行人工标注，但部分子集进行了质量评级。数据集可能包含敏感信息，使用时需谨慎。The UnpredicTable dataset comprises few-shot tasks formatted from internet tables, with the goal of enhancing language model performance on few-shot tasks through fine-tuning. The dataset offers multiple variants, such as UnpredicTable-full, UnpredicTable-unique, and UnpredicTable-5k, where each variant contains distinct quantities of tasks and tables. It covers a wide spectrum of task types, including multiple choice, question answering, table question answering, text classification, and others. Each task in the dataset includes multiple few-shot examples, with each example consisting of input, option, and output fields. The dataset is constructed based on the WDC Web Table Corpus, and few-shot learning tasks are generated via automated task extraction. No manual annotation was performed for the entire dataset, though quality ratings were carried out on some of its subsets. The dataset may contain sensitive information, and caution should be exercised when using it.

原始信息汇总

数据集概述

数据集名称

• 名称: UnpredicTable-cluster01
• 别名: UnpredicTable数据集的集群子集之一

数据集基本信息

• 语言: 英语
• 许可证: Apache-2.0
• 多语言性: 单语种
• 大小: 100K<n<1M

数据集任务类型

• 任务类型:
  • 多项选择
  • 问答
  • 零样本分类
  • 文本到文本生成
  • 表格问答
  • 文本生成
  • 文本分类
  • 表格分类
• 具体任务ID:
  • 多项选择-问答
  • 抽取式问答
  • 开放领域问答
  • 封闭领域问答
  • 封闭书本问答
  • 开放书本问答
  • 语言建模
  • 多类分类
  • 自然语言推理
  • 主题分类
  • 多标签分类
  • 表格多类分类
  • 表格多标签分类

数据集内容描述

• 内容概述: UnpredicTable数据集包含从网页表格中提取的少量样本任务，用于微调语言模型以提高其少量样本性能。
• 数据集版本:
  • UnpredicTable-full: 包含413,299个任务，来自23,744个独特网站。
  • UnpredicTable-unique: 与UnpredicTable-full相同，但每个网站最多一个任务。
  • UnpredicTable-5k: 包含5,000个随机选择的表格。
  • 根据人工质量评分的子集:
    • UnpredicTable-rated-low
    • UnpredicTable-rated-medium
    • UnpredicTable-rated-high
  • 根据网站来源的子集:
    • 多个特定网站的数据集子集
  • 根据聚类分析的子集:
    • 多个集群编号的数据集子集

数据集结构

• 数据实例: 每个任务以jsonline文件形式表示，包含多个少量样本示例。
• 数据字段:
  • task: 任务标识符
  • input: 表格中特定行的列元素
  • options: 多选项分类的选择项
  • output: 与输入同一行的目标列元素
  • pageTitle: 包含表格的页面标题
  • outputColName: 输出列名
  • url: 包含表格的网站URL
  • wdcFile: WDC Web Table Corpus文件

数据集创建

• 来源数据: 数据来自WDC Web Table Corpus 2015的英语关系子集。
• 注释过程: 仅对特定子集进行了人工注释以评估任务质量。
• 个人和敏感信息: 数据未经过滤，可能包含敏感信息。

使用数据注意事项

• 社会影响: 数据集用于研究，可能包含不真实或不适当的内容。
• 偏见讨论: 数据集可能包含有害偏见和文本，未进行偏见分析。

附加信息

• 数据集管理者: Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez
• 引用信息: 参见提供的引用信息。

搜集汇总

数据集介绍

构建方式

UnpredicTable-cluster01 数据集源自 WDC Web Table Corpus 2015，该语料库从2015年7月的 Common Crawl 网络爬虫中提取了超过5000万张英文关系型表格。研究团队通过自动化的表格到任务（tables-to-tasks）转换流程，将这些互联网表格转化为少量样本学习任务。具体而言，每个表格被解析为多个示例，每个示例包含输入字段（同一行的多个列元素）和输出字段（同一行的目标列元素），并附加选项字段以支持多选分类任务。该数据集是 UnpredicTable 系列中基于聚类划分的子集之一，其聚类方法依据任务相似性进行分组，从而为研究训练数据与少量样本学习之间的关系提供了结构化资源。

特点

UnpredicTable-cluster01 数据集的核心特点在于其广泛的任务覆盖与独特的结构形态。它包含超过10万项任务，每项任务仅由少量示例组成，形成一种“宽而浅”的数据分布，这与传统自然语言处理数据集的“窄而深”形态形成鲜明对比。任务类型涵盖多项选择、问答、文本分类、表格问答等多种类别，反映了互联网表格内容的多样性。该数据集无需人工标注，完全自动化构建，因此保留了原始网络数据的真实性与噪声，包括潜在的有害偏见或不实信息。作为聚类子集，它聚焦于特定任务簇，便于研究者深入分析同类任务的迁移学习效果。

使用方法

UnpredicTable-cluster01 数据集主要用于提升语言模型的少量样本学习性能。研究者可通过 Hugging Face 的 datasets 库直接加载该数据集，使用 load_dataset('MicPie/unpredictable_cluster01') 命令即可获取。每个任务以 JSON Lines 格式存储，包含 task、input、options、output 等字段，以及 pageTitle、url 等元数据。使用时，可将同一任务的多个示例串联为少量样本提示，用于微调预训练语言模型。该数据集不预设训练-验证-测试划分，允许用户根据研究需求灵活组织数据。推荐应用于多任务预训练、元学习或领域适应等场景，以探索不同训练任务对下游少量样本适应能力的影响。

背景与挑战

背景概述

UnpredicTable-cluster01 数据集诞生于2022年，由纽约大学的研究人员 Jun Shern Chan、Ethan Perez 等人创建，旨在探索少样本学习（Few-shot Learning）中训练数据与下游任务适应性的深层关系。该数据集源自 WDC Web Table Corpus 2015，通过自动化流程从互联网表格中提取并转化为少样本任务，涵盖了多达413,299个任务，覆盖从多选问答到文本分类的广泛领域。其核心研究问题在于，传统的少样本数据集依赖昂贵的人工标注，限制了任务的多样性与规模，而 UnpredicTable 通过利用网络表格的天然结构化信息，提供了大规模、低成本的替代方案。这一创新不仅推动了少样本学习的数据构建范式，还为研究数据质量与模型泛化能力之间的权衡提供了宝贵资源，对自然语言处理领域的少样本适应研究产生了深远影响。

当前挑战

该数据集面临的核心挑战源于其自动构建的固有特性。首先，在领域问题层面，网络表格内容庞杂且质量参差不齐，导致任务分布高度非均衡，许多任务包含噪声或逻辑不完整，例如表格中的错误对齐或缺失值可能误导模型，削弱少样本学习的泛化能力。其次，构建过程中，从50M表格中筛选并转换任务的自动化流程需应对格式多样性与语义歧义，例如同一表格可能衍生出多种任务类型，但缺乏统一的质量控制机制。此外，数据集未过滤敏感或偏见性内容，这可能在训练中引入有害偏差，影响模型在实际部署中的公平性与安全性。这些挑战共同凸显了在平衡数据规模、多样性与可靠性方面的技术瓶颈，亟待后续研究通过更精细的清洗策略或质量评估方法加以解决。

常用场景

经典使用场景

在自然语言处理与少样本学习的研究领域中，MicPie/unpredictable_cluster01 数据集以其独特的构建方式脱颖而出。该数据集源自海量互联网表格，通过自动化流程将表格转化为少样本任务，为语言模型提供了丰富多样的训练素材。其最经典的使用场景在于作为预训练或微调数据源，用以提升模型在面对全新任务时的少样本适应能力。研究者可基于该数据集中的任务分布，探究不同任务类型、数据规模与多样性对模型泛化性能的影响，从而推动少样本学习理论的深入发展。

解决学术问题

该数据集的核心学术贡献在于缓解了少样本学习研究中训练数据匮乏且成本高昂的困境。传统少样本数据集依赖人工标注，规模有限且领域狭窄，难以支撑对训练数据与下游任务适应之间复杂关系的系统性探究。UnpredicTable 系列通过自动从网络表格中抽取数十万任务，构建了一个覆盖广泛主题与任务形式的宽分布数据集。这使研究者得以首次在如此大规模、多样化的任务集合上，定量分析训练数据的质量、来源、聚类特征等因素如何影响模型的少样本迁移效果，为理解数据驱动下的少样本学习机制提供了前所未有的实验平台。

衍生相关工作

该数据集衍生了一系列重要的研究工作，推动了少样本学习与表格理解领域的交叉融合。其核心论文“Few-shot Adaptation Works with UnpredicTable Data”首次系统性地验证了从互联网表格自动构建的少样本任务集能够有效提升语言模型的适应能力，并分析了任务多样性、数据质量与模型规模等因素的影响。后续工作在此基础上，进一步探索了基于聚类子集（如cluster01）的任务相似性对迁移效果的作用，以及如何结合人类质量评分筛选高价值训练数据。这些研究共同构建了一个从数据构建、质量评估到模型训练与评估的完整研究范式，为少样本学习的数据驱动方法奠定了坚实基础。