MicPie/unpredictable_unique

UnpredicTable数据集由从互联网表格中提取的few-shot任务组成，旨在通过微调语言模型来提高其few-shot性能。数据集包含多个版本，如UnpredicTable-full、UnpredicTable-unique、UnpredicTable-5k等，每个版本都有不同的任务数量和来源。数据集的任务类型广泛，包括多项选择、问答、文本生成等。数据集的语言为英语，且未进行人工标注。

原始信息汇总

数据集卡片：UnpredicTable-unique

数据集描述

数据集摘要

UnpredicTable数据集包含网络表格，格式化为少样本任务，用于微调语言模型以提高其少样本性能。

支持的任务和排行榜

数据集涵盖广泛的任务类型，如多项选择、问答、表格问答、文本分类等。旨在通过微调/预训练来提高少样本性能。

语言

英语

数据集结构

数据实例

每个任务以jsonline文件表示，包含多个少样本示例。每个示例是一个字典，包含任务标识符、输入、选项和输出字段。

数据字段

• task：任务标识符
• input：表格中特定行的列元素
• options：多项选择分类的选项
• output：与输入同一行的目标列元素
• pageTitle：包含表格的页面标题
• outputColName：输出列名称
• url：包含表格的网站URL
• wdcFile：WDC Web Table Corpus文件

数据分割

UnpredicTable数据集没有额外的数据分割。

数据集创建

策划理由

少样本训练多任务数据集已证明可以提高语言模型在新任务上的少样本学习性能，但尚不清楚哪些训练任务能有效适应下游任务。

源数据

初始数据收集和规范化

使用来自WDC Web Table Corpus 2015的英语语言关系子集的网络表格。

源语言生产者

数据集提取自WDC Web Table Corpora。

注释

注释过程

仅对UnpredicTable-rated-low、UnpredicTable-rated-medium和UnpredicTable-rated-high数据子集进行了手动注释以评估任务质量。

注释者

注释由实验室助理完成。

个人和敏感信息

数据提取自WDC Web Table Corpora，可能包含用户身份或其他敏感信息。

使用数据的注意事项

数据集的社会影响

该数据集旨在作为研究资源，用于研究训练数据与少样本学习之间的关系。应谨慎使用，避免用于决策关键或面向用户的场景。

偏见的讨论

数据集包含从网络上抓取的表格，可能包含许多有害、种族主义、性别歧视等偏见和文本。

其他已知限制

无其他已知限制。

附加信息

数据集策展人

Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez

许可信息

Apache 2.0

引用信息

@misc{chan2022few, author = {Chan, Jun Shern and Pieler, Michael and Jao, Jonathan and Scheurer, Jérémy and Perez, Ethan}, title = {Few-shot Adaptation Works with UnpredicTable Data}, publisher={arXiv}, year = {2022}, url = {https://arxiv.org/abs/2208.01009} }