MicPie/unpredictable_cluster14
收藏数据集卡片：UnpredicTable-cluster14
数据集描述
数据集概述
UnpredicTable 数据集包含从网页表格转换而来的少样本任务，用于微调语言模型以提高其少样本性能。
支持的任务和排行榜
数据集涵盖多种任务类型，如多项选择、问答、表格问答、文本分类等。其目的是通过在数据集上进行微调或预训练来提高少样本性能。
语言
英语
数据集结构
数据实例
每个任务以 jsonline 文件形式表示，包含多个少样本示例。每个示例是一个字典，包含 task（任务标识）、input（输入列元素）、options（选项）和 output（输出列元素）字段。此外，还有 pageTitle、title、outputColName、url 和 wdcFile 等元数据字段。
数据字段
- task: 任务标识
- input: 表格中特定行的列元素
- options: 多项选择分类的选项
- output: 与输入行相同的输出列元素
- pageTitle: 包含表格的页面标题
- outputColName: 输出列名称
- url: 包含表格的网站链接
- wdcFile: WDC Web Table Corpus 文件
数据分割
UnpredicTable 数据集没有额外的数据分割。
数据集创建
策划理由
少样本训练多任务数据集已被证明可以提高语言模型在新任务上的少样本学习性能，但尚不清楚哪些训练任务能有效适应下游任务。我们自动从多样化的互联网表格中提取了 413,299 个任务，作为研究训练数据与少样本学习关系的研究资源。
源数据
初始数据收集和规范化
我们使用来自 WDC Web Table Corpus 2015 的英语语言关系子集的互联网表格。该数据集包含 50,820,165 个表格，来自 323,160 个网页域名。我们将其转换为少样本学习任务。
源语言生产者
数据集提取自 WDC Web Table Corpora。
注释
注释过程
手动注释仅针对 UnpredicTable-rated-low、UnpredicTable-rated-medium 和 UnpredicTable-rated-high 数据子集进行任务质量评级。
注释者
注释由实验室助理完成。
个人和敏感信息
数据提取自 WDC Web Table Corpora，其中包含来自 Common Crawl 的表格。我们未对数据进行任何过滤，因此可能包含用户身份或其他敏感信息。
使用数据集的注意事项
数据集的社会影响
该数据集旨在作为研究资源，用于研究训练数据与少样本学习之间的关系。由于包含高质量和低质量数据以及多样化的内容，未经仔细调查，不应将其用于训练将部署在决策关键或面向用户场景中的模型。
偏见讨论
由于数据集包含从网页抓取的表格，因此也可能包含许多有毒、种族主义、性别歧视和其他有害偏见和文本。我们未对数据集中的偏见进行分析，也未明确过滤内容。这意味着在数据集上训练的模型可能反映出数据集中存在的有害偏见和有毒文本。
其他已知限制
无其他已知限制。
附加信息
数据集策展人
Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez
许可信息
Apache 2.0
引用信息
@misc{chan2022few, author = {Chan, Jun Shern and Pieler, Michael and Jao, Jonathan and Scheurer, Jérémy and Perez, Ethan}, title = {Few-shot Adaptation Works with UnpredicTable Data}, publisher={arXiv}, year = {2022}, url = {https://arxiv.org/abs/2208.01009} }
