MicPie/unpredictable_cluster16
收藏数据集卡片：UnpredicTable-cluster16
数据集描述
数据集摘要
UnpredicTable 数据集包含从网页表格转换而来的少量任务，用于微调语言模型以提高其在少量样本学习中的性能。
支持的任务和排行榜
数据集涵盖广泛的潜在任务，如多项选择、问答、表格问答、文本分类等。旨在通过微调/预训练来提高少量样本学习的性能。
语言
英语
数据集结构
数据实例
每个任务以 jsonline 文件形式表示，包含多个少量样本示例。每个示例是一个字典，包含 task、input、options 和 output 字段。input 字段包含表格中同一行的多个列元素，output 字段是同一行的目标列元素。对于多项选择分类，options 字段包含模型需要选择的选项。
数据字段
- task: 任务标识符
- input: 表格中特定行的列元素
- options: 多项选择分类的选项
- output: 与输入同一行的目标列元素
- pageTitle: 包含表格的页面标题
- outputColName: 输出列名称
- url: 包含表格的网站链接
- wdcFile: WDC Web Table Corpus 文件
数据分割
UnpredicTable 数据集没有额外的数据分割。
数据集创建
策划理由
少量样本训练多任务数据集已被证明可以提高语言模型在新任务上的少量样本学习性能，但尚不清楚哪些训练任务能有效适应下游任务。我们自动从多样化的互联网表格中提取 413,299 个任务，作为研究训练数据与少量样本学习关系的研究资源。
源数据
初始数据收集和规范化
我们使用来自 WDC Web Table Corpus 2015 的英语语言关系子集的互联网表格。该数据集包含 50,820,165 个表格，来自 323,160 个网页域。我们将其转换为少量样本学习任务。
源语言生产者
数据集提取自 WDC Web Table Corpora。
注释
注释过程
仅对 UnpredicTable-rated-low、UnpredicTable-rated-medium 和 UnpredicTable-rated-high 数据子集进行了手动注释以评估任务质量。
注释者
注释由实验室助理完成。
个人和敏感信息
数据提取自 WDC Web Table Corpora，其数据来自 Common Crawl。我们未对数据进行任何过滤，因此可能包含用户身份或其他敏感信息。
使用数据的注意事项
数据集的社会影响
该数据集旨在作为研究资源，用于研究训练数据与少量样本学习之间的关系。由于包含高质量和低质量数据以及多样化的内容，未经仔细调查，不应将其用于训练将部署在决策关键或面向用户场景中的模型。
偏见的讨论
由于数据集包含从网页抓取的表格，因此也会包含许多有毒、种族主义、性别歧视和其他有害偏见和文本。我们未对数据集中的偏见进行分析，也未明确过滤内容。这意味着在数据集上训练的模型可能会反映出数据集中存在的有害偏见和有毒文本。
其他已知限制
无其他已知限制。
附加信息
数据集策展人
Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez
许可信息
Apache 2.0
引用信息
@misc{chan2022few, author = {Chan, Jun Shern and Pieler, Michael and Jao, Jonathan and Scheurer, Jérémy and Perez, Ethan}, title = {Few-shot Adaptation Works with UnpredicTable Data}, publisher={arXiv}, year = {2022}, url = {https://arxiv.org/abs/2208.01009} }
