MicPie/unpredictable_cluster13
收藏数据集卡片 for "UnpredicTable-cluster13" - 少数任务数据集
数据集描述
数据集摘要
UnpredicTable 数据集包含网页表格格式化的少数任务，用于微调语言模型以提高其少数任务性能。
支持的任务和排行榜
数据集涵盖广泛的潜在任务，如多项选择、问答、表格问答、文本分类等。旨在通过微调/预训练提高少数任务性能。
语言
英语
数据集结构
数据实例
每个任务以 jsonline 文件表示，包含多个少数任务示例。每个示例是一个字典，包含 task、input、options 和 output 字段。input 字段包含表格中同一行的多个列元素，output 字段是同一行的目标列元素。对于多项选择分类，options 字段包含模型需要选择的选项。
数据字段
- task: 任务标识符
- input: 表格中特定行的列元素
- options: 多项选择分类的选项
- output: 与输入同一行的目标列元素
- pageTitle: 包含表格的页面标题
- outputColName: 输出列名称
- url: 包含表格的网站链接
- wdcFile: WDC Web Table Corpus 文件
数据分割
UnpredicTable 数据集没有额外的数据分割。
数据集创建
策划理由
少数任务训练多任务数据集已证明可以提高语言模型在新的少数任务上的学习性能，但尚不清楚哪些训练任务能有效适应下游任务。我们自动从多样化的互联网表格中提取 413,299 个任务，作为研究训练数据与少数任务学习关系的研究资源。
源数据
初始数据收集和规范化
我们使用来自 WDC Web Table Corpus 2015 的英语关系子集的互联网表格。该数据集包含 50,820,165 个表格，来自 323,160 个网页域名。我们将其转换为少数任务学习任务。
源语言生产者
数据集提取自 WDC Web Table Corpora。
注释
注释过程
仅对 UnpredicTable-rated-low、UnpredicTable-rated-medium 和 UnpredicTable-rated-high 数据子集进行了手动注释以评估任务质量。
注释者
注释由实验室助理完成。
个人和敏感信息
数据提取自 WDC Web Table Corpora，可能包含任何用户身份或敏感信息。
使用数据集的注意事项
数据集的社会影响
该数据集旨在作为研究资源，用于研究训练数据与少数任务学习之间的关系。由于包含高质量和低质量数据以及多样化的内容，未经仔细研究，不应用于训练将部署在决策关键或面向用户的场景中的模型。
偏见讨论
由于数据集包含从网页抓取的表格，可能包含许多有害偏见和文本。我们尚未对数据集中的偏见进行分析，也未明确过滤内容。
其他已知限制
无其他已知限制。
附加信息
数据集策展人
Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez
许可信息
Apache 2.0
引用信息
@misc{chan2022few, author = {Chan, Jun Shern and Pieler, Michael and Jao, Jonathan and Scheurer, Jérémy and Perez, Ethan}, title = {Few-shot Adaptation Works with UnpredicTable Data}, publisher={arXiv}, year = {2022}, url = {https://arxiv.org/abs/2208.01009} }
