MicPie/unpredictable_dividend-com

UnpredicTable数据集包含从网页表格中提取的少样本任务，用于微调语言模型以提高其少样本学习性能。数据集支持多种任务类型，如多项选择、问答、文本生成等。数据集的创建基于WDC Web Table Corpus，并自动转换为少样本学习任务。数据集未进行人工标注，但部分子集进行了任务质量的人工评分。数据集可能包含敏感信息，使用时需谨慎。

原始信息汇总

数据集概述

名称: UnpredicTable-dividend-com

语言: 英语

许可证: Apache-2.0

多语言性: 单语

大小: 100K<n<1M

任务类型:

• 多项选择
• 问答
• 零样本分类
• 文本到文本生成
• 表格问答
• 文本生成
• 文本分类
• 表格分类

数据集版本:

• UnpredicTable-full: 包含413,299个任务，来自23,744个独特网站。
• UnpredicTable-unique: 与UnpredicTable-full相同，但每个网站最多一个任务。
• UnpredicTable-5k: 包含5,000个随机表格。
• UnpredicTable-rated-low, UnpredicTable-rated-medium, UnpredicTable-rated-high: 基于人工质量评级的子集。
• 基于网站来源的多个子集。
• 基于聚类的多个子集。

数据集结构

数据实例:

• 每个任务表示为一个jsonline文件，包含几个few-shot示例。
• 每个示例包含task, input, options, output等字段。
• 额外元数据字段包括pageTitle, title, outputColName, url, wdcFile。

数据字段:

• task: 任务标识符
• input: 表格中特定行的列元素
• options: 多选分类中的选项
• output: 与输入同一行的目标列元素
• pageTitle: 包含表格的页面标题
• outputColName: 输出列名
• url: 包含表格的网站URL
• wdcFile: WDC Web Table Corpus文件

数据分割:

• 数据集未提供额外的数据分割。

数据集创建

采集理由:

• 用于研究训练数据与少样本学习之间的关系。
• 自动从互联网表格中提取413,299个任务。

源数据:

• 使用WDC Web Table Corpus 2015的英语关系子集。
• 数据来自2015年7月的Common Crawl网络语料库。

注释:

• 仅对特定子集进行人工注释以评估任务质量。

个人和敏感信息:

• 数据未经过滤，可能包含敏感信息。

使用数据注意事项

社会影响:

• 数据集包含高质量和低质量数据，以及可能不真实或不适当的内容。

偏见讨论:

• 数据集可能包含有害偏见和有毒文本，未进行分析或过滤。

其他已知限制:

• 无其他已知限制。

附加信息

数据集管理员:

• Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez

许可证信息:

• Apache 2.0

引用信息:

@misc{chan2022few, author = {Chan, Jun Shern and Pieler, Michael and Jao, Jonathan and Scheurer, Jérémy and Perez, Ethan}, title = {Few-shot Adaptation Works with UnpredicTable Data}, publisher={arXiv}, year = {2022}, url = {https://arxiv.org/abs/2208.01009} }