MicPie/unpredictable_dividend-com

UnpredicTable数据集包含从网页表格中提取的少样本任务，用于微调语言模型以提高其少样本学习性能。数据集支持多种任务类型，如多项选择、问答、文本生成等。数据集的创建基于WDC Web Table Corpus，并自动转换为少样本学习任务。数据集未进行人工标注，但部分子集进行了任务质量的人工评分。数据集可能包含敏感信息，使用时需谨慎。

The UnpredicTable dataset comprises few-shot tasks extracted from web tables, which is developed for fine-tuning language models to improve their few-shot learning performance. The dataset supports multiple task types, including multiple choice, question answering, text generation and so on. It is built upon the WDC Web Table Corpus and automatically converted into few-shot learning tasks. No manual annotation has been carried out for the full dataset, but manual scoring of task quality has been conducted for some of its subsets. The dataset may contain sensitive information, so caution should be exercised during usage.

原始信息汇总

数据集概述

名称: UnpredicTable-dividend-com

语言: 英语

许可证: Apache-2.0

多语言性: 单语

大小: 100K<n<1M

任务类型:

• 多项选择
• 问答
• 零样本分类
• 文本到文本生成
• 表格问答
• 文本生成
• 文本分类
• 表格分类

数据集版本:

• UnpredicTable-full: 包含413,299个任务，来自23,744个独特网站。
• UnpredicTable-unique: 与UnpredicTable-full相同，但每个网站最多一个任务。
• UnpredicTable-5k: 包含5,000个随机表格。
• UnpredicTable-rated-low, UnpredicTable-rated-medium, UnpredicTable-rated-high: 基于人工质量评级的子集。
• 基于网站来源的多个子集。
• 基于聚类的多个子集。

数据集结构

数据实例:

• 每个任务表示为一个jsonline文件，包含几个few-shot示例。
• 每个示例包含task, input, options, output等字段。
• 额外元数据字段包括pageTitle, title, outputColName, url, wdcFile。

数据字段:

• task: 任务标识符
• input: 表格中特定行的列元素
• options: 多选分类中的选项
• output: 与输入同一行的目标列元素
• pageTitle: 包含表格的页面标题
• outputColName: 输出列名
• url: 包含表格的网站URL
• wdcFile: WDC Web Table Corpus文件

数据分割:

• 数据集未提供额外的数据分割。

数据集创建

采集理由:

• 用于研究训练数据与少样本学习之间的关系。
• 自动从互联网表格中提取413,299个任务。

源数据:

• 使用WDC Web Table Corpus 2015的英语关系子集。
• 数据来自2015年7月的Common Crawl网络语料库。

注释:

• 仅对特定子集进行人工注释以评估任务质量。

个人和敏感信息:

• 数据未经过滤，可能包含敏感信息。

使用数据注意事项

社会影响:

• 数据集包含高质量和低质量数据，以及可能不真实或不适当的内容。

偏见讨论:

• 数据集可能包含有害偏见和有毒文本，未进行分析或过滤。

其他已知限制:

• 无其他已知限制。

附加信息

数据集管理员:

• Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez

许可证信息:

• Apache 2.0

引用信息:

@misc{chan2022few, author = {Chan, Jun Shern and Pieler, Michael and Jao, Jonathan and Scheurer, Jérémy and Perez, Ethan}, title = {Few-shot Adaptation Works with UnpredicTable Data}, publisher={arXiv}, year = {2022}, url = {https://arxiv.org/abs/2208.01009} }