MicPie/unpredictable_cluster-noise

UnpredicTable数据集由互联网表格组成，这些表格被格式化为few-shot任务，用于微调语言模型以提高其在few-shot学习中的表现。数据集包含多个版本，如UnpredicTable-full、UnpredicTable-unique、UnpredicTable-5k等，每个版本都有不同的过滤和聚类标准。数据集的任务类型广泛，包括多项选择、问答、文本分类等。数据集的创建基于WDC Web Table Corpus，并通过自动化流程将表格转换为few-shot任务。数据集未进行敏感信息过滤，可能包含有害偏见和不当内容。

原始信息汇总

数据集概述

数据集名称

• 名称: UnpredicTable-cluster-noise
• 别名: UnpredicTable

数据集描述

• 摘要: UnpredicTable 数据集包含从网页表格格式化为少样本任务的数据，用于微调语言模型以提高其少样本性能。
• 支持任务: 多选题、问答、零样本分类、文本到文本生成、表格问答、文本生成、文本分类、表格分类等。
• 语言: 英语

数据集结构

• 数据实例: 每个任务以jsonline文件形式表示，包含多个少样本示例。每个示例包含task, input, options, output等字段。
• 数据字段: 包括任务标识、输入列元素、选项（多选分类时）、输出目标、页面标题、输出列名、URL、WDC文件等。
• 数据分割: 数据集未提供额外的数据分割。

数据集创建

• 筛选理由: 用于研究训练数据与少样本学习之间的关系，自动从多样化的互联网表格中提取413,299个任务。
• 源数据: 数据来源于WDC Web Table Corpus 2015的英语关系子集，包含50,820,165个表格。
• 注释: 仅对部分子集进行了人工注释以评估任务质量。
• 个人信息和敏感信息: 数据集可能包含敏感信息，因为未对数据进行过滤。

使用数据的考虑

• 社会影响: 数据集用于研究目的，含有高质量和低质量数据，可能包含不真实或不适当的内容。
• 偏见讨论: 数据集可能包含有害偏见和有毒文本，模型训练时应谨慎处理。

附加信息

• 数据集管理者: Jun Shern Chan, Michael Pieler, Jonathan Jao, Jérémy Scheurer, Ethan Perez
• 许可信息: Apache 2.0
• 引用信息: 请参考论文 "Few-shot Adaptation Works with UnpredicTable Data"。