osunlp/TableInstruct

TableInstruct Dataset是一个用于表格任务的指令调优数据集，涵盖了各种现实世界中的表格和实际任务。该数据集包含14个数据集和11个任务。

The TableInstruct Dataset is an instruction-tuning dataset for table-related tasks, covering various real-world tables and practical tasks. This dataset includes 14 datasets and 11 tasks.

原始信息汇总

TableLlama 数据集概述

简介

TableLlama 是一个开源的大型通用模型，专门针对各种基于表格的任务进行优化。该模型在 TableInstruct 数据集上进行训练，这是一个精心策划的用于表格指令调优的数据集。TableLlama 在 260 万个基于表格的任务数据上进行了调优，能够处理高达 8K 的上下文。

数据集

模型在 TableInstruct 数据集上进行训练，该数据集包括一个全面的基于表格的指令调优数据集，涵盖了多种现实世界的表格和实际任务。总共包含 14 个数据集，涉及 11 个任务。

训练过程

模型使用 TableInstruct 数据集进行微调，采用 LongLoRA（7B）作为基础模型，该模型替换了原始 Llama-2（7B）的普通注意力机制，使用 shift short attention。训练在 48 个 A100 集群上进行，耗时 9 天。

评估

模型在 8 个领域内数据集和 8 个任务上进行评估，同时在 6 个领域外数据集和 4 个任务上进行评估。

使用方法

可以通过 Huggingface 的 Transformers 库使用这些模型。

提示格式

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

Instruction:

{instruction}

Input:

{input}

Question:

{question}

Response:

引用

如果使用该项目的模型、数据或代码，请引用原始论文：

@misc{zhang2023tablellama, title={TableLlama: Towards Open Large Generalist Models for Tables}, author={Tianshu Zhang and Xiang Yue and Yifei Li and Huan Sun}, year={2023}, eprint={2311.09206}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

背景与挑战

背景概述

TableInstruct是一个由OSU NLP Group创建的大规模表格指令调优数据集，包含约260万条数据，专门用于训练TableLlama等表格处理大模型。该数据集涵盖多种现实世界表格和任务，如表格模式增强，旨在根据表格标题和种子表头对候选表头进行排序，以提升模型在表格相关任务上的泛化能力。