NingLab/ECInstruct
收藏资源简介：
ECInstruct数据集包含10个任务，包括属性值提取、产品关系预测、产品匹配、情感分析、序列推荐、多类别产品分类、产品替代品识别、查询产品排名、可回答性预测和答案生成。数据集分为训练集、验证集、域内测试集和域外测试集。
--- 授权协议：CC BY 4.0 任务类别： - 文本分类 - 问答 - 零样本分类（zero-shot-classification） - 特征抽取 - 文本生成 语言： - 英语（en） 标签： - 大语言模型（Large Language Models） 规模区间： - 10万条 < 数据量 < 100万条 --- # ECInstruct 数据集卡片 本论文已被ICML 2024收录。 ECInstruct涵盖10项任务，包括属性值抽取、产品关联预测、产品匹配、情感分析、序列推荐、多类别产品分类、产品替代品识别、查询-产品排序、可回答性预测以及答案生成。ECInstruct被划分为训练集、验证集、域内（IND）测试集以及域外（OOD）测试集。 我们还为查询-产品排序任务的测试集提供了[产品标签](https://github.com/ninglab/eCeLLM/blob/main/data_label/label.json)，可用于模型评估。更多细节请查阅 https://github.com/amazon-science/esci-data。 ## 数据集来源 - **仓库地址**：[GitHub](https://github.com/ninglab/eCeLLM) - **项目主页**：[eCeLLM](https://ninglab.github.io/eCeLLM/) ## 数据划分 ECInstruct数据集的统计信息如下表所示。 | 划分 | 规模 | | --- | --- | | 训练集 | 92,022 | | 验证集 | 9,253 | | 域内测试集（Test_IND） | 9,253 | | 域外测试集（Test_OOD） | 6,000 | | 总计 | 116,528 | ## 使用方式 正如论文中详述的，针对每项任务，我们可在多种设置下开展模型训练与评估。例如，`setting = IND_Diverse_Instruction, task = Answer_Generation` 表示针对域内测试集的答案生成任务，使用多样化指令来训练适配的模型。 ## 快速上手 运行以下命令即可获取数据集： python from datasets import load_dataset dataset = load_dataset("NingLab/ECInstruct") 为提升可复现性，除ECInstruct数据集外，我们将各类分析所用的全部数据均上传至Hugging Face平台。具体而言，Hugging Face上的数据集包含ECInstruct数据集、6.3节与附录G.1分析中所用的带种子指令和未见过指令的数据样本，以及用于单样本（1-shot）评估的数据样本。若仅需使用ECInstruct数据集，请通过以下代码提取目标数据： python from datasets import load_dataset import pandas as pd dataset = pd.DataFrame(load_dataset("NingLab/ECInstruct")['train']) default_dataset = dataset[(dataset['setting'] == 'IND_Diverse_Instruction') | (dataset['setting'] == 'OOD_Diverse_Instruction')] ## 授权协议 请查阅ECInstruct精选数据集中各子集的授权协议。 | 数据集 | 授权类型 | | --- | --- | | 亚马逊-谷歌产品数据集 | CC-by-4.0 | | 亚马逊评论数据集 | 未公开 | | 亚马逊问答数据集 | 未公开 | | 购物查询数据集 | Apache License 2.0 | ## 引用格式 bibtex @inproceedings{ peng2024ecellm, title={eCe{LLM}: Generalizing Large Language Models for E-commerce from Large-scale, High-quality Instruction Data}, author={Bo Peng and Xinyi Ling and Ziru Chen and Huan Sun and Xia Ning}, booktitle={Forty-first International Conference on Machine Learning}, year={2024}, url={https://openreview.net/forum?id=LWRI4uPG2X} }
ECInstruct数据集概述
数据集组成
- 任务数量：10项
- 任务类型：
- 属性值提取
- 产品关系预测
- 产品匹配
- 情感分析
- 序列推荐
- 多类别产品分类
- 产品替代品识别
- 查询产品排名
- 可答性预测
- 答案生成
数据集划分
- 训练集
- 验证集
- 领域内测试集（IND）
- 领域外测试集（OOD）
