bltlab/queryner

QueryNER是一个用于电子商务查询分割的序列标注数据集，包含17种不同的实体类型。该数据集涵盖了查询的广泛部分，而不仅仅是某些关键方面。数据集是从Amazon的ESCI Shopping Queries数据集中选取的一部分进行注释的。

原始信息汇总

数据集概述

名称： QueryNER

描述： QueryNER是一个用于电子商务查询分割的序列标注数据集，包含17种不同的实体类型。该数据集旨在将查询分割成有意义的块，适用于广泛的应用类型。

语言： 英语

许可： CC-BY 4.0

数据集结构

特征：

• tokens: 字符串序列
• ner_tags: 序列标签，包含以下类别：
  • 0: O
  • 1: B-UoM
  • 2: I-UoM
  • 3: B-color
  • 4: I-color
  • 5: B-condition
  • 6: I-condition
  • 7: B-content
  • 8: I-content
  • 9: B-core_product_type
  • 10: I-core_product_type
  • 11: B-creator
  • 12: I-creator
  • 13: B-department
  • 14: I-department
  • 15: B-material
  • 16: I-material
  • 17: B-modifier
  • 18: I-modifier
  • 19: B-occasion
  • 20: I-occasion
  • 21: B-origin
  • 22: I-origin
  • 23: B-price
  • 24: I-price
  • 25: B-product_name
  • 26: I-product_name
  • 27: B-product_number
  • 28: I-product_number
  • 29: B-quantity
  • 30: I-quantity
  • 31: B-shape
  • 32: I-shape
  • 33: B-time
  • 34: I-time

分割：

• train: 7841个样本，553523字节
• test: 993个样本，70308字节
• validation: 871个样本，61109字节

下载大小： 242711字节

数据集大小： 684940字节

使用场景

直接使用： 用于电子商务查询分割的研究和下游系统。

注意事项： 由于数据集较小，使用模型训练可能对域外数据的性能不佳。

搜集汇总

数据集介绍

构建方式

QueryNER数据集源自亚马逊ESCI购物查询数据集的子集，由BLT实验室主导构建。其核心任务是对英文电商查询进行序列标注，旨在将查询划分为有意义的语义片段，而非仅提取特定方面的值。数据标注采用人工方式，训练集由单一标注者完成，开发集与测试集则经由三位标注者及一位裁决者共同标注，以确保标注质量。数据集共包含17种实体类型，覆盖产品名称、颜色、材质、价格、数量等电商查询中的关键要素，几乎囊括整个查询内容，形成了一套广泛适用的本体体系。

特点

该数据集的一大特色在于其全面性与细粒度。与传统的方面值提取不同，QueryNER致力于对查询进行完整分割，标注范围覆盖查询中的绝大部分词汇，而非仅关注少数关键方面。17种实体类型设计精细，包括核心产品类型、修饰符、场合、形状等，能够捕捉电商查询中丰富的语义信息。数据集规模适中，包含训练样本7841条、测试样本993条及验证样本871条，以英文为主，适用于电商领域的查询理解研究。此外，其标注体系具有可迁移性，为后续扩展至其他领域提供了基础。

使用方法

QueryNER主要用于电商查询的分割任务，可直接用于训练序列标注模型，如基于Transformer的命名实体识别架构。数据以tokens和ner_tags字段存储，标签采用BIO格式，便于与主流NLP框架（如HuggingFace Transformers）集成。用户可通过HuggingFace Datasets库加载数据，并利用预训练模型进行微调。建议在应用时注意领域适配性，对于非电商数据或小众商品类别，可能需要额外标注以提升性能。数据集以CC-BY 4.0许可发布，支持学术研究与商业下游系统的开发。

背景与挑战

背景概述

QueryNER数据集由BLT Lab团队于2024年构建，相关研究成果已被LREC-COLING 2024会议接收。该数据集聚焦于电商查询的序列标注任务，旨在解决传统方面-值提取方法仅关注查询中有限关键信息的局限性。与以往工作不同，QueryNER致力于将完整的电商查询切分为具有广泛适用类型的语义块，覆盖了17种实体类型，包括产品名称、颜色、材质、价格等核心属性。数据集基于Amazon的ESCI Shopping Queries数据子集进行人工标注，包含训练集7841条、测试集993条和验证集871条样本，为电商搜索系统的查询理解与下游应用提供了重要的基准资源。

当前挑战

QueryNER面临的主要挑战包括：在领域问题层面，电商查询的多样性与非规范性使得语义分割任务极具难度，同一实体在不同查询中可能以缩写、拼写错误或口语化形式出现，且查询长度短、上下文稀疏，传统序列标注模型难以准确捕获细粒度边界。在数据集构建过程中，人工标注的挑战尤为突出：训练集仅由单一标注者完成，开发集与测试集虽由三位标注者及一位仲裁者协作，但标注者偏差难以完全消除；此外，数据集规模较小（不足万条），且仅涵盖英文电商查询，导致模型在跨域或非英语场景下的泛化能力受限，需依赖更多标注数据以提升性能。

常用场景

经典使用场景

QueryNER数据集专为电商查询的序列标注任务而设计，其经典使用场景在于对用户输入的购物查询进行细粒度语义分割。该数据集涵盖了17种不同的实体类型，包括产品名称、颜色、材质、价格、数量等，几乎覆盖了查询中的全部关键信息，而非仅提取少数预定义的属性。研究者可利用该数据集训练模型，将原始查询字符串切分为富有语义的连续片段，从而实现对查询意图的深度解析与结构化表示。

衍生相关工作

QueryNER数据集的发布催生了多项衍生研究工作。其本体设计与标注流程为后续电商查询理解任务提供了可复用的框架，研究者基于该数据集探索了不同序列标注模型（如BERT、CRF等）在查询分割上的性能比较。同时，该工作鼓励了跨领域迁移学习的研究，将QueryNER的标注体系应用于其他电商平台或非英语语言的数据集，推动了多语言、多领域查询分割技术的进步。

数据集最近研究

最新研究方向

QueryNER数据集聚焦于电商查询的细粒度语义分割，其命名实体识别标签体系涵盖17种实体类型，如产品名称、颜色、材质、条件、价格等，突破了传统方面值提取的局限，致力于将查询切分为语义连贯的片段。该研究紧跟电商搜索领域的前沿热点，即通过结构化查询理解来提升检索效率与用户体验，尤其在大规模商品检索和对话式购物场景中具有显著价值。QueryNER的提出为后续多语言扩展、跨域迁移学习以及基于预训练模型的序列标注优化提供了基准，其影响力体现在推动电商自然语言处理从粗粒度分类向细粒度语义解析的转变，并为商业搜索系统的智能化升级奠定了数据基础。