mteb/IFlyTek

IFlyTek是一个用于长文本分类的中文数据集，主要针对应用描述进行分类。数据集包括训练集、验证集和测试集，包含12133个训练样本、2599个验证样本和2600个测试样本。数据集为单语种，仅包含中文。数据集大小为14.22GB，下载大小为9.64GB。

IFlyTek is a Chinese dataset designed for long-text classification, focusing on the categorization of application descriptions. The dataset consists of training, validation, and test subsets, containing 12,133 training samples, 2,599 validation samples, and 2,600 test samples respectively. It is a monolingual dataset that exclusively contains Chinese language data. The total size of the dataset is 14.22 GB, and its download size is 9.64 GB.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，长文本分类任务对模型理解复杂语义提出了更高要求。IFlyTek数据集源自中文语言理解评测基准CLUE，其构建过程严谨规范，通过系统收集各类应用程序的详细描述文本，并依据功能范畴进行人工标注，形成了涵盖119个类别的多层次分类体系。该数据集严格划分训练集、验证集和测试集，确保数据分布的均衡性与评估的可靠性，为模型训练与性能验证提供了结构化基础。

特点

作为专注于中文长文本分类的专项数据集，IFlyTek展现出鲜明的领域特性。数据集文本平均长度约290字符，最大长度超过四千字符，充分体现了长文本的语义复杂性。其类别体系覆盖广泛的应用场景，各类别样本量呈现自然分布，部分类别样本丰富而部分相对稀疏，这种分布特性真实反映了实际应用中的数据不平衡现象，为模型鲁棒性评估提供了现实挑战。

使用方法

该数据集已集成于大规模文本嵌入基准MTEB框架，研究者可通过标准化接口便捷调用。使用MTEB库加载IFlyTek任务后，开发者能够将自定义的嵌入模型置于统一评估体系下，系统自动执行文本分类流程并生成性能指标。这种集成化设计不仅简化了实验流程，更确保了不同模型比较的公平性与可复现性，有力支撑了中文文本嵌入技术的迭代发展。

背景与挑战

背景概述

IFlyTek数据集作为中文语言理解评估基准（CLUE）的重要组成部分，于2020年由徐亮等研究人员在COLING国际会议上正式发布，旨在解决中文自然语言处理领域长期缺乏综合性、大规模评测基准的困境。该数据集聚焦于长文本分类任务，具体针对应用程序描述文本进行多类别划分，涵盖了119个精细的应用类别，共计包含超过1.7万条标注样本。其构建不仅推动了中文预训练模型的发展与标准化评估，也为后续如MTEB（大规模文本嵌入基准）等国际性评测体系纳入中文任务奠定了关键基础，显著提升了中文文本表示学习研究的可比性与前沿性。

当前挑战

该数据集致力于解决中文长文本分类的领域挑战，其核心在于对应用程序描述这类语义丰富、长度不一且类别高度细分的文本进行精准归类，这要求模型具备强大的语义理解与长距离依赖捕捉能力。在构建过程中，挑战主要源于数据标注的复杂性与一致性维护，需要为大量开放域的应用描述文本分配精确的类别标签，并确保类别体系既能覆盖广泛的应用场景，又具备清晰的类间界限。此外，数据集的构建还需平衡各类别的样本数量，以缓解长尾分布对模型泛化性能带来的潜在影响。

常用场景

经典使用场景

在自然语言处理领域，长文本分类任务对模型理解语义深度与上下文连贯性提出了更高要求。IFlyTek数据集作为中文应用描述文本的分类基准，其经典使用场景聚焦于评估嵌入模型在细粒度类别划分上的性能。该数据集涵盖119个应用类别，文本平均长度约290字符，为模型提供了从简短摘要到详细说明的多样化输入，从而系统检验模型对长文本特征提取与语义表示的能力。

实际应用

在实际应用层面，IFlyTek数据集直接服务于智能应用商店的分类与推荐系统。通过自动化识别应用描述所属类别，能够提升应用分发的效率与准确性，辅助用户快速定位所需服务。该数据集还可用于构建垂直领域的知识图谱，为应用生态分析、市场趋势预测提供数据支撑，进而优化移动互联网平台的内容管理与用户体验。

衍生相关工作

基于IFlyTek数据集，研究者们开展了一系列经典工作。例如，CLUE基准将其纳入中文语言理解评估体系，推动了如ERNIE、RoBERTa-wwm等预训练模型在长文本任务上的性能迭代。MTEB与MMTEB框架进一步将其扩展至多语言嵌入评估范畴，促进了跨语言模型对齐研究。这些工作共同深化了对长文本语义表示的理论探索与技术实践。