自然语言处理任务准确率动态评估数据集

该数据集记录了公司在2024年期间，部署于生产环境的12类自然语言处理模型在实际运行中完成的任务的评估结果。每条记录包含任务类型、输入文本特征、模型输出、人工标注真值、准确率评分、上下文环境、推理耗时、置信度分数等20余项指标。
数据覆盖中文为主、中英混合的多领域文本，涵盖金融、医疗、教育、电商等行业语料，具备时间序列特性，支持纵向分析模型性能随时间、数据分布变化的演化规律。
本数据集经过标准化处理与脱敏，不包含任何用户隐私信息，具备高可复用性与科研价值。

搜集汇总

背景与挑战

背景概述

该数据集用于动态评估自然语言处理模型在真实业务场景中的准确率，记录2024年12类模型的多维度指标，覆盖多领域文本并具备时间序列特性，支持模型性能监控和优化，且经过脱敏处理确保可复用性。