nraptisss/TMF921-intent-to-config-research-sota

该数据集是一个研究导向的电信领域意图到配置文本生成任务的衍生版本，基于nraptisss/TMF921-intent-to-config-augmented数据集。它实现了科学审计建议，无需从发布的parquet文件中制造不支持的输出。数据集包含新增的SFT便利列、科学分离的OOD评估分割、训练分割的差异（如未增强的train_base和包含训练专用上采样的train_sota）、令牌长度推荐、科学限制、推荐使用方式、关键列和附加的工件。数据集适用于5G、6G、基于意图的网络、网络配置等多个电信相关领域的研究。

This dataset is a research-oriented derivative of nraptisss/TMF921-intent-to-config-augmented for intent-to-config text generation tasks in the telecom domain. It implements scientific-audit recommendations without fabricating unsupported outputs from the released parquet files. The dataset includes added SFT convenience columns, scientifically separated OOD evaluation splits, differences in training splits (e.g., unaugmented train_base and train_sota with training-only upsampling), token-length recommendations, scientific limitations, recommended usage, key columns, and additional artifacts. It is applicable to research in various telecom-related areas such as 5G, 6G, intent-based networking, and network configuration.

搜集汇总

数据集介绍

构建方式

该数据集源自于对原始数据集 `nraptisss/TMF921-intent-to-config-augmented` 的系统性科学审计与改进。研究团队在审计中发现，原始数据尽管技术洁净且适用于监督微调，但其训练与测试划分主要集中于分布内和模板化样本，缺乏对分布外场景的覆盖能力。为弥补这一不足，衍生数据集通过合并原始训练与测试行、新增研究来源列、构建明确的 OOD 评估划分、集成 Qwen3-8B 令牌长度审计以及添加验证标志等步骤构建而成。特别地，数据集提供了两种训练划分：`train_base`（未经增强的基础训练集）与 `train_sota`（包含生命周期/对抗性上采样及合成多轮包装器的推荐训练集），所有操作均基于可安全实现的 Parquet 文件，未虚构任何不支持的 JSON 目标配置。

特点

本数据集的核心特色在于其研究导向的划分体系与丰富的元数据列。它包含 8 个精心设计的子集，涵盖分布内验证、分布内测试、三种模板/用例/扇区 OOD 测试集以及对抗性测试集，为评估模型在电信意图理解与配置生成任务上的泛化能力提供了分层基准。数据集中新增了 20 余列研究元数据，包括提示模板哈希、场景哈希、JSON 结构标签、令牌长度标志及多种采样权重，支持泄漏感知实验与类别平衡训练。令牌长度审计显示，所有样本均可适配 2048 令牌的上下文窗口，为 Qwen3 系列模型的微调提供了合理的默认配置。对抗性测试子集虽初步，但为鲁棒性研究奠定了基础。

使用方法

推荐使用方式强调科学评估的规范性：研究者可选择 `train_base` 进行可复现的基线训练，或采用 `train_sota` 强化稀有类学习；模型选择与验证应依托 `validation` 划分。评估时需按划分单独报告指标，避免合并 OOD 子集导致信息损失。最低评估协议包括 JSON 解析率、字段级 F1 分数、每目标层性能、各 OOD 划分指标以及对抗性拒绝精度。需注意，原始精确匹配因输出中含有易变字段（如生成的 ID、时间戳）而不足以作为完整评估标准。数据集严禁直接用于生产网络配置部署或绕过操作员审查，仅作为研究工具存在。

背景与挑战

背景概述

在意图驱动网络（Intent-Based Networking, IBN）的演进浪潮中，TMF921标准为电信网络意图至配置的映射提供了行业框架。由学者Nikolaos Raptis于2026年创建的数据集TMF921-intent-to-config-research-sota，源自其先前增强版本，旨在为自然语言表达的电信与网络切片意图向结构化JSON配置对象的转换提供可复现的训练与分布外（OOD）评测分割。该数据集聚焦于解决意图至配置映射过程中的科学可审计性与模型泛化能力问题，通过引入模板、用例、行业领域的显式OOD分割及对抗性样本，有力推动了意图驱动网络领域中监督微调与结构化生成研究的基准化进程。

当前挑战

该数据集所应对的核心挑战在于意图至配置映射领域的研究性验证困境：原始数据集主要包含分布内且模板化的样本，导致模型真实泛化能力评估失效。具体而言，构建过程面临诸多挑战——需在不伪造不支持的JSON目标的前提下，从已发布的Parquet文件中安全实现科学审计建议，包括合并原始训练与测试行、添加衍生研究列、构造显式OOD评测分割，并通过上采样与多轮封装增强稀少生命周期操作与对抗性样本。此外，领域问题层面的挑战包括持续KPI变量生成与跨层配对六元组的安全构造，这要求规范的场景生成器及逐层模式验证器，而现有版本因缺乏此类工具未能覆盖，从而限制了配置生成的完整性与真实性评估。

常用场景

经典使用场景

在意图驱动网络（Intent-Based Networking，IBN）这一前沿通信架构中，将自然语言描述的运维意图精准翻译为结构化配置指令，是实现网络自主化的核心挑战。TMF921-intent-to-config-research-sota数据集专为此类研究设计，其最经典的用途便是有监督微调（Supervised Fine-Tuning）大语言模型，使其习得将电信网络切片意图转化为符合TMF921、3GPP等标准规范的JSON配置对象。该数据集提供了科学的训练与评估拆分，特别包含基于模板、用例和行业领域的留出测试集（OOD splits），为构建鲁棒且可泛化的意图配置翻译模型奠定了基准基础。

实际应用

在实际部署场景中，运营商与设备商可利用基于此数据集微调的模型构建智能运维助手，实现从高层业务意图到底层切片参数的自动推导。例如，运维人员只需描述“为某工业园区部署高可靠低延迟切片”，系统便能输出规范化的JSON配置草案，极大缩短了过去依赖专家手工配置的漫长周期。同时，该数据集列载了针对特定行业（如教育、矿业）的OOD测试，验证了模型在跨领域部署时的迁移可靠性，使其成为5G/6G实验网、边缘计算及垂直行业专用网络方案中用于决策支持系统的关键评估资源。

衍生相关工作

围绕该数据集已催生出多项经典工作，最突出的是其配套的训练与评估仓库（tmf921-intent-training），其中实现了归一化字段级别的精确率/召回率/F1评分协议，修正了原始评估中因易变字段（如ID、时间戳）导致的虚假满分问题。另一项重要衍进是数据集构建过程中对合成数据增强策略的审计，催生了生命周期重采样与对抗性上采样（train_sota拆分）这一方法论。此外，其详细记录的数据泄漏分析（prompt_template_id与scenario_id标注）为后续电信领域大模型的数据集构建者提供了泄露感知实验的标准化范本。