ORANSight-2.0

ORANSight-2.0是一个针对O-RAN领域的基础模型，由北卡罗来纳州立大学NextG无线实验室创建。该数据集包含了18个从1B到70B参数规模的开源LLM模型，通过使用QLoRA方法进行微调，以优化O-RAN任务的性能。数据集的构建考虑了O-RAN架构的复杂性，以及实时自动化、优化和故障排除的需求，旨在提高LLM在O-RAN特定任务中的性能。

ORANSight-2.0 is a foundational model targeting the O-RAN domain, developed by the NextG Wireless Lab at North Carolina State University. This dataset contains 18 open-source LLM models with parameter scales ranging from 1B to 70B, which are fine-tuned using the QLoRA method to optimize performance on O-RAN tasks. The construction of the dataset takes into account the complexity of the O-RAN architecture, as well as the requirements for real-time automation, optimization and troubleshooting, aiming to enhance the performance of LLMs in O-RAN-specific tasks.

搜集汇总

数据集介绍

构建方式

ORANSight-2.0 数据集的构建是基于对五个开源大型语言模型框架（Mistral、Qwen、Llama、Phi 和 Gemma）中的 18 个模型进行微调。这些模型参数范围从 1B 到 70B。微调过程采用了 QLoRA（量化低秩适应）方法，这是一种参数高效的微调技术，能够减少对闭源模型的依赖，同时提高 O-RAN 特定任务的表现。

特点

ORANSight-2.0 数据集的特点在于其专门针对 O-RAN 系统进行微调，并提供了开源的替代方案，优于闭源模型。该数据集采用了 RANSTRUCT 框架，这是一个基于检索增强生成（RAG）的指令微调框架，利用两个 LLM 代理（Mistral 基础的问题生成器和 Qwen 基础的答案生成器）来创建高质量的指令微调数据集。此外，srsRANBench 作为一个新的基准，用于评估 5G O-RAN 中的代码生成和代码库理解。

使用方法

ORANSight-2.0 数据集的使用方法包括利用 RANSTRUCT 框架生成指令微调数据集，并使用 QLoRA 方法对 18 个预训练开源 LLM 模型进行微调。此外，srsRANBench 和 ORAN-Bench-13K 基准可用于评估模型在 O-RAN 特定任务中的表现。用户可以通过提供的代码和模型进行进一步的研究和开发。

背景与挑战

背景概述

随着5G技术的迅猛发展，开放无线接入网（O-RAN）成为了电信行业中的关键范式。O-RAN通过解耦硬件和软件组件，实现了更大的灵活性、互操作性和创新性。然而，O-RAN架构的复杂性以及对实时自动化、优化和故障排除的需求，为该领域带来了诸多挑战。大型语言模型（LLMs）在解决这些挑战方面展现出巨大的潜力，它们能够实现智能决策、代码生成和自然语言理解。尽管LLMs在医疗保健、客户服务和企业营销等关键领域产生了变革性的影响，但它们在O-RAN中的应用仍然有限。这一差距主要是由于缺乏针对O-RAN的领域特定基础模型。现有的解决方案通常依赖于通用型LLMs，这些模型无法解决O-RAN的独特挑战和技术复杂性。为了填补这一空白，我们引入了ORANSight-2.0（O-RAN Insights），这是一个开创性的倡议，旨在为O-RAN开发专门的LLMs。ORANSight-2.0基于18个模型，涵盖五个开源LLM框架——Mistral、Qwen、Llama、Phi和Gemma，对参数从1B到70B的模型进行微调，从而显著减少了对外部闭源模型的依赖，并在O-RAN特定任务中提高了性能。ORANSight-2.0的核心是RANSTRUCT，这是一个基于检索增强生成（RAG）的指令调整框架，它使用两个LLM代理——基于Mistral的问答生成器和基于Qwen的回答生成器——来创建高质量的指令调整数据集。随后，使用QLoRA技术对这些数据集进行微调，以优化模型在O-RAN特定任务中的表现。ORANSight-2.0的引入，为O-RAN领域带来了深远的影响，推动了该领域的发展，并为未来的研究奠定了基础。

当前挑战

ORANSight-2.0在开发和应用过程中面临着一系列挑战。首先，构建针对O-RAN的领域特定数据集是一个重大挑战，因为现有的数据集大多针对更广泛的电信标准，而不是O-RAN的具体需求。其次，现有的LLMs大多采用检索增强生成（RAG）方法来获取领域知识，这种方法依赖于外部知识库的查询，导致计算开销大，且不适合实时O-RAN应用。此外，现有的解决方案主要依赖于闭源模型，这些模型存在隐私问题、缺乏O-RAN知识，以及需要与母公司共享提示和数据等挑战。最后，在资源受限的环境中对LLMs进行微调也面临着计算资源需求、能源效率和高质量领域特定数据集获取的挑战。ORANSight-2.0通过开发专门的RANSTRUCT框架，引入QLoRA技术，以及构建srsRANBench基准测试，有效地解决了这些挑战，为O-RAN领域提供了更加高效和高效的解决方案。

常用场景

经典使用场景

ORANSight-2.0 数据集主要用于开发针对开放无线接入网（O-RAN）的专用大型语言模型（LLM）。该数据集通过在五个开源 LLM 框架（Mistral、Qwen、Llama、Phi 和 Gemma）上微调 18 个模型，从而显著降低了依赖专有、闭源模型的程度，同时提高了 O-RAN 特定任务的表现。ORANSight-2.0 的核心是 RANSTRUCT，这是一个基于检索增强生成（RAG）的指令微调框架，它使用两个 LLM 代理（一个基于 Mistral 的问答生成器和一个基于 Qwen 的答案生成器）来创建高质量的指令微调数据集。

衍生相关工作

ORANSight-2.0 数据集衍生了许多相关工作，例如 ORAN-Bench-13K，这是一个用于评估 LLM 在 O-RAN 特定任务中的性能的综合基准。此外，srsRANBench 也是一个新颖的基准，用于评估 5G O-RAN 特定编码任务的代码生成和代码库理解。这些基准为研究人员提供了评估和比较不同 LLM 性能的工具，并推动了 O-RAN 中 LLM 应用的进一步发展。

数据集最近研究

最新研究方向

ORANSight-2.0 的最新研究集中在为 O-RAN 网络开发定制的 LLM，以解决现有模型在 O-RAN 特定任务中的局限性。该研究提出了 ORANSight-2.0，这是一个基于 18 个模型的框架，涵盖了五个开源 LLM 框架，并通过 QLoRA 技术进行微调，以显著减少对专有闭源模型的依赖。此外，研究还引入了 RANSTRUCT 框架，这是一个基于 RAG 的指令微调框架，使用两个 LLM 代理来创建高质量的指令微调数据集。这些模型在 O-RAN 特定任务中表现出色，并在 srsRANBench 和 ORAN-Bench-13K 基准测试中超越了通用和闭源模型。此外，研究还评估了 ORANSight-2.0 的能源特性，证明了其在训练、推理和 RAG 增强推理方面的效率。

相关研究论文

• ORANSight-2.0: Foundational LLMs for O-RAN

  北卡罗来纳州立大学NextG无线实验室 · 2025年