GSMA/leaderboard

该数据集名为Open Telco Leaderboard Scores，是一个电信领域基准测试得分数据集。它包含了84个模型在7个电信领域基准测试中的得分，数据来源于MWC（世界移动通信大会）排行榜。数据集仅发布得分信息，不包含能源指标。主要文件包括：leaderboard_scores.csv（扁平表格，用于数据集查看器）和leaderboard_scores.json（结构化JSON，包含每个模型的基准测试得分和标准误差）。数据模式中，核心列有：model（模型名称）、provider（模型提供商，如OpenAI、Google、Meta）、rank（按平均得分降序排列的排名）、average（可用基准测试得分的平均值）、benchmarks_completed（具有得分的基准测试数量）。此外，每个基准测试对应一列，每单元格以JSON元组形式包含[score, stderr]（得分和标准误差），如果未评估则为空。基准测试包括：teleqna（电信问答，多项选择）、teletables（表格理解）、oranbench（O-RAN知识）、srsranbench（srsRAN知识）、telemath（电信数学问题）、telelogs（电信日志分析）、three_gpp（3GPP规范知识）。数据集总大小为19773字节，包含87个训练样本，下载大小为13690字节。使用示例展示了如何通过Hugging Face的datasets库加载数据集。

The dataset is named Open Telco Leaderboard Scores. It provides benchmark scores for 84 models across 7 telecom-domain benchmarks, sourced from the MWC leaderboard. This dataset publishes scores only, without energy metrics. The main files include: leaderboard_scores.csv (a flat table for the dataset viewer) and leaderboard_scores.json (structured JSON with per-model benchmark scores and standard errors). The schema features core columns: model (model name), provider (model provider, e.g., OpenAI, Google, Meta), rank (rank by average score in descending order), average (mean of available benchmark scores), benchmarks_completed (number of benchmarks with scores). Additionally, there is one column per benchmark, where each cell contains [score, stderr] as a JSON tuple, or is empty if not evaluated. Benchmarks include: teleqna (Telecom Q&A, multiple choice), teletables (Table understanding), oranbench (O-RAN knowledge), srsranbench (srsRAN knowledge), telemath (Telecom math problems), telelogs (Telecom log analysis), three_gpp (3GPP specification knowledge). The total dataset size is 19773 bytes, with 87 training examples, and a download size of 13690 bytes. Usage example demonstrates loading the dataset via Hugging Faces datasets library.

搜集汇总

数据集介绍

构建方式

该数据集汇聚了来自巴塞罗那世界移动通信大会（MWC）官方排行榜的基准评测分数，涵盖84个模型在七个电信领域专项基准测试中的表现。数据以CSV与JSON双格式存储，CSV文件呈现为扁平化的排行榜视图，JSON文件则保留每个模型在各基准上的分数与标准误差的详细结构化信息。各基准测试包括Telecom Q&A多选问答、表格理解、O-RAN与srsRAN领域知识、电信数学问题、日志分析以及3GPP规范知识，全面覆盖电信行业核心能力维度。

特点

数据集专注于公布模型的纯分数信息，不包含能耗等额外指标，凸显其在电信领域模型评估上的专业性与简洁性。每个模型在七个基准上的表现以分数加标准误差的元组形式呈现，支持精确的性能比较。通过平均分排序生成唯一排名，同时记录已完成基准的数量，为研究者提供了从综合能力到单项专长的多层级分析视角。数据集覆盖主流模型供应商，包括OpenAI、Google、Meta等，反映当前电信大模型的竞争格局。

使用方法

用户可通过HuggingFace Datasets库便捷加载数据，仅需一行代码`load_dataset('GSMA/leaderboard', split='train')`即可获取包含87条样本的训练集。加载后的数据集包含模型名称、供应商、排名、平均分、已完成基准数及各基准分数列，其中每个基准列的值为JSON格式的`[分数, 标准误差]`元组。开发者可直接遍历数据集进行模型性能分析、排行榜可视化或作为电信领域模型评估的基准参考数据源。

背景与挑战

背景概述

随着第五代移动通信技术（5G）的广泛部署与第六代移动通信（6G）研究的深入，电信领域对大型语言模型（LLM）的领域适应性评估需求日益迫切。在此背景下，全球移动通信系统协会（GSMA）于2024年发布Open Telco Leaderboard Scores数据集，旨在系统评估通用与专用语言模型在电信子任务中的表现。该数据集汇聚了84种模型在7项电信专属基准上的得分，涵盖问答、表格理解、协议知识及日志分析等核心能力，为研究社区提供了首个标准化的电信领域LLM评测排行榜，有力推动了人工智能与通信网络的交叉研究，并成为衡量模型在垂直行业落地效果的重要标杆。

当前挑战

该数据集所面临的挑战主要源于电信领域任务的高度专业性与评测标准的复杂性。一方面，现有通用基准难以覆盖电信术语、协议规范与网络运维场景的细微语义，亟需构建领域精准度更高的评测体系；另一方面，数据收集过程中需协调多家运营商的私有数据与商业模型接口，确保评分一致性、避免供应商偏见，同时平衡模型隐私与评测可复现性。此外，当前榜单仅发布模型得分而未公开能耗指标，使得模型效率与可持续性的综合评估存在局限，未来需引入更细粒度的维度以全面反映电信LLM的实用价值。

常用场景

经典使用场景

在电信行业迈向智能化与自动化的浪潮中，该数据集作为首个涵盖5G、O-RAN及3GPP等核心领域的综合评测榜单，被广泛用于评估大语言模型在电信领域的专业能力。研究者通过其七个细粒度基准——包括电信问答、表格理解、数学推理与日志分析等任务，能够系统性地量化模型对电信知识的掌握程度与推理精度，从而甄别出在该垂直场景下表现优异的语言模型。这种多维度、标准化的评估框架，为电信大模型的研发提供了不可或缺的参照体系。

实际应用

在实际产业应用中，该数据集直接服务于电信运营商和设备商的模型选型与部署决策。例如，网络运维团队可以借助TeleLogs基准的结果，筛选出在日志异常检测与故障定位方面最精准的模型；规划人员则可参考TeleMath和TeleQnA得分，评估模型协助完成网络配置优化或客户支持对话的能力。此外，该数据集还为自动化网络管理、智能客服系统及3GPP标准合规审查等高频业务场景，提供了一条基于数据驱动的模型效果验证路径。

衍生相关工作

该数据集的发布催生了一系列衍生研究工作，其中最典型的包括电信领域大模型的针对性微调与知识注入方法探索。研究团队基于此基准，开发了诸如TeleBERT、5G-LLM等专有模型，其训练策略往往强调对3GPP协议文本和O-RAN规范的结构化学习。同时，也有工作围绕该榜单设计的评测维度展开，如提出更细粒度的电信推理能力测试集或跨语言电信问答基准。这些后续工作共同构成了一个以该数据集为核心节点的电信大模型评估与研究生态，推动了垂直领域大模型的系统化进步。