llmradar/eu-open-weight-models
收藏Hugging Face2026-04-25 更新2026-04-26 收录
下载链接:
https://hf-mirror.com/datasets/llmradar/eu-open-weight-models
下载链接
链接失效反馈官方服务:
资源简介:
这是一个手动审核的数据集,评估开放权重大型语言模型(LLMs)在欧盟部署和商业用途中的适用性。每个模型都会在许可证、商业用途、训练数据和来源等方面进行评估,并包含来自Artificial Analysis的质量、速度和价格指标(如果可用)。主要用途包括:选择适合欧盟自托管部署的开放权重模型、进行许可和商业用途的尽职调查、训练关于开源LLM许可和来源的分类器,以及跟踪欧盟来源和宽松许可模型的涌现。数据集采用三色交通灯方案(绿色、琥珀色、红色)来标识模型是否符合欧盟/GDPR/AI法案的标准。
A manually-reviewed dataset assessing open-weight Large Language Models (LLMs) on their suitability for EU deployment and commercial use. Each model is evaluated on licence, commercial use, training data, and origin, with quality / speed / price metrics from Artificial Analysis where available. Primary use cases include: selecting open-weight models for self-hosted EU deployment, licensing and commercial-use due diligence, training classifiers on open-source LLM licensing and provenance, and tracking the emergence of EU-origin and permissively-licensed models. The dataset uses a three-tier traffic-light scheme (green, amber, red) to indicate whether models meet EU/GDPR/AI-Act criteria.
提供机构:
llmradar
搜集汇总
数据集介绍

构建方式
在欧盟《人工智能法案》与《通用数据保护条例》日趋严格的监管背景下,该数据集由LLM Radar团队基于人工审核构建,专注于评估开放权重大型语言模型的欧盟部署合规性。每一模型的评定均源自对公开资料——包括供应商文档、服务条款、数据处理协议、子处理器清单、监管指南、模型卡片及官方声明——的逐项检析,并采用交通灯三色标记系统给出绿色、琥珀色或红色等级,分别代表完全符合、有条件符合及不可接受。数据定期从LLM Radar编辑数据库更新,确保时效且可追溯。
特点
该数据集收录了39个经严格人工审查的模型,横跨许可协议、商业用途、训练数据透明度及产地归属四个维度的合规评估。每个条目附有来自Artificial Analysis的质量指数、输出速度与价格等性能指标,并包含总体验证结论与简短编辑评语。标签系统灵活标记许可宽松性、商业可用性及欧洲原产地,便于针对性筛选。数据集结构简洁,以CSV表格存储,覆盖了从Apache-2.0到自定义协议的多种许可类型,兼顾了合规深度与检索便捷性。
使用方法
使用者可直接加载models.csv文件,基于verdict字段快速筛选合规模型,或通过vendor_country、licence、tags等列完成欧盟部署的自托管选型。该数据集亦适用于训练分类器以预测LLM许可与来源特征,或跟踪欧盟本地产及宽松许可模型的发展趋势。性能指标列可用于综合权衡合规性与运行效率。对于学术引用,数据集以CC BY 4.0协议发布,支持共享与改编,但要求标注来源并附上LLM Radar的链接。
背景与挑战
背景概述
随着大型语言模型(LLM)在商业与公共服务领域的广泛应用,欧洲各国对模型合规性、数据主权及许可证透明度的关注日益提升。在此背景下,LLM Radar团队于2026年推出了eu-open-weight-models数据集,旨在系统评估开源权重LLM在欧盟部署的适宜性。该数据集由人工审查完成,覆盖39个主流模型,每项评估均基于公开的供应商文档、服务条款、数据保护协议及监管指南等权威来源,并引入红绿灯评级系统,综合判断模型在许可证、商业使用、训练数据来源及发布方管辖权等维度的合规表现。作为首个专注于欧盟AI法案与GDPR合规的开放权重模型基准,该数据集为欧盟境内的自主部署、许可证尽职调查及模型溯源分析提供了关键参考,亦促进了欧洲本土许可友好型模型的可发现性。
当前挑战
该数据集所应对的核心挑战在于:第一,欧盟AI法案与GDPR对LLM的许可证和数据处理提出了严格而复杂的合规要求,但现有模型来源多元、许可证类型碎片化,缺乏统一的评估框架以支撑机构快速筛选出可自托管于欧洲的合规模型。第二,模型构建与数据集维护面临多重实际困难,包括厂商信息披露不完整、服务条款频繁变更、以及跨司法管辖区数据流转规定的持续演进,要求每项评估必须随法规与模型迭代进行人工复核,保持颗粒度与时效性。第三,性能指标(质量、速度、成本)与合规标签之间常存在权衡,数据集的综合评价需在客观度量与合规性之间实现严谨平衡,方能支持真实业务场景中的审慎决策。
常用场景
经典使用场景
在欧盟人工智能治理框架日趋完善的背景下,该数据集为评估开源权重大型语言模型在欧盟境内的合规性提供了系统化的标注资源。研究者可借助其多维度字段——包括许可证类型、商业使用条款、训练数据来源与开发者司法管辖区——对模型展开标准化审查。经典应用场景聚焦于为自托管部署筛选符合GDPR与《人工智能法案》要求的模型,亦支持基于许可证与来源信息训练分类器,以自动化识别具备商业友好属性的开源模型。
衍生相关工作
该数据集催生了一系列围绕模型法律合规性的衍生工作,包括基于其字段设计许可证兼容性预测模型的研究,以及将欧盟《人工智能法案》风险分级标准映射至模型参数的分类体系构建。部分工作进一步扩展了数据集的覆盖范围,引入对模型训练数据中个人信息的匿名化程度评估,并与模型卡信息披露规范形成对照。这些研究共同推动了从模型性能主导向“性能-合规”双维度评价范式的转换,为后续全球性开源模型监管框架提供了可复用的方法论基础。
数据集最近研究
最新研究方向
随着欧盟《人工智能法案》与《通用数据保护条例》的深入实施,开放权重大语言模型的合规性审查成为学术界与产业界共同关注的前沿课题。该数据集聚焦于评估开源LLM在许可条款、商业可用性、训练数据透明度及模型来源等方面的欧盟适配程度,尤其关注模型是否满足自托管部署的数据主权要求。这一研究方向紧密关联欧洲在主权人工智能领域的战略部署,通过红绿灯分级机制为模型选型提供可量化的合规依据,推动了模型许可协议与数据保护法规的交叉分析。该数据集的发布不仅为训练分类器识别开源LLM的司法管辖风险和商业使用限制提供了结构化语料,更促使研究者重新审视大模型生态中开源许可的边界效应,对构建可信、合规的欧洲本地化AI基础设施具有标志性意义。
以上内容由遇见数据集搜集并总结生成



