遇见数据集

gspc-hf-model-census

收藏
Hugging Face2026-09-05 更新2026-09-06 收录
官方服务:

资源简介:

该数据集是 GSPC(全球安全与表现委员会)针对 Hugging Face 模型进行的普查数据,包含 20,000 个 Hub 上的模型记录。每个记录的状态均为“未测量”(UNMEASURED),未测量轴数为 22,测量轴数为 0。数据集旨在提供一个分母(即未被测量的模型集合),而非评分或排名。数据字段包括模型 ID(model_id)、状态(status)、未测量轴数(unmeasured_axes)、测量轴数(measured_axes)、轴列表(axes)、构建时间戳(as_of)、验证链接(verify)和活板链接(board)。数据存储于 models.jsonl 文件中,每行一个 JSON 对象,共 20,000 行。该数据集适用于 AI 治理、透明度评估和基准测试等任务,可帮助了解哪些模型尚未经过标准化测量。

This dataset is a census of Hugging Face models conducted by the Global Safety and Performance Committee (GSPC), containing 20,000 model records from the Hub. Each record has a status of UNMEASURED, with 22 unmeasured axes and 0 measured axes. The dataset aims to provide a denominator (i.e., the collection of unmeasured models) rather than scores or rankings. Data fields include model_id, status, unmeasured_axes, measured_axes, axes, as_of, verify, and board. The data is stored in a models.jsonl file with one JSON object per line, totaling 20,000 lines. This dataset is suitable for tasks such as AI governance, transparency assessment, and benchmarking, helping to understand which models have not yet undergone standardized measurement.

创建时间:
2026-09-03
原始信息汇总

GSPC — Hugging Face 模型普查数据集

数据集概览

  • 数据集名称:GSPC — Hugging Face model census(模型普查清单)
  • 发布机构:CSOAI Ltd(英格兰和威尔士注册,公司编号 16939677)
  • 许可证:Apache-2.0
  • 语言:英文
  • 数据规模:20,000 行(10K<n<100K),文件 models.jsonl,约 14.8 MB
  • 任务类别:其他(other)
  • 标签:AI 治理(ai-governance)、测量(measurement)、基准(benchmark)、模型普查(model-census)等

核心内容与设计意图

该数据集并非模型评分或排名,而是作为“分母”存在的测量基线清单。其中每一行均标记为 UNMEASUREDmeasured_axes: 0unmeasured_axes: 22,表示数据集收录了 Hugging Face Hub 上存在的 20,000 个模型,但 CSOAI 未对其中任何一个模型进行测量。数据集的目的是记录“未被测量的事实”,而非评判模型质量。

版本变更(0.2 版)

  • 0.1 版包含 15,557 行,每行声明 unmeasured_axes: 14,与当时 14 轴标准对应。
  • 0.2 版将轴标准修正为 22 轴,轴列表在构建时从官方实时面板动态读取,而非硬编码,避免再次偏离。
  • 更正后数据集“更不美化”:在 22 个轴上都未测量的模型,比只在 14 个轴上未测量的模型离“被测量”更远。

字段说明

字段 含义
model_id Hub 模型 ID,如 sentence-transformers/all-MiniLM-L6-v2
status 本版本恒为 UNMEASURED
unmeasured_axes / measured_axes 分别为 22 / 0
axes 从实时面板读取的 22 个轴标识
as_of 构建时间(UTC)
verify 验证链接(https://councilof.ai/gspc-verify)
board 官方实时面板(https://councilof.ai/api/gspc)

22 个测量轴

governance(治理)、safety(安全)、provenance(溯源)、continuity(持续性)、conformance(一致性)、openness(开放性)、machinery-conformity(机器合规)、care(关怀)、cross-reality(跨现实)、detector-interop(检测器互操作)、art5-safeguard(第 5 条保障)、swarm(群体)、affect(情感影响)、jail(越狱防护)、provenance-controls(溯源控制)、reserve-attestation(储备认证)、regulatory-framework(监管框架)、distribution-integrity(分发完整性)、custody-disclosure(托管披露)、ai-adoption-components(AI 采用组件)、labour-components(劳动组件)、humanoid-labour-index(人形劳动指数)

重要说明

  • 本数据集不是排名、评分或对任何模型的评判。某模型出现在清单中仅表示其存在于 Hub 且尚未被测量;未出现则可能只是超出枚举窗口(按下载量优先排序)。
  • 数据集中没有“测量卡”签名,因为未进行任何测量;已签名的测量卡存放于官方面板。
  • 官方实时面板为权威数据源(https://councilof.ai/api/gspc),本 Hub 页面仅是面板数据的“打印输出”。若请求失败,状态显示 UNCHECKABLE,绝不虚构数值。
  • 仓库还包含 build_census.py(构建脚本)和 manifest.jsonl(文件清单,含哈希与直接 URL,便于代理无需克隆即可枚举仓库)。

引用方式

bibtex @misc{csoai_gspc_gspc_hf_model_census, title = {gspc-hf-model-census — Council of AI / GSPC}, author = {{CSOAI Ltd}}, year = {2026}, doi = {10.5281/zenodo.21991104}, howpublished = {Hugging Face Hub, url{https://huggingface.co/datasets/csoai/gspc-hf-model-census}}, note = {Live board: https://councilof.ai/api/gspc. Measurement, not certification.} }

相关链接

  • 实时面板(权威):https://councilof.ai/api/gspc
  • 免费验证卡片:https://councilof.ai/gspc-verify
  • 手动验证指南:https://councilof.ai/signed/HOW-TO-VERIFY.md
  • 透明度根(Merkle):https://councilof.ai/root.json
  • DID 文档:https://csoai.org/.well-known/did.json
  • CSOAI 在 Hub 上的全部仓库:https://huggingface.co/csoai
  • 方法论 DOI:https://doi.org/10.5281/zenodo.21991104
  • 带日期快照面板:https://doi.org/10.5281/zenodo.22293341
搜集汇总
数据集介绍
gspc-hf-model-census 数据集图片
构建方式
随着人工智能治理需求的日益精细化,对开源模型进行系统性、可量化的透明度评估已成为一项重要课题。该数据集正是基于此背景,由CSOAI构建的模型普查档案,旨在枚举Hugging Face Hub上最热门的20,000个模型。其构建方式极为独特:并非记录任何测量结果,而是通过一个自动化脚本,从GSPC实时看板动态读取22个治理轴的标准清单,并以此为核心,为每个目标模型生成一条结构化的JSON记录。每条记录固定声明其状态为‘UNMEASURED’,即未测量轴数达22个,测量轴数为0,从而构建了一个关于模型治理‘未测量状态’的全景式基准档案,作为所有后续评估工作的标准分母。
特点
该数据集的核心特点在于其鲜明的‘分母’定位和自我修正能力。它从设计上就明确不做任何价值判断,放弃排名和评分,所有条目在构建时均保持‘未测量’状态,以此避免因测量框架的局限性而引入偏差。其版本迭代展现了难得的自我纠错机制,将轴数从14个修正为从看板实时读取的22个,这本身即是对测量目标的动态校准。数据集与作为权威数据源的实时看板建立了强链接,其数据、轴定义及验证手段均可追溯,且包含了清单、验证工具及文档,这种以透明度为前提、绝不虚报‘0分’的严谨原则,使其成为治理测量中可信的基础设施。
使用方法
实践中,此数据集更适合作为治理评估流程的起点而非终点。使用者可将其作为待办清单,识别并排查那些治理数据空白的高影响力模型。具体而言,可借助配套的编程工具(如Python阅读器)读取数据,通过验证工具对模型进行测量,并将结果回传至实时看板进行记录,以此完成从‘未测量’到‘已测量’的转换。其数据以JSONL格式呈现,便于大规模分析,同时提供了公开的解析服务与验证接口,支持对清单的查询。研究者可以计算其覆盖率、追踪模型治理状态的动态变化,或是作为基准,验证其他测量工具和方法的有效性,从而助力构建一个更加透明和负责任的人工智能生态系统。
背景与挑战
背景概述
随着人工智能模型在开源平台上的指数级增长,对模型进行系统化、标准化治理的需求日益迫切。在此背景下,CSOAI Ltd于2026年发布了gspc-hf-model-census数据集,旨在为Hugging Face Hub上的模型提供一个全面、可验证的治理评估基准。该数据集由CSOAI研究团队构建,其核心研究问题是:如何客观地度量模型在治理、安全、溯源等22个关键轴上的表现,从而为AI治理提供明确的度量基准。通过构建这一涵盖20,000个模型的普查数据集,它揭示了当前模型治理的透明度现状,并推动了AI度量从主观评估向标准化、机制化转变,对AI治理领域产生了深远影响。
当前挑战
该数据集面临的领域挑战在于,AI模型具有高度的复杂性和多样性,传统评价指标难以全面覆盖其治理与安全方面的关键维度。为应对此问题,数据集构建者设计了一套包含22个轴的多维度评估框架,然而在具体实施中却遇到了挑战:多数模型尚未进行测量,导致数据集中大量行仅能标记为“UNMEASURED”,这虽然真实反映了当前AI治理的滞后状态,但也限制了数据集在评估任务中的直接可用性。此外,从0.1版本到0.2版本的演进过程中,评估轴数从14增至22,凸显了治理标准动态调整的复杂性,而如何确保基准与实时评估板保持一致,亦是维护数据可信度与权威性的关键所在。
常用场景
经典使用场景
gspc-hf-model-census数据集作为衡量AI治理透明度的基础性参考框架,其经典使用场景在于为Hugging Face Hub上约两万个模型提供一份全面而系统的‘未测量状态’普查清单。该数据集旨在确立一种标准化的评估基准,使研究者、政策制定者及行业从业者能够清晰地识别出当前大规模语言模型在治理、安全、溯源、开放性等22个关键维度上的测量缺口,从而为后续开展深度评估与横向比较奠定坚实的数据基础。
衍生相关工作
该普查数据集催生了众多上游与下游的关联性工作。它直接支撑了GSPC(General Safety and Performance Charter)测量体系的发展,鼓励研究者基于其列举的22个测量轴开发具体的评估方法与指标。同时,该数据集也促进了‘测量而非认证’理念的传播,引导社区衍生出诸如交互式验证面板、自动化审计代理或治理状态追踪器等一系列工具。它不仅被用作比较不同模型治理成熟度的基线,还引发了关于测量伦理及透明报告标准的讨论,成为推动AI问责制研究向前演进的一个重要枢纽。
数据集最近研究
最新研究方向
在人工智能治理的宏大叙事中,模型度量基准的缺失已成为制约可信AI落地的关键瓶颈。该数据集以2万个人工智能模型为观测对象,开创性地构建了'未度量性'(unmeasuredness)的基准参照系,而非传统意义上的评分排名。其核心创新在于将度量轴从14维扩展至22维,涵盖治理、安全、溯源、人机协同等多维前沿议题,并采用实时从权威委员会获取轴列表的动态构建机制,确保基准的时效性与权威性。这一设计不仅揭示了当前模型治理体系的度量真空,更通过'度量而非认证'的哲学立场,推动了AI透明度从静态声明向动态可验证的范式转型,为未来负责任AI的量化评估奠定了方法论基石。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务