Sitegeist

github2026-07-20 更新2026-07-21 收录

编码代理设计收敛评估

视觉网站生成基准测试

数据链接：

https://github.com/cowboycodr/sitegeist 数据链接链接失效反馈

官方服务：

资源简介：

Sitegeist是一个视觉基准测试数据集，包含100个中性网站简介和由四个模型集合（5.6 Sol、Opus 4.8、Grok 4.5、Fable 5）生成的400个完整、自包含的网站。该数据集旨在评估领先编码代理在相同简介下设计本能收敛的频率，支持通过画廊比较结果，并包括生成规则、审核证据和完整性验证。

Sitegeist is a visual benchmark dataset consisting of 100 neutral website briefs and 400 complete, self-contained websites generated by an ensemble of four models (5.6 Sol, Opus 4.8, Grok 4.5, Fable 5). This dataset aims to evaluate the frequency at which leading coding AI Agents converge on instinctive design solutions when provided with identical briefs. It supports result comparison via galleries, and includes generation rules, audit evidence, and completeness validation.

创建时间：

2026-07-13

原始信息汇总

数据集概述：Sitegeist

核心目标

Sitegeist 是一个视觉基准测试，用于回答一个简单问题：当领先的编码代理收到相同的网站简报时，它们的设计直觉在多大程度上会趋同？

数据集规模

包含 100 个中性简报。
生成 400 个完整、独立的网站。

模型集合

数据集涵盖以下四个模型生成的网站：

5.6 Sol
Opus 4.8
Grok 4.5
Fable 5

生成环境与隔离规则

每次生成尝试在全新的单文件系统中运行。工作代理仅接收：

中性工作订单
单个私有简报
工件合约

工作代理无法访问：

Sitegeist 画廊或 Git 历史
其他模型的结果
自身批次中先前的网站
屏幕截图、重复报告或早期尝试的审阅者反馈

接受标准

被接受的网站必须提供：

作者源代码
无依赖的静态构建
自包含的 4:3 画廊海报

评估器会拒绝以下情况：

远程资源
运行时网络依赖
符号链接
格式错误的工件
控制台错误
移动端水平溢出

数据集结构

路径	用途
`benchmark/briefs/generated`	100 个模型中立的网站简报
`benchmark/CONTRACT.md`	隔离规则和提交工件合约
`benchmark/reports`	生成、移动运行时、代码量和重复审计证据
`scripts/benchmark`	隔离运行器、审阅器、导入器和审计工具
`static/sites`	可部署的网站集合
`.skills/add-model`	添加另一个 CLI/模型集合的可复用工作流

画廊功能

可以浏览每个结果
切换模型
并排比较最多三个生成结果

本地运行画廊

要求：Node.js 和 pnpm
运行：pnpm install 然后 pnpm dev
生产验证：pnpm check 和 pnpm build
部署：通过 Cloudflare Workers 部署

审计功能

仓库包含确定性审计，用于检测：

源代码/构建的精确重复
跨模型重复
工件体积
最终集合完整性

方法论局限

该基准测试仅衡量一个受限的网站生成任务，而非通用模型能力。
精确重复审计检测相同的源代码或可部署输出，不声称衡量语义或风格相似性。
画廊海报是作者创作的表示，而非基准测试证据。
提供商行为、模型别名和代理工具可能随时间变化。

创建者与许可

创建者：Kian McKenna
许可：MIT 许可

搜集汇总

数据集介绍

构建方式

Sitegeist是一项针对代码生成智能体设计一致性的视觉化基准测试。其构建方式围绕完全隔离的生成环境展开：每个生成任务均运行在独立的单站点文件系统中，工作进程仅接收一份中立的工作指令、一个私有的项目简报以及预先定义的工件契约。工单系统不允许访问画廊历史、其他模型结果、自身先前生成的内容或任何形式的反馈信息。每个模型集合包含100个中立简报，共生成400个完整且自包含的网站，所有站点必须提供原创源代码、无依赖的静态构建产物以及自包含的4:3画廊海报，评审机制会剔除包含远程资源、运行时网络依赖、符号链接、畸形工件、控制台错误或移动端水平溢出的不合格作品。

使用方法

用户可以通过本地运行的方式探索Sitegeist数据集。首先确保环境中已安装Node.js和pnpm，然后在项目根目录执行pnpm install安装依赖，接着运行pnpm dev启动本地开发服务器，即可在浏览器中访问http://localhost:5173浏览所有生成结果。数据集的核验流程包括运行pnpm check进行生产环境验证，以及使用pnpm build进行构建。对于深度审计需求，用户可利用scripts/benchmark目录下的确定性审计脚本，例如通过audit-cross-model-duplicates.mjs脚本指定两个模型集合的注册表文件，生成跨模型的精确重复检测报告。所有生成简报、审计脚本和工件合同均存储在benchmark目录中，为研究者提供了完整的复现与扩展工具链。

背景与挑战

背景概述

Sitegeist基准测试由Kian McKenna于近期创建，旨在回答一个核心研究问题：当领先的编码代理接收到相同的一组网站简报时，其设计直觉在多大程度上会趋同。该项目包含100个中立简报以及来自四个模型集合（5.6 Sol、Opus 4.8、Grok 4.5和Fable 5）的400个完整、自包含的网站。通过提供隔离的生成环境、严格的工件契约和自动化审查流程，Sitegeist为评估当代编码代理在网站生成任务中的一致性和独创性提供了独特视角，其影响力体现在为生成式AI在设计领域的重复性和多样性评估树立了新的标杆。

当前挑战

Sitegeist所解决的核心领域挑战是评估AI模型在设计生成任务中的趋同性与重复性，尤其是需要区分完全重复与语义或风格上的相似性，这超出了传统图像分类或文本生成基准的范畴。在构建过程中，主要的挑战包括：确保每个生成实例在完全孤立的文件系统中运行，避免模型接触任何历史输出或外部反馈；制定严格的验收标准，仅接受无外部依赖的静态构建且需通过移动端适配、控制台错误等多项技术审查；构建高效的跨模型精确重复检测机制，以识别源代码或部署产物的完全一致，而不陷入对语义相似度的模糊判断。

常用场景

经典使用场景

在人工智能生成代码与自主网页设计兴起的浪潮中，Sitegeist 构建了一个独特的视觉基准测试，旨在量化前沿编码智能体在面对相同网站设计指令时产生的风格趋同程度。该数据集包含100个中性的设计简报以及由四组前沿模型——5.6 Sol、Opus 4.8、Grok 4.5 和 Fable 5——各自生成的400个完整且自包含的网站。研究者可通过该基准直观地跨模型对比生成结果，从而系统性地审视由同源任务引发的设计模式涌现、视觉偏好重复以及潜在的同质化风险。

解决学术问题

Sitegeist 精准回应了生成式人工智能在创造性任务中衡量多样性与原创性的学术难题。当前研究多聚焦于模型的单次生成质量，而忽略了多次生成间的内容发散程度。该数据集通过执行严格的生成隔离契约——确保每次调用均始于全新的文件系统、不依赖历史记录或跨结果反馈——从方法论上剥离了外部干扰，使得研究者能够独立评估模型在设计决策上的重复性、视觉模式收敛性以及精确的源码/构建产物重复率。这为理解大型语言模型在创意生成中的“自我抄袭”倾向、设计记忆的无意识复现以及神经风格碰撞的边界提供了可复现的量化分析工具。

实际应用

在实际产业应用中，Sitegeist 所揭示的设计趋同现象对电商首页快速原型、营销落地页批量生成以及企业品牌门户的自动化设计具有直接警示意义。对于依赖AI工具生成多样化视觉方案的UI/UX团队，该基准可帮助识别特定模型在面对同类需求时输出陷入风格窄化的临界点。同时，广告创意与网页制作平台可利用该数据集中的去重审计工具（如精确源码比对与跨模型重复检测）来建立质量监控流水线，从源头遏制含高度雷同结果的上线风险，从而保障终端产品在商业竞争中的视觉差异性与品牌识别度。

数据集最近研究