pramaan-proof-of-art-eval-v2.1
收藏资源简介：
Pramaan Proof of Art — Evaluation v2.1 是一个面向生成式几何图案/艺术生成任务的基准评估数据集，语言为英文，许可为 CC-BY-4.0，任务类别为 text-generation，标签包括 reinforcement-learning、openenv、verifiable-rewards、benchmark、generative-art、india、beam。其目标是使用确定性验证器评估生成模型产生的几何图案，并报告对已声明约束的精确结果。数据集中的图案是受南亚工艺词汇启发的原创设计，并非工匠真品，也不是从业者作品的替代品。该数据集是当前修正后的保留评估套件；旧版 eval-v2 已被取代，不应与 eval-v2.1 的结果合并。数据集包含四个配置，均为 test split：trajectories（trajectories/test.jsonl）、compact（compact/test.jsonl）、leaderboard（leaderboard/test.jsonl）和 references（references/test.jsonl）。可通过 Hugging Face datasets 加载，例如使用 load_dataset(kshitijthakkar/pramaan-proof-of-art-eval-v2.1, compact, split=test)。任务与轨迹字段方面，任务和 tradition 字段包括 prompt_id、suite_id、state、tradition_id、grammar、level、brief、palette、symmetry、constraint_profile；轨迹记录字段包括 trajectory_id、trajectory_schema_version、calls、attempt_count、max_attempts、reward_version（当前运行使用 pramaan-reward-v1）、valid_schema_at_1、validity_at_1、validity_at_3、data_role、training_eligible。嵌套 calls 包含 proposals 和 verifier reports；数据中排除 provider credentials 与原始 provider 错误体。README 提供当前单次运行 Beam 基线：72/72 tasks，schema-valid@1 81.9%，pass@1 23.6%，pass@3 65.3%，估计成本 USD 0.4382，但 provider-reported billed cost 不可用。冻结的跨模型报告在相同 72 条任务记录和验证器上评估了十个模型臂，冻结设置包括 4,096 token 输出上限、每个任务最多三个 proposals、零 provider retries，且逐行列出 provider 特定采样设置。模型臂结果包括：Beam 72/72 tasks，pass@1 23.6%，pass@3 65.3%；Claude Fable 5.1 72/72 tasks，pass@1 41.7%，pass@3 87.5%；Claude Haiku 5.5 72/72 tasks，pass@1 22.2%，pass@3 54.2%；Claude Opus 5.5 72/72 tasks，pass@1 8.3%，pass@3 90.3%；Claude Sonnet 5.5 72/72 tasks，pass@1 8.3%，pass@3 69.4%；DeepSeek V4 Flash 72/72 tasks，pass@1 4.2%，pass@3 9.7%；GPT-6 Astra 72/72 tasks，pass@1 81.9%，pass@3 93.1%；GPT-6 Luna 72/72 tasks，pass@1 2.8%，pass@3 12.5%；GPT-6.1 Sol 72/72 tasks，pass@1 79.2%，pass@3 91.7%；GPT-6.1 Terra 72/72 tasks，pass@1 52.8%，pass@3 79.2%。Claude 和 DeepSeek 的结果分两次收集：先为 shared common47 子集，再为其精确 delta25 补集，两者合起来等于规范排序的 72 任务套件。行保留 source prompt_suite_sha256，并记录规范套件 digest b04b568d84d2568fd261789819d4e925844dba5afe9c5962275ee571d84e4e3a、common47 digest dd3c9ce96a22deb1af94a1db22dc2a5016d1b1ad1c9c4a12befcd6690a6f7603、delta25 digest 26c4866f44a8e8314de067ef9b6aaac821219914414aace11c0c288616eb1590。Claude Fable 5.1 在 USD 22 上限内完成 72/72，保守 rate-card exposure 为 USD 21.117920，provider-billed cost 不可用；其他付费模型臂各有独立 USD 10 上限。完整汇总见 summary/eval-v2.1-summary.json。第三方模型输出仅用于评估，带有 data_role=benchmark_evaluation 和 training_eligible=false，受各自 provider 条款约束，不是训练数据。references 配置包含验证器认证的过程性示例，缩略图 PNG 位于 references/thumbnails/；该配置为套件覆盖的 36 个 states and union territories 各包含一个或多个示例。每行 data_role=reference、training_eligible=false；这些是说明性验证器见证，不是模型结果、不是工匠真品、不是基准分数。一个 Puducherry 任务在其冻结约束下不可满足，因此没有 accepted reference。评估行使用 data_role=benchmark_evaluation、training_eligible=false；训练行使用 data_role=training、training_eligible=true。SFT 和 repair 示例在 messages 中包含完整 system、user、assistant 轮次序列，assistant 文本也保留在 completion 中以便兼容；preference 示例单独保留 prompt，并提供完整 chosen_messages 和 rejected_messages 对话。Repairs 保持与任务及先前 verifier feedback 的关联。任何结果都应保留声明的套件 split 与 digest。预期用途为基准评估数据，应保持 held out，不用于训练、提示调优、模型选择，也不应把同一分数作为 held-out 性能报告。局限性在于验证器只检查已声明 schema 与几何约束，不衡量美学质量、文化权威、工匠真实性或从业者认可；模型结果具有随机性，仅适用于所列套件版本和运行设置。Prompt suite eval-v2.1 的 SHA-256 为 b04b568d84d2568fd261789819d4e925844dba5afe9c5962275ee571d84e4e3a。归因与来源：Beam 模型为 reflection/Beam-1.0-501B-A23B；tradition registry 来源列表见 maintained citation index，单独任务记录保留 tradition source metadata；轨迹 schema 与复用政策见相关文档。
Pramaan Proof of Art - Evaluation v2.1 is a benchmark evaluation dataset for generative geometric pattern/art generation tasks. It is in English, licensed CC-BY-4.0, with task category text-generation and tags reinforcement-learning, openenv, verifiable-rewards, benchmark, generative-art, india, beam. Its goal is to evaluate geometric patterns produced by generative models using a deterministic verifier and report exact results against declared constraints. The patterns are original designs inspired by South Asian craft vocabularies; they are not artisan-authentic works and are not substitutes for practitioner work. This dataset is the current corrected held-out evaluation suite; the older eval-v2 is superseded and its results should not be merged with eval-v2.1. It has four configurations, all test split: trajectories (trajectories/test.jsonl), compact (compact/test.jsonl), leaderboard (leaderboard/test.jsonl), and references (references/test.jsonl). It can be loaded via Hugging Face datasets, e.g. load_dataset(kshitijthakkar/pramaan-proof-of-art-eval-v2.1, compact, split=test). Task and trajectory fields: task and tradition fields include prompt_id, suite_id, state, tradition_id, grammar, level, brief, palette, symmetry, constraint_profile; trajectory record fields include trajectory_id, trajectory_schema_version, calls, attempt_count, max_attempts, reward_version (current run uses pramaan-reward-v1), valid_schema_at_1, validity_at_1, validity_at_3, data_role, training_eligible. Nested calls contain proposals and verifier reports; provider credentials and raw provider error bodies are excluded. README provides current single-run Beam baseline: 72/72 tasks, schema-valid@1 81.9%, pass@1 23.6%, pass@3 65.3%, estimated cost USD 0.4382, but provider-reported billed cost is unavailable. A frozen cross-model report evaluated ten model arms on the same 72 task records and verifier, with frozen settings including 4096 token output limit, at most three proposals per task, zero provider retries, and row-wise provider-specific sampling settings. Model arm results include: Beam 72/72 tasks, pass@1 23.6%, pass@3 65.3%; Claude Fable 5.1 72/72 tasks, pass@1 41.7%, pass@3 87.5%; Claude Haiku 5.5 72/72 tasks, pass@1 22.2%, pass@3 54.2%; Claude Opus 5.5 72/72 tasks, pass@1 8.3%, pass@3 90.3%; Claude Sonnet 5.5 72/72 tasks, pass@1 8.3%, pass@3 69.4%; DeepSeek V4 Flash 72/72 tasks, pass@1 4.2%, pass@3 9.7%; GPT-6 Astra 72/72 tasks, pass@1 81.9%, pass@3 93.1%; GPT-6 Luna 72/72 tasks, pass@1 2.8%, pass@3 12.5%; GPT-6.1 Sol 72/72 tasks, pass@1 79.2%, pass@3 91.7%; GPT-6.1 Terra 72/72 tasks, pass@1 52.8%, pass@3 79.2%. Claude and DeepSeek results were collected in two parts: first the shared common47 subset, then the exact delta25 complement, together equal to the canonically ordered 72-task suite. Rows retain source prompt_suite_sha256, and record canonical suite digest b04b568d84d2568fd261789819d4e925844dba5afe9c5962275ee571d84e4e3a, common47 digest dd3c9ce96a22deb1af94a1db22dc2a5016d1b1ad1c9c4a12befcd6690a6f7603, delta25 digest 26c4866f44a8e8314de067ef9b6aaac821219914414aace11c0c288616eb1590. Claude Fable 5.1 completed 72/72 within USD 22 cap, conservative rate-card exposure USD 21.117920; provider-billed cost unavailable; other paid model arms each had independent USD 10 caps. Full summary is in summary/eval-v2.1-summary.json. Third-party model outputs are for evaluation only, with data_role=benchmark_evaluation and training_eligible=false, subject to provider terms, and are not training data. The references config contains verifier-certified procedural examples, with thumbnail PNGs under references/thumbnails/; it includes one or more examples for each of the 36 states and union territories covered by the suite. Each row has data_role=reference, training_eligible=false; these are illustrative verifier witnesses, not model results, not artisan-authentic works, and not benchmark scores. One Puducherry task is unsatisfiable under its frozen constraints, so there is no accepted reference. Evaluation rows use data_role=benchmark_evaluation, training_eligible=false; training rows use data_role=training, training_eligible=true. SFT and repair examples contain full system, user, and assistant turns in messages; assistant text is also kept in completion for compatibility. Preference examples separately retain prompt and provide full chosen_messages and rejected_messages conversations. Repairs remain linked to the task and prior verifier feedback. Any results should retain the declared suite split and digest. Intended use is as benchmark evaluation data; it should remain held out and not be used for training, prompt tuning, model selection, nor should the same score be reported as held-out performance. Limitations: the verifier only checks declared schema and geometric constraints; it does not measure aesthetic quality, cultural authority, artisan authenticity, or practitioner recognition. Model results are stochastic and apply only to the listed suite version and run settings. Prompt suite eval-v2.1 SHA-256 is b04b568d84d2568fd261789819d4e925844dba5afe9c5962275ee571d84e4e3a. Attribution and sources: Beam model is reflection/Beam-1.0-501B-A23B; tradition registry source list is in the maintained citation index; individual task records retain tradition source metadata; trajectory schema and reuse policy are in related documentation.
Pramaan Proof of Art — Evaluation v2.1 数据集概述
基本信息
- 名称：Pramaan Proof of Art — Evaluation v2.1
- pretty_name：Pramaan Proof of Art — Evaluation v2.1
- 语言：en
- 许可证：cc-by-4.0
- 任务类别：text-generation
- 标签：reinforcement-learning、openenv、verifiable-rewards、benchmark、generative-art、india、beam
- 当前状态：当前修正后的 held-out 套件；旧 eval-v2 为历史版本且已被取代；不得将旧 eval-v2 结果与 eval-v2.1 合并。
评估目标
- 使用确定性验证器评估生成模型生成的几何图案，并报告精确的声明约束结果。
- 图案为受南亚工艺词汇启发的原创设计，不是工匠真实作品，也不是从业者的替代品。
配置与拆分
| 配置名 | 拆分 |
|---|---|
| trajectories | test |
| compact | test |
| leaderboard | test |
| references | test |
当前 Beam 基线
- 单次运行：72/72 tasks
- schema-valid @1：81.9%
- pass@1：23.6%
- pass@3：65.3%
- 估计成本：USD 0.4382
- 提供商报告计费成本：不可用
冻结跨模型报告
- 评估对象：10 个模型臂，使用相同 72 条任务记录和验证器。
- 冻结设置：输出上限 4,096 tokens；每任务最多 3 个 proposals；0 次 provider 重试；provider 特定采样设置按行列出。
- 各模型均完成 72/72 tasks。
| 模型 | 任务 | pass@1 | pass@3 |
|---|---|---|---|
| Beam | 72/72 | 23.6% | 65.3% |
| Claude Fable 5.1 | 72/72 | 41.7% | 87.5% |
| Claude Haiku 5.5 | 72/72 | 22.2% | 54.2% |
| Claude Opus 5.5 | 72/72 | 8.3% | 90.3% |
| Claude Sonnet 5.5 | 72/72 | 8.3% | 69.4% |
| DeepSeek V4 Flash | 72/72 | 4.2% | 9.7% |
| GPT-6 Astra | 72/72 | 81.9% | 93.1% |
| GPT-6 Luna | 72/72 | 2.8% | 12.5% |
| GPT-6.1 Sol | 72/72 | 79.2% | 91.7% |
| GPT-6.1 Terra | 72/72 | 52.8% | 79.2% |
- Claude 和 DeepSeek 结果分两次收集：共享 common47 子集，然后其精确 delta25 补集；两者合计等于规范有序 72-task 套件。
- 各行保留源
prompt_suite_sha256，并记录 canonical suite digest：b04b568d84d2568fd261789819d4e925844dba5afe9c5962275ee571d84e4e3a。 - common47 digest：
dd3c9ce96a22deb1af94a1db22dc2a5016d1b1ad1c9c4a12befcd6690a6f7603。 - delta25 digest：
26c4866f44a8e8314de067ef9b6aaac821219914414aace11c0c288616eb1590。 - Claude Fable 5.1 在其 USD 22 上限内完成 72/72；保守费率卡暴露为 USD 21.117920；提供商计费成本不可用。
- 其他每个付费模型臂均有独立的 USD 10 上限。
- 完整聚合摘要：https://huggingface.co/datasets/kshitijthakkar/pramaan-proof-of-art-eval-v2.1/blob/main/summary/eval-v2.1-summary.json
- 第三方模型输出仅用于评估，携带
data_role=benchmark_evaluation和training_eligible=false，并受其提供商条款约束；它们不是训练数据。
可见性限制
- 验证器检查声明的几何规则；不要求可见墨迹。
- 对保存结果进行只读回放审计发现：470 个验证器接受的 PASS@3 设计中有 44 个与
background_index不同的 64×64 像素少于 2%；其中 37 个为单一纯色，7 个有部分墨迹但低于阈值。 - 以下数字披露渲染限制；不修订冻结有效性分数或排名。
| 模型 | PASS@1 低于 2%（已接受） | PASS@3 低于 2%（已接受） | PASS@3 纯色 |
|---|---|---|---|
| Beam | 3 | 8/47 | 8 |
| Claude Fable 5.1 | 2 | 3/63 | 3 |
| Claude Haiku 5.5 | 1 | 2/39 | 2 |
| Claude Opus 5.5 | 1 | 4/65 | 3 |
| Claude Sonnet 5.5 | 0 | 1/50 | 1 |
| DeepSeek V4.1 Flash | 1 | 1/7 | 0 |
| GPT-6 Astra | 8 | 8/67 | 7 |
| GPT-6 Luna | 2 | 4/9 | 3 |
| GPT-6.1 Sol | 7 | 7/66 | 6 |
| GPT-6.1 Terra | 5 | 6/57 | 4 |
字段
- 任务与传统字段：
prompt_id、suite_id、state、tradition_id、grammar、level、brief、palette、symmetry、constraint_profile。 - 轨迹记录：
trajectory_id、trajectory_schema_version、calls、attempt_count、max_attempts、reward_version（存在时；当前运行使用pramaan-reward-v1）、valid_schema_at_1、validity_at_1、validity_at_3、data_role、training_eligible。 - 嵌套 calls 包含 proposals 和 verifier reports；provider credentials 和 raw provider error bodies 被排除。
加载方式
python from datasets import load_dataset rows = load_dataset("kshitijthakkar/pramaan-proof-of-art-eval-v2.1", "compact", split="test")
预期用途
- 基准评估数据。
- 从训练、提示调优、模型选择，以及任何将相同分数呈现为 held-out 性能的报告中保持 held out。
程序参考
references配置包含验证器认证的程序示例与缩略图 PNG。- 包含套件所代表的 36 个州和联邦属地中每个的一个或多个示例。
- 每行具有
data_role=reference和training_eligible=false；这些是说明性验证器见证，不是模型结果，不是工匠真实作品，也不是基准分数。 - 一个 Puducherry 任务在其冻结约束下不可满足，且没有接受的参考。
数据角色与训练/评估
- 评估行使用
data_role=benchmark_evaluation和training_eligible=false。 - 训练行使用
data_role=training和training_eligible=true。 - SFT 和 repair 示例在
messages中包含完整 system、user、assistant 回合序列；assistant 文本也保留在completion中以兼容。 - Preference 示例单独保留 prompt，并提供完整
chosen_messages和rejected_messages对话。 - 在训练轨迹中，
calls[].messages保留精确请求，calls[].conversation将 assistant 响应附加为显式 assistant-role 回合；没有模型响应的 calls 没有 assistant 回合。 - Repairs 保持与其任务和先前验证器反馈关联。
- 任何结果都应保留声明的 suite split 和 digest。
限制
- 验证器检查声明的 schema 和几何约束；不衡量美学质量、文化权威、工匠真实性或从业者认可。
- 模型结果具有随机性，仅适用于列出的套件版本和运行设置。
- Prompt suite
eval-v2.1SHA-256：b04b568d84d2568fd261789819d4e925844dba5afe9c5962275ee571d84e4e3a。
归属和来源
- Beam 模型：
reflection/Beam-1.0-501B-A23B。 - 传统注册来源列表：见维护的 citation index：https://github.com/Mandark-droid/Proof-of-Art/blob/main/CITATIONS.md
- 单个任务记录保留传统来源元数据。
- 轨迹 schema 和复用政策：https://github.com/Mandark-droid/Proof-of-Art/blob/main/benchmarks/TRAJECTORY_DATASET.md
版本说明
- 当前版本为 eval-v2.1，是修正后的 held-out 套件。
- 旧 eval-v2 为历史版本且已被取代；不得将其结果与 eval-v2.1 合并。
