OnchainPlanBench-Seed

OnchainPlanBench Seed 是一个早期的 CodePit 数据集，旨在评估小型开源模型在 Web3 AI-agent 的钱包执行之前，对其行动计划进行批评、修复、拒绝或批准的能力。该数据集是首个 CodePit 官方模型赛道 CodePit PlanGuard 的公开种子版本，并非生产级的安全基准。每个数据样本为模型提供以下信息：用户意图、钱包上下文、可用工具、风险与隐私政策以及可选的草案计划。模型需要输出一个严格的 JSON 格式决策，包含以下字段：裁决（accept、repair、reject 或 clarify）、计划（允许时的有序可执行步骤）、执行前需确认项、前提条件、风险摘要、隐私说明、安全标志，以及在相关情况下的被拒绝步骤或缺失信息。当前种子数据聚焦于一个狭窄的启动领域，涵盖 Base 链、ETH 和 USDC 相关操作，如余额检查、转账、授权、同链 Aave 式存款、需要报价/模拟的兑换、x402 支付规划、钱包上下文最小化、MEV/私有RPC路由推荐，以及对洗钱/合规规避请求的拒绝和恶意工具描述的处理。数据集规模较小（小于1K样本），包含训练和验证分割。数据集包含一个简单的评估器用于检查输出结构，但强调其数据是合成的，不能替代法律、合规或交易模拟审查，也不能单独用于训练模型或授权任何交易。OnchainPlanBench Seed is an early CodePit dataset designed to evaluate the ability of small open-source models to critique, revise, reject, or approve action plans before they are executed by Web3 AI agents connected to crypto wallets. This dataset is the first public seed release of CodePit PlanGuard, the official model track of CodePit, and is not a production-grade security benchmark. Each data sample provides the model with the following information: user intent, wallet context, available tools, risk and privacy policies, and an optional draft plan. The model is required to output a strictly JSON-formatted decision containing the following fields: decision ("accept", "repair", "reject", or "clarify"), plan (ordered executable steps when permitted), pre-execution confirmation items, prerequisites, risk summary, privacy notice, security flags, and, where relevant, rejected steps or missing information. This current seed dataset focuses on a narrow launch domain, covering operations related to Base blockchain, Ethereum (ETH), and USD Coin (USDC), such as balance checks, transfers, approvals, same-chain Aave-style deposits, quotes/simulation-required swaps, x402 payment planning, wallet context minimization, MEV/private RPC routing recommendations, rejection of money laundering or compliance evasion requests, and handling of malicious tool descriptions. The dataset is small in scale (fewer than 1,000 samples) and includes training and validation splits. The dataset includes a simple evaluator for checking output structure, but emphasizes that its data is synthetic and cannot substitute for legal, compliance, or transaction simulation reviews, nor can it be used alone for model training or authorizing any transactions.

原始信息汇总

数据集概述

数据集名称：OnchainPlanBench Seed
发布方：CodePit
许可证：MIT
语言：英文
数据规模：少于1000条（n<1K）
任务类型：文本生成、文本分类

数据集描述：
该数据集用于评估小型开源模型在Web3 AI代理执行钱包交易前，能否对行动计划进行审查、修复、拒绝或批准。此数据集为CodePit官方模型赛道“CodePit PlanGuard”的首个公开种子数据，并非生产级安全基准。

测试内容：
每条数据为模型提供以下信息：

• 用户意图
• 钱包上下文
• 可用工具
• 风险与隐私策略
• 可选草案计划

模型需输出严格的JSON决策，包含：

• verdict：accept、repair、reject或clarify
• plan：允许时的可执行步骤
• requires_confirmation_before：执行前需确认的项
• preconditions：前提条件
• risk_summary：风险摘要
• privacy_notes：隐私说明
• security_flags：安全标记
• rejected_steps或missing_information：拒绝的步骤或缺失信息

当前覆盖范围：
数据集聚焦于Base链上的ETH和USDC操作，包括：

• 余额检查
• 转账
• 批准
• 同链Aave风格存款
• 需要报价/模拟的兑换
• x402支付计划
• 钱包上下文最小化
• MEV/私有RPC路由建议
• 拒绝洗钱/规避合规请求
• 恶意工具描述处理

数据划分：

• data/train.jsonl：种子训练样本
• data/validation.jsonl：种子验证样本

评估工具：
仓库内包含小型评估器evaluation/evaluate_outputs.py，用于检查JSON结构有效性和基于标签的预期结果。使用示例： bash python evaluation/evaluate_outputs.py --dataset data/validation.jsonl --predictions predictions.jsonl

预测格式为每行一个JSON对象： json {"id":"eval_wrong_chain_transfer","output":{"verdict":"repair","plan":[]}}

重要限制：

• 种子数据为合成数据，规模较小
• 不可替代法律、合规、钱包或交易模拟审查
• 不能单独用于模型训练
• 不授权任何交易
• 模型需通过CodePit验证器在保留基准上的评分才能被视为改进

搜集汇总

数据集介绍

构建方式

OnchainPlanBench-Seed数据集由CodePit平台精心构建，旨在评估小型开源模型在Web3环境中对AI代理行动计划的审查能力。该数据集通过合成方式生成，聚焦于Base链上ETH和USDC的典型操作场景，涵盖余额检查、转账、授权、Aave风格存款、需报价或模拟的兑换、x402支付规划、钱包上下文最小化、MEV/私有RPC路由推荐，以及拒绝洗钱或规避合规请求等任务。每条数据包含用户意图、钱包上下文、可用工具、风险与隐私策略及可选草案，要求模型输出包含裁决类型、执行步骤、确认条件、前置条件、风险摘要、隐私说明、安全标志及被拒绝步骤或缺失信息等字段的严格JSON决策。

特点

该数据集的核心特点在于其专注性、结构化与安全性导向。它仅涵盖13种狭窄但关键的链上操作领域，确保评估的针对性与深度。数据以JSON格式组织，强调模型的决策逻辑，不仅要求输出简单的接受或拒绝，更要求提供修复方案、澄清需求及详细的风险分析。此外，数据集明确注明了局限性，包括数据为合成生成、规模较小、不可替代法律合规审查、无法单独训练模型等，体现了严谨的科学态度和明确的使用边界。

使用方法

数据集划分为训练集和验证集，存储在`data/train.jsonl`与`data/validation.jsonl`文件中。用户可直接加载JSON Lines格式数据进行模型训练或评估。配套的评估脚本`evaluation/evaluate_outputs.py`可验证模型输出的JSON结构完整性与标签期望，使用方法为通过命令行指定验证集路径和预测结果文件路径。模型输出需保持与数据集一致的JSON行格式，每条包含唯一ID和决策结果。需注意，该种子数据集仅为CodePit PlanGuard赛道的第一阶段公共资源，后续将扩展并引入更严格的验证器评估机制。

背景与挑战

背景概述

OnchainPlanBench-Seed数据集由CodePit社区于2024年发布，旨在评估轻量级开源模型在Web3智能代理行动规划中的批判、修复、拒绝或批准能力。该数据集聚焦于小型模型在钱包执行前对链上交易计划的审核，涵盖Base链上的ETH与USDC资产操作、Aave存款、X402支付等复杂场景。作为CodePit首个官方模型赛道PlanGuard的开源种子数据集，它填补了Web3领域AI代理安全验证基准的空白，为去中心化金融中的代理行为规范提供了标准化测试工具，对推动小型模型在加密生态中的应用具有里程碑意义。

当前挑战

该数据集面临的核心领域挑战在于解决Web3智能代理的安全性与合规性困境：小型模型需在资源受限条件下精准识别恶意交易、洗钱请求及隐私泄露风险，同时处理跨链操作的复杂鲁棒性。构建过程中挑战显著，因合成数据规模极小（n<1K）且场景狭窄，难以泛化至真实链上活动的动态状态；缺乏生产级安全标注标准，如恶意工具描述处理与MEV路由优化等特异场景的边界界定存在主观性；此外，模型输出需严格遵循六字段JSON结构，但验证器尚处初期阶段，无法覆盖执行层潜在风险，导致数据集的生态扩展性受限于人工模拟的局限性。

常用场景

经典使用场景

在Web3与去中心化金融（DeFi）蓬勃发展的浪潮中，智能合约与链上交互的安全性成为行业关注的焦点。OnchainPlanBench-Seed数据集专为评估小型开源语言模型在Web3 AI代理行动计划中的批判、修复、拒绝与批准能力而设计。其经典使用场景是模拟用户意图、钱包上下文、可用工具及风险隐私策略，要求模型输出结构化的JSON决策，包括裁决结果（接受、修复、拒绝或澄清）、可执行步骤列表、确认前置条件、风险摘要、隐私说明、安全标志以及被拒绝的步骤或缺失信息。这一场景精准刻画了AI代理在执行链上交易前所需的安全审查流程，为提升模型在去中心化环境下的决策可靠性提供了标准化测试框架。

实际应用

在实际应用中，该数据集直接服务于CodePit平台的PlanGuard模型竞赛，旨在训练能够嵌入Web3钱包的轻量级安全裁决代理。借助该数据集，开发者可微调小型开源模型，使其在用户发起交易前自动执行风险审查，例如检测异常的大额转账、识别伪装成合法工具的恶意合约接口、推荐隐私保护策略以规避MEV攻击。典型应用场景包括去中心化交易所的滑点保护、借贷协议的健康因子监控、跨链桥的流动性评估，以及合规性要求下的实名制交易过滤。这些功能显著降低了用户因误操作或恶意合约而蒙受资产损失的风险，提升了去中心化应用的安全门槛。

衍生相关工作

围绕该数据集，已衍生出多项标志性研究工作。CodePit官方率先发布PlanGuard模型跟踪赛道，鼓励参与者基于种子数据训练低秩适应（LoRA）适配器，系统对比通用工具调用基线模型的表现。后续工作可扩展至更复杂的多步骤行动计划规划、隐私保护下的敏感信息脱敏处理、对抗性恶意指令鲁棒性提升，以及与形式化验证工具（如交易模拟器）的协同集成。此外，数据集的合成数据生成方法为其他Web3安全基准（如智能合约漏洞检测、钓鱼合约识别）提供了可复制的范式，推动学界与产业界共同构建去中心化环境下的AI安全评估生态。