AI Agent Quality Assurance

Audit AI-agent run logs for token-cost bloat, business-rule violations, and JSON-Schema conformance.

原始信息汇总

AI Agent Quality Assurance - 数据集详情

📌 概述

AI Agent Quality Assurance 是一个框架无关的质量保证层，用于验证 LLM 或 Agent 框架的输出。通过 POST 运行日志，返回结构化的 QA 报告，包含令牌成本审计、可配置的业务规则检查以及 JSON-Schema 合规性验证。支持无状态处理，不存储任何数据。

🚀 核心功能

• 令牌成本审计：提供每个步骤的令牌消耗明细，以及 0-1 的膨胀分数（bloat score），用于检测提示词浪费。
• 业务规则检查：支持字段存在性（field_presence）、字段值（field_value）、正则表达式（regex）、长度（length）、比较（comparison）和 JSONPath 表达式（jsonpath_expr）等规则。
• JSON-Schema 验证：根据用户自定义的 JSON Schema 验证 Agent 输出。
• 批量端点：单次调用最多运行 100 次检查，并返回聚合摘要。
• 框架无关：兼容 LangChain、LlamaIndex、CrewAI 或自定义堆栈。

💡 典型应用场景

• CI 门控：当 Agent 输出偏离 Schema 时阻断构建。
• 生产监控：对令牌膨胀或规则违规发出告警。
• 回归测试：在提示词或模型变更时进行测试。
• 成本治理仪表板：监控 Agent 集群的成本消耗。

🔧 API 端点

端点	功能	付费计划
POST /v1/audit/tokens	审计令牌成本（总计、分步明细、膨胀分数）	免费
POST /v1/check/schema	验证 JSON Schema 合规性	付费
POST /v1/check/rules	应用业务规则并返回违规情况	付费
POST /v1/batch	批量运行多达 100 次 QA	付费
GET /health	存活探针	免费

💳 定价计划

计划	价格	请求配额	速率限制
BASIC（免费）	$0.00/月	100 次/月	5 次/分钟
PRO	$9.00/月	5,000 次/月	30 次/分钟
ULTRA	$29.00/月	25,000 次/月	60 次/分钟
MEGA	$99.00/月	100,000 次/月	120 次/分钟

❓ 常见问题

• 支持的 Agent 框架：任何框架均可，只需提供运行日志（步骤 + 令牌计数 + 最终输出）。
• 数据存储：不存储任何运行日志，处理过程无状态。
• 膨胀分数：0-1 之间，值越高表示越可能存在浪费（如过大的上下文、重复步骤）。