mukunda1729/tool-arg-validation-cases

该数据集名为Tool Arg Validation Cases，包含20个配对的（模式、参数、预期结果）测试用例，专门用于测试大型语言模型（LLM）工具调用验证器。每个测试用例包括工具定义、LLM生成的参数以及验证结果（通过或失败，失败时包含预期的错误信息）。数据集适用于属性测试、生成重试反馈语料库以及为新工程师提供工具调用验证的示例。数据集字段包括工具名称（tool）、模式（schema）、参数（args）、验证结果（valid）和错误信息（error）。

---
许可证：MIT许可证
语言：
- 英语
标签：
- 大语言模型（Large Language Model）
- 工具调用
- AI智能体（AI Agent）
- 验证
- 模式（Schema）
- 测试
数据集规模类别：
- 样本数少于1000（n<1K）
美观名称：工具参数验证用例集
配置项：
- 配置名称：默认配置
数据文件：
- 数据划分：训练集
文件路径：data.jsonl
---

# 工具参数验证用例集

本数据集包含20组配对的（模式Schema、参数、预期结果）测试夹具，用于测试大语言模型（Large Language Model）的工具调用验证器。每一行数据均包含一项工具定义、大语言模型拟传入的参数，以及验证是否应当通过的结果（若验证不通过，还会附带预期的错误信息）。

python
from datasets import load_dataset
ds = load_dataset("mukunda1729/tool-arg-validation-cases", split="train")
for case in ds:
if case["valid"]:
assert validator(case["schema"], case["args"]).valid
else:
assert validator(case["schema"], case["args"]).error == case["error"]

## 模式规范

| 字段名 | 数据类型 | 说明 |
|---|---|---|
| `tool` | 字符串 | 工具名称（仅供参考） |
| `schema` | 对象 | 字段名→类型规范。类型名称后加`?`表示该字段为可选。支持的数据类型包括：`str`（字符串）、`int`（整数）、`float`（浮点数）、`bool`（布尔值）、`list`（列表）、`dict`（字典） |
| `args` | 对象 | 大语言模型生成的参数 |
| `valid` | 布尔值 | 预期的验证结果 |
| `error` | 字符串 | 当`valid: false`时的预期错误信息 |

## 应用场景

- 为[`agentvet-py`](https://pypi.org/project/agentvet-py/)、[`tool-call-contracts-py`](https://pypi.org/project/tool-call-contracts-py/)、[`@mukundakatta/agentvet`](https://www.npmjs.com/package/@mukundakatta/agentvet) 提供基于属性的测试用例。
- 为难以适配工具参数格式的模型生成重试反馈语料库，用于模型微调。
- 为首次集成工具调用验证功能的工程师提供入门示例。

本数据集隶属于[智能体可靠性工具栈](https://mukundakatta.github.io/agent-stack/)。

## 许可证

MIT许可证。