sakthai-bench-v3

SakThai Bench v3 是一个自动化工具调用基准数据集，由 SakThai 夜间作业每周重新生成，旨在评估模型在工具调用任务上的性能。数据集包含四个类别：简单（simple）、并行（parallel）、多轮（multi_turn）和无关性（irrelevance），每个样本由 messages、tools、expected_tools 和 category 字段组成。数据以 JSONL 和 Parquet 格式提供，许可证为 MIT，语言为英语。SakThai Bench v3 is an automated tool-calling benchmark dataset, regenerated weekly by SakThai nightly job, aiming to evaluate model performance on tool-calling tasks. The dataset includes four categories: simple, parallel, multi_turn, and irrelevance, with each sample consisting of messages, tools, expected_tools, and category fields. Data is provided in JSONL and Parquet formats, licensed under MIT, and the language is English.

原始信息汇总

SakThai Bench v3 数据集概述

基本信息

• 数据集名称： SakThai Bench v3
• 许可证： MIT
• 语言： 英语
• 任务类型： 其他（工具调用/函数调用基准测试）
• 标签： benchmark、tool-calling、function-calling、sakthai、house-of-sak、automated

数据集简介

SakThai Bench v3 是一个自动化的工具调用基准测试数据集，由 SakThai 夜间任务（benchmark-v3-publish）每周自动重新生成。

数据详情

生成方式

• 由脚本 .opencode/scripts/run-benchmark-v3.py 生成

分类类别

数据集包含四种类别：

• simple（简单）
• parallel（并行）
• multi_turn（多轮）
• irrelevance（不相关）

数据架构

每一行数据包含以下字段：

• messages（消息）
• tools（工具）
• expected_tools（预期工具）
• category（类别）

文件结构

• 源文件：data/sakthai-bench-v3.jsonl
• 服务文件：data/train-00000-of-00001.parquet（由数据集服务器提供）

使用方法

可通过以下 Python 代码加载数据集：

python from datasets import load_dataset

ds = load_dataset("Nanthasit/sakthai-bench-v3") print(ds["train"])

其他说明

• 本数据集是 sakthai-bench-v2 的实时继任版本
• 由于夜间任务每周会重新采样，数据集的行数和组成会每周变化，可查看提交历史获取各周版本
• 属于 House of Sak 项目的一部分