ketewodros41/tenacious-bench-v0.1

Tenacious-Bench v0.1是一个包含200个任务的评估基准，专门用于B2B销售外联代理的评估。它测量五个通用基准（如τ²-Bench零售版）无法检测的失败维度。数据集包含训练集（100个任务）、验证集（60个任务）和保留集（40个任务，密封至2026-05-05）。数据来源包括30%的跟踪衍生数据、30%的程序生成数据、25%的多LLM合成数据和15%的对抗性数据。该基准主要评估五个维度：信号基础（校准声明与信号置信度）、语调合规性（避免禁用短语并匹配潜在客户的AI成熟阶段）、CTA质量（探索性而非强制预约）、个性化深度（引用至少两个特定信号标记）以及bench适应对齐（避免bench过度承诺）。

Tenacious-Bench v0.1 is a 200-task evaluation benchmark for B2B sales outreach agents. It measures five failure dimensions that general-purpose benchmarks (like τ²-Bench retail) cannot detect. The dataset includes train (100 tasks), validation (60 tasks), and held_out (40 tasks, sealed until 2026-05-05) splits. Source modes consist of 30% trace-derived, 30% programmatic, 25% multi-LLM synthesis, and 15% adversarial data. The benchmark evaluates five dimensions: signal_grounding (calibrating claims to signal confidence), tone_compliance (avoiding banned phrases and matching prospects AI maturity stage), cta_quality (exploratory rather than forcing a booking), personalization_depth (referencing at least two specific signal tokens), and bench_fit_alignment (avoiding bench over-commitment).

搜集汇总

数据集介绍

构建方式

Tenacious-Bench v0.1是一个专为B2B销售拓展代理设计的200项评估基准，旨在测量通用基准（如τ²-Bench零售版）无法探测的五类失败维度。该数据集从多种来源构建而成：30%来自实际交互轨迹推导、30%通过程序化生成、25%由多LLM合成、15%由对抗性方法产生。经过校准后，五个维度上的评分者间信度κ均不低于0.82，且通过n-gram、嵌入和时间偏移等污染检查。数据集划分包含100项训练集、60项验证集和40项留出集。

特点

该基准核心测量五个关键维度：信号接地性——输出是否根据信号置信度校准声明；语气合规性——是否避免23个禁用短语并匹配潜在客户的人工智能成熟度阶段；行动号召质量——CTA是否具有探索性而非强制预约；个性化深度——是否至少引用两个具体信号标记；基准匹配对齐——是否避免过度承诺。评分完全确定性，不依赖大语言模型评估循环，确保了评估的客观与可复现性。

使用方法

用户可通过HuggingFace datasets库轻松加载该数据集，使用`load_dataset("ketewodros41/tenacious-bench-v0.1")`即可获取训练、验证和留出三个子集。训练集适用于偏好对构建和模型开发，验证集用于评估准则校准与评价器开发，留出集则密封至2026年5月5日，用于最终评测。每个样本包含完整的任务描述及对应的五维度评分标签，便于研究者直接开展B2B销售代理的细粒度失败分析。

背景与挑战

背景概述

在B2B销售外联领域，自动化智能体逐渐成为提升效率的关键工具，然而现有通用评估基准如τ²-Bench零售版难以全面捕捉销售场景中的细微失败模式。Tenacious-Bench v0.1数据集由Ketewodros团队于2024年创建，旨在弥补这一空缺，专注于评估销售外联智能体在五个关键维度上的表现：信号锚定、语气合规、行动号召质量、个性化深度和基准匹配对齐。该基准包含200个精心设计任务，覆盖训练、验证和留出集，并通过多源数据融合（包括轨迹派生、程序生成、多LLM合成及对抗样本）构建，具有较高的评分者间信度（κ≥0.82）。其引入的确定性评分机制避免了LLM在评估循环中的干扰，为销售智能体研究提供了可靠且可复现的评估工具，影响力集中于提升自动化外联系统的鲁棒性和实际应用效果。

当前挑战

该数据集所解决的领域核心挑战是通用基准无法检测的B2B销售外联智能体隐性失败模式，例如智能体可能生成语气不合规或过度承诺的回复，但现有基准缺乏库存模型、风格指南和信号置信度分级来识别此类缺陷。在构建过程中，主要挑战包括：确保数据多样性以覆盖真实销售场景的复杂性，通过30%轨迹派生、30%程序化生成、25%多LLM合成及15%对抗样本实现平衡；维护评估的客观性，采用全确定性评分机制避免LLM偏差；防止数据污染，通过n-gram、嵌入和时间偏移检查确保纯净性；以及建立高一致性的评分标准，经过校准后五个维度评分者间信度达到κ≥0.82。这些挑战的解决为销售智能体评估树立了新标杆。

常用场景

经典使用场景

Tenacious-Bench v0.1 作为专为B2B销售外呼智能体设计的细粒度评估基准，经典使用场景聚焦于测评AI销售助手在真实商业交互中的五项关键故障维度。该基准通过200个精心构造的任务，系统性地检验智能体的信号置信度校准能力、语调合规性、行动号召质量、个性化深度以及产品库存匹配度，从而全面揭示通用基准无法捕捉的隐蔽缺陷。

实际应用

在实际应用层面，该数据集为企业构建和优化B2B销售智能体提供了可落地的质量保障工具。销售技术团队可借助其确定的评分机制，在生产环境中自动检测智能体是否出现违规用语、过度承诺库存或缺乏个性化等问题。同时，该基准支持分层维护与交叉验证，确保不同版本的销售智能体在退出实验环境前达到合规标准，显著降低了部署风险并提升了客户信任度。

衍生相关工作

围绕Tenacious-Bench的数据特性，学术界已衍生出若干方向性工作。相关研究包括基于其五维故障标签设计偏好学习算法的鲁棒性增强方案，利用确定性评分结果构建可解释性分析框架以揭示智能体决策偏差，以及借鉴其信号置信度分级思想改进对话系统的不确定性建模技术。这些工作共同拓展了细粒度评估在垂直商业场景中的应用边界。