IHBench
收藏资源简介：
IHBench（中断处理基准）是一个专门设计用于评估语音助手在执行结构化、多步骤工作流时，处理用户中断后的恢复能力的基准数据集。与关注中断时机（如抢话检测、端点检测、话轮转换）的基准不同，IHBench专注于评估助手在中断发生后所说内容的质量：它是否能从工作流的正确步骤恢复，回应用户的插话，并避免重复用户已经听过的内容？该数据集包含45个合成生成且经过验证的英语对话，覆盖10个不同的企业领域（如客户服务、技术支持等）。这些对话共包含428个中断点，涵盖了六种中断类型：正常、不耐烦、纠正、话题切换、填充词和反驳。每个中断点都附带一个针对该中断的评估准则。数据集以两种配置提供：1) conversations配置（默认）：包含45行数据，每行代表一个完整的对话，对话被修剪至最后一个中断回合结束。每个对话都从助理消息开始，消息严格配对（偶数索引为助理，奇数索引为用户）。数据字段包括对话ID、领域信息、工作流目标、完整的系统指令、知识库（原理、详细指南、已知用户信息、阶段）、用户意图（反应特征、描述、情绪、隐藏信息）、回合数，以及每个回合的助理转录文本（包括被截断前的原始文本）、用户转录文本、用户音频（16 kHz嵌入式音频）、中断类型（若非中断则为None）、任务完成度评估准则和恢复质量评估准则列表。2) baseline配置：包含428行数据，提供了作为任务完成度比较锚点的GPT-4o Audio模型对每个中断的响应，用于计算胜率。评估以每个中断为一个样本。评估过程是：给定模型系统提示和截断至中断用户回合的对话历史（被中断的助理回合仅保留已交付的文本；用户回合为嵌入式音频或其转录文本），让模型生成下一个助理响应，然后从两个维度进行评分：任务完成度（通过与基线响应比较的胜率）和恢复质量（根据每个中断的恢复质量准则判断是否全部满足）。数据集适用于语音代理、中断处理、口语对话系统、多轮对话管理、工作流恢复等任务的研究与评估。需要注意的是，数据集基于合成对话构建，其评估准则继承了生成模型和评判模型的潜在偏差。
IHBench (Interruption Handling Benchmark) is a benchmark dataset specifically designed to evaluate the recovery capabilities of voice assistants when handling user interruptions during structured, multi-step workflows. Unlike benchmarks that focus on interruption timing (such as barge-in detection, endpoint detection, and turn-taking), IHBench concentrates on assessing the quality of the assistants response after an interruption occurs: Can it resume from the correct step in the workflow, respond to the users interjection, and avoid repeating content the user has already heard? The dataset includes 45 synthetically generated and validated English conversations, covering 10 different enterprise domains (e.g., customer service, technical support). These conversations contain a total of 428 interruption points, encompassing six interruption types: normal, impatient, correction, topic shift, filler, and rebuttal. Each interruption point is accompanied by a specific evaluation criterion for that interruption. The dataset is provided in two configurations: 1) conversations configuration (default): Contains 45 rows, each representing a complete conversation trimmed to the end of the last interruption turn. Each conversation starts with an assistant message, with messages strictly paired (even indices for assistant, odd indices for user). Data fields include conversation ID, domain information, workflow objective, full system instructions, knowledge base (principles, detailed guides, known user information, phases), user intent (reaction characteristics, description, emotion, hidden information), number of turns, and for each turn: assistant transcript text (including original text before truncation), user transcript text, user audio (16 kHz embedded audio), interruption type (None if not an interruption), task completion evaluation criteria, and a list of recovery quality evaluation criteria. 2) baseline configuration: Contains 428 rows, providing responses from the GPT-4o Audio model for each interruption as an anchor for task completion comparison, used to calculate win rates. Evaluation is performed per interruption as a sample. The evaluation process is: given the model system prompt and dialogue history truncated to the interrupting user turn (the interrupted assistant turn retains only delivered text; user turns are embedded audio or their transcripts), the model generates the next assistant response, which is then scored on two dimensions: task completion (via win rate compared to baseline responses) and recovery quality (based on whether all recovery quality criteria for that interruption are met). The dataset is suitable for research and evaluation in tasks such as voice agents, interruption handling, spoken dialogue systems, multi-turn dialogue management, and workflow recovery. It is important to note that the dataset is built on synthetic conversations, and its evaluation criteria inherit potential biases from generative and judging models.
数据集概要：IHBench (Interruption Handling Benchmark)
IHBench 是一个专注于评估语音助手在被打断后恢复能力的基准数据集。它衡量的是语音助手在中断后能否正确恢复工作流程、回应插话并避免重复用户已听过的内容，而非中断时机的检测。
数据集核心信息
- 任务类型：音频文本转文本 (audio-text-to-text)
- 语言：英语 (English)
- 许可证：CC-BY-4.0
- 标签：语音助手 (voice-agents)、中断处理 (interruption-handling)、口语对话 (spoken-dialogue)、基准测试 (benchmark)
- 领域：涵盖10个企业级应用领域
- 数据量：包含45个合成生成的验证对话
- 评估样本：共428个中断点，横跨6种中断类型（正常、不耐烦、纠正、话题切换、填充、反驳）
- 评估维度：每个中断点从 任务完成度 和 恢复质量 两个维度进行评估
数据集内容与结构
数据集包含两个配置（configs）：
-
conversations(默认配置)- 行数：45行，每行代表一个对话。
- 结构：对话从助手的消息开始，助手和用户消息交替出现（偶数索引为助手消息，奇数索引为用户消息）。对话被修剪至最后一个中断轮次。
- 关键列：
conversation_id: 唯一对话IDdomain: 领域信息（包含ID，名称和描述）goal: 助手的工作流程目标system_message: 完整的系统提示词knowledge_base: 知识库信息user_intent: 用户意图num_turns: 对话的轮次数assistant_turn_{t}_transcript: 助手实际发出的文本assistant_turn_{t}_original: 被中断的助手消息的完整文本（如未被中断则为None）user_turn_{t}_transcript: 用户话语user_turn_{t}_audio: 用户轮次的音频文件 (16 kHz)user_turn_{t}_interruption_type: 中断类型turn_{t}_tf_rubric: 任务完成度评估标准turn_{t}_rq_rubrics: 恢复质量评估标准列表
-
baseline(基准配置)- 行数：428行
- 用途：包含GPT-4o Audio模型对每个中断点的回复，用作任务完成度比较的锚点（胜率参照）。
- 关键列：
conversation_id: 对话IDinterrupting_user_message_index: 中断发生的消息索引turn: 轮次数response: 基线模型的回复文本
评估方法
- 评估样本：每个中断点为一个独立的评估样本。
- 评估流程：
- 将系统提示词和对话历史提供给待评估模型。
- 模型生成中断后的助手回复。
- 任务完成度：通过比较模型回复与GPT-4o Audio基线模型的回复，计算任务完成度的胜率。
- 恢复质量：根据预设的评估标准，检查模型回复是否满足所有要求，计算通过率。
引用信息
bibtex @misc{ihbench2026, title = {IHBench: Evaluating Post-Interruption Recovery in Voice Agents with Structured Workflows}, author = {Salimi, Ahmad and Ma, Wentao and Tang, Yuzhi and Shen, Dongming and Li, Mu and Smola, Alex}, year = {2026}, eprint = {arXiv:TODO}, archivePrefix = {arXiv}, primaryClass = {cs.CL}, }
