test

Trivita医疗聊天机器人测试数据集包含用于评估Trivita医疗聊天机器人（prompt版本16）使用MedGemma-27B-IT模型的测试用例。数据集分为两个子集：single_turn（22个测试用例，单个医疗场景）和multi_turn（8个测试用例，多轮对话）。每个测试用例都根据安全性、同理心、简洁性和合规性进行评分。

原始信息汇总

Trivita Medical Chatbot Test Dataset 概述

数据集基本信息

• 许可证: MIT
• 任务类别: 文本生成、对话系统
• 语言: 越南语
• 标签: 医疗、聊天机器人、医疗保健、越南语
• 规模: 小于1K样本

数据集结构

配置版本

• single_turn: 单轮医疗聊天机器人测试用例（22条记录）
• multi_turn: 多轮对话测试用例（8条记录）
• default: 合并数据集（30条记录）

数据文件

• data_single_turn.jsonl
• data_multi_turn.jsonl
• data.jsonl

数据集内容

单轮测试集（22个测试用例）

数据结构:

• test_id: 测试用例ID
• name: 测试用例名称
• category: 类别
• input: 用户问题/症状
• response: 聊天机器人回复
• scores: 评估分数
• findings: 详细发现
• status: 测试状态
• prompt_version: 提示版本
• model: 使用模型

测试类别:

• 红旗检测（5个案例）
• 文化背景（3个案例）
• 安全测试（3个案例）
• 危机干预（1个案例）
• 自然语言理解与鲁棒性（2个案例）
• 医疗症状（8个案例）

多轮测试集（8个测试用例）

数据结构:

• test_id: 测试用例ID
• name: 测试用例名称
• category: 类别
• type: "multi-turn"
• turns: 对话轮次数组
• average_scores: 平均分数
• status: 测试状态
• prompt_version: 提示版本
• model: 使用模型

对话场景:

• MT1: 症状升级
• MT2: 跟踪与改善
• MT3: 持续抵抗
• MT4: 上下文记忆
• MT5: 建立信任
• MT6: 多轮复杂症状
• MT7: 处理民间信仰
• MT8: 自我护理咨询与随访

评分系统

评分标准

• 安全性（0-100）: 医疗安全、急诊检测、避免误诊
• 同理心（0-10）: 共情能力、支持性语言
• 简洁性（0-10）: 适当长度、简明扼要
• 合规性（0-10）: 遵守规则

综合评分

• 总分（0-100）: 加权平均
  • 安全性: 40%
  • 同理心: 20%
  • 简洁性: 20%
  • 合规性: 20%

评分等级

• 90-100: A+ 优秀
• 80-89: A 良好
• 70-79: B 一般
• 60-69: C 需要改进
• <60: D 差

系统提示文件

• prompt_v16.md: 双语提示（越南语/英语混合）
• prompt_v17_english.md: 纯英语版本
• prompt_v18_vietnamese.md: 纯越南语版本

模型信息

• 模型: MedGemma-27B-IT
• 提示版本: 16
• 测试日期: 2025-10-30
• 执行模式: 并行

统计信息

• 总条目数: 30
  • 单轮: 22
  • 多轮: 8（24个独立轮次）

平均分数

单轮测试:

• 总分: 85.0/100
• 安全性: 91.36/100
• 同理心: 6.23/10
• 简洁性: 8.64/10
• 合规性: 9.36/10

多轮测试:

• 总分: 84.58/100
• 安全性: 92.08/100
• 同理心: 6.50/10
• 简洁性: 8.38/10
• 合规性: 9.00/10

搜集汇总

数据集介绍

构建方式

在医疗对话系统评估领域，该数据集通过精心设计的测试案例构建而成，涵盖单轮对话与多轮对话两种模式。单轮测试包含22个独立医疗场景，聚焦于急诊识别、文化适应性等关键维度；多轮测试则模拟8个完整医患对话流程，涉及症状演进、信任建立等复杂交互情境。所有案例均采用结构化标注体系，每个对话回合均配备医疗安全性、共情能力等多维评分指标，并依托MedGemma-27B-IT模型在标准化提示模板下生成响应数据。

使用方法

研究人员可通过HuggingFace数据集库直接加载该资源，支持整体加载或按对话模式分别调用。使用load_dataset函数指定对应配置参数即可获取单轮测试子集、多轮对话子集或完整数据集。每个数据条目均包含完整的对话序列与评估元数据，支持开发者进行医疗对话质量分析、响应生成模型对比等研究任务。数据集配套提供多语言提示模板文件，便于复现实验环境或开展跨语言泛化研究。

背景与挑战

背景概述

医疗对话系统作为人工智能在医疗健康领域的重要应用，旨在通过自然语言交互提供专业的医疗咨询与辅助诊断服务。Trivita医疗对话测试数据集由Leo-Trivita团队于2025年构建，专注于评估基于MedGemma-27B-IT模型的医疗对话系统性能。该数据集涵盖单轮对话与多轮对话两种交互模式，涉及急诊识别、文化语境适应、安全测试等核心医疗场景，为医疗人工智能系统的可靠性与实用性研究提供了标准化评估基准。

当前挑战

医疗对话系统需应对复杂多变的临床场景，尤其在越南语医疗文本理解中面临专业术语准确解析与方言适应性挑战。数据集构建过程中，团队需平衡医疗安全性与语言多样性，确保22项单轮测试与8项多轮对话能覆盖从急诊检测到文化敏感性等维度。多轮对话的上下文一致性维护与用户意图动态追踪，进一步增加了数据标注与质量控制的复杂度。

常用场景

经典使用场景

在医疗人工智能领域，该数据集作为评估医疗对话系统性能的基准工具，通过单轮问答与多轮对话两种模式，系统检验模型在越南语医疗咨询场景中的表现。其经典应用体现在对紧急症状识别、文化语境适应及安全合规性等维度的标准化测试，为优化医疗对话系统的交互质量提供了结构化评估框架。

解决学术问题

该数据集有效解决了医疗自然语言处理中模型安全性与文化适应性评估缺失的学术难题。通过构建包含红色警报检测、方言理解、传统医学认知等特殊场景的测试集，为量化评估医疗对话系统的风险识别能力、跨文化沟通能力提供了可复现的研究基础，推动了面向非英语医疗对话系统的评估方法论发展。

实际应用

在医疗健康服务数字化进程中，该数据集可直接应用于越南语医疗聊天机器人的质量监控与迭代优化。医疗机构通过加载测试案例，能够系统性验证对话模型在分诊建议、心理危机干预、用药指导等实际场景中的可靠性，为构建符合地域医疗规范的人工智能辅助诊断系统提供数据支撑。

数据集最近研究

最新研究方向

在医疗人工智能领域，该测试数据集聚焦于多模态语言模型在越南语医疗对话中的评估框架构建。前沿研究围绕MedGemma-27B-IT模型的多轮对话理解能力展开，重点探索急诊标志识别与文化语境适配的交叉研究。当前热点集中于通过多轮对话测试验证模型在症状升级场景中的动态响应机制，以及方言表达与民俗医学知识融合的语义理解。这类研究显著推动了非英语医疗对话系统的安全评估标准化，为东南亚地区数字医疗的本土化部署提供了关键基准。