DCAgent2/medagentbench_SWE_agent_LM_32B_20260430_034322

---
dataset_info:
features:
- name: conversations
list:
- name: content
dtype: string
- name: role
dtype: string
- name: agent
dtype: string
- name: model
dtype: string
- name: model_provider
dtype: string
- name: date
dtype: string
- name: task
dtype: string
- name: episode
dtype: string
- name: run_id
dtype: string
- name: trial_name
dtype: string
- name: result
dtype: string
- name: verifier_output
dtype: string
splits:
- name: train
num_bytes: 91872195
num_examples: 896
download_size: 91688720
dataset_size: 91872195
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

搜集汇总

数据集介绍

构建方式

该数据集medagentbench_SWE_agent_LM_32B_20260430_034322源自医疗领域的智能体（Agent）在软件工程任务中的交互记录。构建过程中，系统采用32B参数规模的语言模型作为基础引擎，驱动医疗场景下的自主代理完成特定任务，并完整捕获对话轮次、代理行为、模型版本、运行日期、任务描述及最终结果等结构化信息。每个样本包含多轮对话内容及角色标注，经系统化采集与整理后，共形成896条训练实例，总数据量约91.8MB，为医疗AI代理的性能评估与行为分析提供了可靠的数据基础。

特点

该数据集具有鲜明的多维度标注特性，不仅记录了代理与用户之间的完整对话流（conversations），还附带了代理名称、模型来源、任务类型、试验编号及运行标识等元数据字段，便于追踪不同配置下的表现差异。值得关注的是，数据集中包含结果字段（result）与验证器输出（verifier_output），可支持对代理执行成功性进行客观评判。此外，数据采集时间戳（date）与剧集编号（episode）的纳入，使得时间序列分析与实验复现成为可能，显著增强了数据集的科研价值与实用性。

使用方法

用户可通过HuggingFace Datasets库直接加载该数据集，指定配置名为'default'并读取'train'分片即可获取全部样本。在应用层面，研究者既可提取'conversations'列表进行对话生成或意图识别模型的微调，也可利用'agent'、'model'等字段筛选特定代理或模型版本的数据子集进行对比分析。同时，'result'与'verifier_output'字段可直接作为监督信号用于奖励建模或强化学习训练，而'task'与'episode'则支持按任务类型或实验轮次进行分层评估，灵活适配医疗AI代理的多类研究需求。

背景与挑战

背景概述

该数据集名为medagentbench_SWE_agent_LM_32B_20260430_034322，由MedAgentBench项目团队于2026年创建，旨在评估和推动大型语言模型在医疗领域中的自主智能体能力。核心研究问题聚焦于如何利用32B参数规模的模型，在软件工程（SWE）任务场景下模拟医疗智能体的决策与执行过程，从而为临床辅助决策、药物研发或健康管理等领域提供可复现的基准。该数据集通过记录智能体与用户的多轮对话、任务结果及验证输出，为量化模型在复杂医疗环境中的表现提供了标准化测试床，对加速医疗AI从研究走向应用具有重要示范意义。研究人员期望通过本数据集，弥补现有基准在真实医疗工作流建模上的不足，推动领域内对智能体鲁棒性、安全性及可解释性的深入探讨。

当前挑战

本数据集面临的核心挑战来源于医疗领域特有的复杂性与安全要求。一方面，所解决的领域问题中，医疗智能体需要在高度动态、信息不完全且后果敏感的环境中执行任务，如诊断推理或治疗规划，这要求模型具备严谨的医学知识、多步推理能力及风险把控，而现有模型在事实一致性、错误容忍度等方面仍存显著差距。另一方面，构建过程中遇到的挑战包括：对话数据的真实性与隐私保护难以平衡，模拟的医疗场景是否充分覆盖罕见病、伦理边界及多智能体协作等极端情况；此外，不同医疗系统间的术语差异、任务标准化难度大，以及如何设计可靠且无偏的验证器来评估智能体输出，均为数据集的持续迭代与跨机构应用带来了严峻考验。

常用场景

经典使用场景

MedAgentBench_SWE_agent_LM_32B_20260430_034322 数据集聚焦于医疗领域中文大语言模型的多轮对话智能体行为建模。其经典使用场景在于构建和评估能够模拟医生-患者交互的对话代理系统，涵盖问诊、诊断建议、医患沟通等环节。研究者可基于该数据集训练具备专业医学知识、逻辑推理与自然语言生成能力的对话模型，使其在复杂医疗情境中维持连贯且具有临床意义的对话流。该数据集包含了896条精心标注的多轮对话样例，每条样本均记录了完整的对话历史、智能体角色信息、模型来源及任务执行结果，为端到端的医疗对话系统开发提供了高质量的语料支撑。

解决学术问题

在学术研究层面，该数据集主要解决了医疗对话智能体领域三大核心挑战：其一，填补了中文医学领域高质量多轮对话数据的稀缺，尤其是覆盖了诊断推理、治疗方案讨论等深层次医学交互场景；其二，提供了可量化评估智能体在医疗任务中表现的标准框架，通过引入验证器输出字段，支持对模型回答的医学准确性、逻辑一致性进行自动化评判；其三，推动了人机协同医疗的研究进展，使研究者能够系统性地探索大语言模型在辅助临床决策中的边界与局限性。该数据集的发布为构建可信、可控的医疗AI提供了重要基准，助力医学自然语言处理领域从基础对话生成向专业临床推理的范式跃迁。

衍生相关工作

围绕该数据集已衍生出一系列富有启发性的研究工作。在模型训练层面，研究者基于此数据探索了医疗领域指令微调的最优策略，验证了混合医学知识与通用对话样本对提升模型泛化能力的效果；在评估方法上，衍生工作提出了面向长程医疗对话的细粒度评分机制，结合临床专家标注实现了对模型推理链条的片段级分析；在可控生成方向，有工作借助该数据集构建了安全约束对齐框架，有效降低了模型在医疗场景下生成有害建议的风险。这些后续研究不仅验证了数据集的基础价值，更推动了医疗AI在专业知识融合、安全合规性、可解释性等方向的技术深化。