RadABench-Data

RadABench-Data是一个专门为评估基于大语言模型（LLM）的放射学代理系统而创建的综合性合成数据集。该数据集由上海交通大学和上海人工智能实验室合作开发，涵盖了6个解剖区域、5种成像模式、10个工具类别和11个放射学任务，生成了2,200个患者记录和24,200个QA对。数据集的创建过程包括系统化的分类和临床验证，确保了数据的准确性和代表性。该数据集主要用于评估LLM在放射学环境中的表现，旨在解决放射学领域中复杂的多步骤任务处理问题。

RadABench-Data is a comprehensive synthetic dataset specifically designed for evaluating large language model (LLM)-based radiology agent systems. Co-developed by Shanghai Jiao Tong University and Shanghai AI Laboratory, it covers 6 anatomical regions, 5 imaging modalities, 10 tool categories and 11 radiology tasks, and contains 2,200 patient records and 24,200 QA pairs. The dataset was constructed through systematic classification and clinical validation, ensuring its data accuracy and representativeness. This dataset is primarily used to assess the performance of LLMs in radiological scenarios, aiming to solve complex multi-step task processing problems in the field of radiology.

搜集汇总

数据集介绍

构建方式

RadABench-Data数据集通过系统化的方法构建，涵盖了广泛的放射学场景。首先，研究团队开发了一个详尽的分类体系，包括6个解剖区域、5种成像模态、10类工具和11种放射学任务。基于这一分类体系，生成了2200个合成患者记录，每个记录代表一种特定的放射学相关疾病。此外，定义了10种常用的放射学工具类别，并结合11种任务分解元链，系统生成了24,200个问答对。所有数据均经过放射科医生的临床验证，以确保数据的准确性和代表性。

特点

RadABench-Data数据集具有多方面的特点。首先，它涵盖了广泛的解剖区域和成像模态，确保了数据的多样性和全面性。其次，数据集包含了10种放射学工具类别和11种任务分解元链，能够全面评估基于LLM的代理在放射学环境中的表现。此外，数据集中的所有合成患者记录和问答对均经过临床验证，确保了数据的准确性和临床相关性。

使用方法

RadABench-Data数据集主要用于评估基于LLM的代理在放射学环境中的表现。研究者可以通过该数据集测试LLM在不同放射学任务中的能力，包括任务分解、工具选择、输入输出组织、响应合成和不可解性解析等方面。数据集的问答对设计为多步骤的任务链，能够模拟复杂的临床场景，从而全面评估LLM在放射学中的应用潜力。

背景与挑战

背景概述

随着大型语言模型（LLMs）的快速发展，其在多个领域的应用潜力逐渐显现，尤其是在医疗领域。放射学作为医学诊断的核心部分，因其复杂的分析需求，成为LLMs应用的理想场景。RadABench-Data数据集由上海交通大学、上海人工智能实验室和武汉大学人民医院的研究团队于2024年推出，旨在评估现代LLMs在放射学环境中的表现。该数据集通过广泛的解剖学、成像模式、工具类别和放射学任务的分类，生成了一个综合的合成评估数据集，涵盖了6个解剖区域、5种成像模式、10类工具和11种放射学任务。RadABench-Data的推出不仅为LLMs在放射学中的应用提供了基准，还为相关领域的研究提供了宝贵的资源。

当前挑战

RadABench-Data数据集的构建和应用面临多重挑战。首先，放射学领域的复杂性要求数据集必须覆盖广泛的解剖学和成像模式，这增加了数据生成的难度。其次，数据集的生成过程中需要确保临床相关性和准确性，这依赖于放射科医生的严格验证。此外，LLMs在放射学环境中的应用面临诸多技术挑战，如模型对复杂工具描述的理解能力、多轮信息的综合能力以及在工具不完整时的应对策略。最后，如何评估LLMs在放射学任务中的表现，尤其是在复杂临床场景下的工具选择和任务执行能力，也是该数据集面临的重要挑战。

常用场景

经典使用场景

RadABench-Data 数据集的经典使用场景主要集中在评估大型语言模型（LLMs）在放射学环境中的表现。该数据集通过模拟多种放射学任务和工具，测试 LLMs 是否能够作为放射学代理系统的核心，执行从任务分解、工具选择到最终响应生成的全流程。具体而言，RadABench-Data 通过包含 2,200 个合成患者记录和 24,200 个问答对，评估 LLMs 在处理复杂放射学任务时的能力，如器官分割、异常检测、疾病诊断和报告生成等。

衍生相关工作

RadABench-Data 数据集的发布催生了一系列相关工作，特别是在放射学代理系统的开发和评估方面。许多研究团队基于该数据集开发了新的 LLMs 模型，并提出了改进的工具选择和任务分解算法。此外，该数据集还启发了其他领域的研究，如医学影像分析、多模态数据处理和自动化临床决策支持系统。这些衍生工作进一步推动了 LLMs 在医疗领域的应用和发展。

数据集最近研究

最新研究方向

RadABench-Data数据集的最新研究方向集中在评估大型语言模型（LLMs）在放射学环境中的代理核心能力。研究通过引入RadABench-Data数据集和RadABench-EvalPlat评估平台，系统性地测试了7种领先的LLMs在放射学任务中的表现。研究重点考察了LLMs在任务分解、工具选择与执行、输入输出组织、响应合成以及不可解任务识别等方面的能力。尽管当前的LLMs在某些简单任务中表现出色，但在处理复杂临床场景时仍存在显著不足，表明其在实际放射学应用中的可靠性尚需进一步提升。研究结果为未来开发更强大的放射学代理系统提供了重要见解，并为临床应用中的人机协作提供了参考。

相关研究论文

• Can Modern LLMs Act as Agent Cores in Radiology~Environments?

  上海交通大学 · 2024年