ericyu3/openassistant_inpainted_dialogs_5k_biomedical

该数据集基于Dialog Inpainting数据集创建，并对每个对话的轮次进行了标注，标注为`User: `和`Assistant: `。通过使用spaCy和BERT模型进行过滤，保留了那些被分类为生物医学领域的对话，且分类概率大于0.7的对话。

原始信息汇总

数据集概述

数据集来源

• 原始数据集：Dialog Inpainting
• 处理步骤：
  • 为对话中的每轮添加标签 User: 和 Assistant:
  • 使用 spaCy 进行过滤，排除特定主题（如艺术、体育、地点、食谱、法律）的对话
  • 使用 BERT 进行进一步过滤，通过零样本分类模型区分生物医学和非生物医学内容，保留概率大于0.7的对话

数据集规模

• 数据集大小：1K<n<10K

许可证

• 许可证类型：Apache-2.0