ThaiLLM/med-facts

--- license: mit dataset_info: features: - name: fact_id dtype: string - name: text dtype: string - name: validation struct: - name: grounded dtype: bool - name: subfacts list: - name: supporting_lines list: string - name: text dtype: string - name: source_id dtype: string splits: - name: train num_bytes: 108880814 num_examples: 83237 download_size: 45112187 dataset_size: 108880814 configs: - config_name: default data_files: - split: train path: data/train-* --- # ThaiLLM Dataset: Medical Facts This dataset contains the facts extracted from [medical articles scraped online](https://huggingface.co/datasets/ThaiLLM/med-articles). The facts was extracted using `o4-mini` and also validated using `o4-mini` under different prompt. We also provide [another dataset that assess the validatity of our fact extraction pipeline here](https://huggingface.co/datasets/ThaiLLM/med-fact-verification). ## Fact Extraction Process Given the scraped article (please refer to the source articles dataset [here](https://huggingface.co/datasets/ThaiLLM/med-articles)), we extract facts from source article using the following procedure: 1. Prompt `o4-mini` given the article to extract 4-5 facts from source article. 2. Given the extracted facts from (1) and source article, we also use `o4-mini` with different prompt to remove any facts that LLM flagged as not grounded by the article. The goal is to remove any fact that is hallucinated or not grounded by the source article. (We also provide the dataset that we measure the reliability of `o4-mini`'s verification pipeline with human on [this dataset](https://huggingface.co/datasets/ThaiLLM/med-fact-verification).) ## License This dataset is provided under MIT License. ## Acknowledgement We sincerely appreciate the generous support from the Ministry of Digital Economy and Society whose funding made this project possible. We are also grateful for the invaluable collaboration with VISTEC, and Big Data Institute (BDI) which was crucial in bringing this project to fruition.许可证: MIT许可证 数据集信息: 特征字段: - 事实标识符（fact_id）：字符串数据类型 - 文本（text）：字符串数据类型 - 验证（validation）：结构体类型，包含以下子字段: - 有依据（grounded）：布尔数据类型 - 子事实（subfacts）：列表类型，列表元素包含: - 支撑文本行（supporting_lines）：字符串列表 - 文本（text）：字符串数据类型 - 源标识符（source_id）：字符串数据类型 数据划分: - 划分集名称：训练集（train），字节数：108880814，样本数量：83237 下载大小: 45112187 字节 数据集总大小: 108880814 字节 配置项: - 配置名称：默认配置（default），数据文件: - 划分集：训练集（train），文件路径：data/train-* # ThaiLLM数据集：医学事实集 本数据集包含从[在线爬取的医学文献](https://huggingface.co/datasets/ThaiLLM/med-articles)中提取的事实条目。所有事实条目均通过`o4-mini`模型完成提取，并使用同一模型配合不同提示词完成验证。我们还在[此处](https://huggingface.co/datasets/ThaiLLM/med-fact-verification)提供了另一款用于评估本事实提取流程可靠性的数据集。 ## 事实提取流程 针对爬取得到的医学文献（请参阅[此处](https://huggingface.co/datasets/ThaiLLM/med-articles)的源文献数据集），我们通过以下流程从源文献中提取事实条目: 1. 向`o4-mini`模型提供该源文献，要求其从文献中提取4至5条事实条目。 2. 结合步骤1中提取的事实条目与源文献，我们再次使用`o4-mini`模型配合不同提示词，过滤掉被大语言模型（LLM）标记为无文献依据的事实条目，旨在剔除所有虚构或未被源文献支撑的事实内容。（我们还在[此数据集](https://huggingface.co/datasets/ThaiLLM/med-fact-verification)中提供了用于评估`o4-mini`验证流程与人工标注一致性的数据集。） ## 许可证 本数据集采用MIT许可证发布。 ## 致谢 我们衷心感谢泰国数字经济与社会部（Ministry of Digital Economy and Society）提供的慷慨资助，为本项目的开展奠定了基础。同时，我们也感谢与VISTEC以及大数据研究所（Big Data Institute, BDI）的宝贵合作，正是这些协作助力本项目最终落地完成。