WitnessDataFactory/rare_disease-1k

--- license: cc-by-4.0 task_categories: - text-classification - token-classification - question-answering language: - en tags: - medical - healthcare - synthetic-data - nlp - rare_disease - clinical-ai - hipaa-compliant - medical-nlp - healthcare-ai - electronic-health-records - labeled-data pretty_name: Rare Disease Medical Dataset (1K Free Sample) size_categories: - 1K<n<10K --- # Rare Disease Medical Dataset — 1,000 Record Free Sample > **Enterprise-grade synthetic medical data. Zero PHI. 100% HIPAA-compliant.** [](https://creativecommons.org/licenses/by/4.0/) [](https://https://witness-data-factory.onrender.com) [](https://https://witness-data-factory.onrender.com) --- ## Quality Metrics | Metric | Score | Industry Benchmark | |--------|-------|---------------------| | **Trinity Consensus Score (TAS)** | 98.0% | 85-92% typical | | **Inter-Annotator Agreement** | 0.97 | 0.75-0.85 typical | | **Macro F1** | 0.97 | 0.80-0.90 typical | | **PHI Present** | None | -- | | **Generation Method** | 3-LLM Trinity Ensemble | Single model typical | --- ## What's Included (Free) - **1,000 clinically-structured synthetic rare disease records** - Full label taxonomy with confidence scores per record - Trinity consensus scores per record (filter by your own threshold) - Structured Parquet format (load with Hugging Face `datasets` in one line) - Zero PHI -- safe for unrestricted research and commercial use --- ## Quick Start ```python from datasets import load_dataset # Load free 1K sample ds = load_dataset("WitnessDataFactory/rare_disease-1k", split="train") print(ds[0]) # Filter by quality gate high_quality = ds.filter(lambda x: x["consensus_score"] >= 0.97) print(f"Records passing 97% gate: {len(high_quality)}") # Export to pandas df = ds.to_pandas() df.to_csv("rare_disease_sample.csv", index=False) ``` --- ## Dataset Schema ```json { "record_id": "uuid-v4", "domain": "rare_disease", "category": "Specific clinical subcategory", "note_type": "Clinical note type", "patient_age": 42, "patient_gender": "Female", "primary_label": "diagnosis", "labels": { "primary": "diagnosis", "category": "Subcategory name", "confidence": 0.972 }, "consensus_score": 0.972, "inter_annotator_agreement": 0.941, "macro_f1": 0.963, "model_scores": { "llama3.3": 0.975, "mistral": 0.968, "qwen2.5": 0.972 }, "passes_quality_gate": true, "generation_method": "Trinity_Ensemble_v2", "phi_present": false, "hipaa_compliant": true } ``` --- ## Upgrade to Production Scale This 1K sample is your **proof-of-concept dataset**. When you're ready to train production models: | Tier | Records | Price | Per-Record | Best For | Buy | |------|---------|-------|------------|----------|-----| | **Starter** | 10,000 | **$1,999** | $0.20 | Pilot deployment, MVP | [Buy Now](https://witness-data-factory.onrender.com/pay/rare_disease-10k) | | **Production** | 50,000 | **$7,999** | $0.16 | Model training, Series C+ | [Buy Now](https://witness-data-factory.onrender.com/pay/rare_disease-50k) | | **Enterprise** | 250,000 | **$29,999** | $0.12 | FDA-track, clinical AI | [Buy Now](https://witness-data-factory.onrender.com/pay/rare_disease-250k) | | **Strategic** | 1,000,000 | **$99,999** | $0.10 | Multi-year partnerships | [Contact Sales](mailto:[e-mail]) | ### Multi-Domain Bundles | Bundle | Contents | Price | Discount | |--------|----------|-------|---------| | **3-Domain Bundle** | 50K x 3 domains of choice | **$19,999** | 17% off | | **Complete Collection** | 50K x all 9 specialties | **$49,999** | 22% off | [View All Bundles](https://witness-data-factory.onrender.com/pay/complete-collection-9x50k) > **Delivery:** Instant checkout -> Full dataset delivered within 24 hours. --- ## Why WITNESS DATA FACTORY? ### Speed Your research timeline shouldn't wait 3-6 months for custom data generation. Production datasets delivered in **under 24 hours** from purchase. ### Quality - **98.0% Trinity consensus** vs. 85-92% industry standard - 3-LLM ensemble eliminates single-model hallucination bias - Every record validated through Trinity quality gates before delivery - Documented, reproducible QA certificate included with every order ### Scale - Proven on **100M+ record PostgreSQL infrastructure** - Billion-record architecture ready for enterprise contracts - 9 medical domains, 4 volume tiers, instant zero-touch fulfillment ### Compliance - **Zero PHI** -- 100% synthetic, no de-identification liability - HIPAA-compliant by architecture (no real patient data ever ingested) - No IRB required -- fully synthetic generation pipeline - Commercial use permitted under CC BY 4.0 (sample tier) --- ## Citation ```bibtex @dataset{witness_data_factory_rare_disease_2026, title = {Rare Disease Synthetic Medical Dataset}, author = {WITNESS DATA FACTORY}, year = {2026}, publisher = {HuggingFace}, url = {https://huggingface.co/datasets/WitnessDataFactory/rare_disease-1k} } ``` --- ## Contact | Channel | Address | |---------|---------| | Sales and Licensing | [[e-mail]](mailto:[e-mail]) | | Technical Support | [[e-mail]](mailto:[e-mail]) | | All Datasets | [huggingface.co/WitnessDataFactory](https://huggingface.co/WitnessDataFactory) | | Store | [witness-data-factory.onrender.com](https://witness-data-factory.onrender.com) | --- *Powered by **WITNESS DATA FACTORY** -- Enterprise Synthetic Medical Data at Scale* *Trinity Ensemble Pipeline v3.2.1 | Zero PHI | Zero-Touch Fulfillment*许可协议：cc-by-4.0 任务类别： - 文本分类 - Token分类 - 问答 语言： - 英语 标签： - 医疗 - 医疗保健 - 合成数据 - 自然语言处理（NLP） - 罕见病 - 临床AI - 符合HIPAA标准 - 医疗NLP - 医疗AI - 电子健康档案 - 标注数据 友好名称：罕见病医疗数据集（1K免费样本） 规模分类：1K<n<10K # 罕见病医疗数据集——1000条免费样本 > **企业级合成医疗数据。无受保护健康信息（Protected Health Information, PHI）。100%符合HIPAA标准。** [](https://creativecommons.org/licenses/by/4.0/) [](https://https://witness-data-factory.onrender.com) [](https://https://witness-data-factory.onrender.com) --- ## 质量指标 | 指标 | 得分 | 行业基准 | |--------|-------|---------------------| | **Trinity共识得分（TAS）** | 98.0% | 行业典型值：85%-92% | | **标注者间一致性** | 0.97 | 行业典型值：0.75-0.85 | | **宏F1值** | 0.97 | 行业典型值：0.80-0.90 | | **是否含PHI** | 无 | -- | | **生成方法** | 3个大语言模型（Large Language Model, LLM）Trinity集成 | 行业典型：单模型 | --- ## 免费包含内容 - **1000条临床结构化合成罕见病记录** - 每条记录附带完整标注分类体系及置信度得分 - 每条记录的Trinity共识得分（可自定义阈值进行筛选） - 结构化Parquet格式（可通过Hugging Face `datasets`库一行代码加载） - 无受保护健康信息（PHI）——可用于无限制的研究与商业用途 --- ## 快速入门 python from datasets import load_dataset # 加载免费1000条样本数据集 ds = load_dataset("WitnessDataFactory/rare_disease-1k", split="train") print(ds[0]) # 按质量门槛筛选高质量样本 high_quality = ds.filter(lambda x: x["consensus_score"] >= 0.97) print(f"通过97%质量门槛的记录数：{len(high_quality)}") # 导出为Pandas数据框 df = ds.to_pandas() df.to_csv("rare_disease_sample.csv", index=False) --- ## 数据集架构 json { "record_id": "uuid-v4", "domain": "罕见病", "category": "特定临床子类别", "note_type": "临床记录类型", "patient_age": 42, "patient_gender": "女性", "primary_label": "诊断", "labels": { "primary": "诊断", "category": "子类别名称", "confidence": 0.972 }, "consensus_score": 0.972, "inter_annotator_agreement": 0.941, "macro_f1": 0.963, "model_scores": { "llama3.3": 0.975, "mistral": 0.968, "qwen2.5": 0.972 }, "passes_quality_gate": true, "generation_method": "Trinity_Ensemble_v2", "phi_present": false, "hipaa_compliant": true } --- ## 升级至生产级规模 此1000条样本为**概念验证数据集**。当你准备训练生产级模型时： | 层级 | 记录数 | 价格 | 单条成本 | 适用场景 | 购买链接 | |------|---------|-------|------------|----------|-----| | **入门级** | 10,000 | **$1,999** | $0.20 | 试点部署、最小可行产品（MVP） | [立即购买](https://witness-data-factory.onrender.com/pay/rare_disease-10k) | | **生产级** | 50,000 | **$7,999** | $0.16 | 模型训练、C轮及以上融资阶段 | [立即购买](https://witness-data-factory.onrender.com/pay/rare_disease-50k) | | **企业级** | 250,000 | **$29,999** | $0.12 | FDA追踪项目、临床AI研发 | [立即购买](https://witness-data-factory.onrender.com/pay/rare_disease-250k) | | **战略级** | 1,000,000 | **$99,999** | $0.10 | 长期战略合作 | [联系销售](mailto:[e-mail]) | ### 多领域套餐 | 套餐名称 | 内容 | 价格 | 折扣力度 | |--------|----------|-------|---------| | **三领域套餐** | 5万条 × 自选3个医疗领域 | **$19,999** | 享17%折扣 | | **全品类合集** | 5万条 × 全部9个专科领域 | **$49,999** | 享22%折扣 | [查看全部套餐](https://witness-data-factory.onrender.com/pay/complete-collection-9x50k) > **交付方式**：下单即时结算 → 完整数据集将在24小时内完成交付。 --- ## 为何选择WITNESS DATA FACTORY？ ### 速度 你的研究进度不应因自定义数据生成等待3-6个月。生产级数据集可在**购买后24小时内**完成交付。 ### 质量 - **98.0%的Trinity共识得分**，远超行业标准的85%-92% - 采用3个大语言模型（LLM）集成架构，消除单模型幻觉偏差 - 每条记录在交付前均通过Trinity质量门槛验证 - 每份订单均附带可溯源、可复现的质量保证证书 ### 规模 - 已在**1亿+条记录的PostgreSQL基础设施**上验证，支持十亿级记录的企业级架构 - 覆盖9个医疗领域、4个容量层级，实现零接触即时交付 ### 合规性 - **无受保护健康信息（PHI）**——100%合成数据，无去标识化法律责任 - 架构层面符合HIPAA标准（从未接入真实患者数据） - 无需伦理审查委员会（IRB）审批——全合成生成流程 - 样本层级可在CC BY 4.0许可下用于商业用途 --- ## 引用格式 bibtex @dataset{witness_data_factory_rare_disease_2026, title = {罕见病合成医疗数据集}, author = {WITNESS DATA FACTORY}, year = {2026}, publisher = {HuggingFace}, url = {https://huggingface.co/datasets/WitnessDataFactory/rare_disease-1k} } --- ## 联系方式 | 渠道 | 联系方式 | |---------|---------| | 销售与许可 | [[e-mail]](mailto:[e-mail]) | | 技术支持 | [[e-mail]](mailto:[e-mail]) | | 全部数据集 | [huggingface.co/WitnessDataFactory](https://huggingface.co/WitnessDataFactory) | | 官方商店 | [witness-data-factory.onrender.com](https://witness-data-factory.onrender.com) | --- *Powered by **WITNESS DATA FACTORY** -- 规模化企业级合成医疗数据* *Trinity集成流水线v3.2.1 | 无PHI | 零接触即时交付*

搜集汇总

数据集介绍

构建方式

在罕见病研究领域，高质量临床数据的稀缺性长期制约着医学人工智能的发展。本数据集采用创新的Trinity集成生成方法，通过三个大型语言模型协同构建合成医疗记录，有效规避了单一模型可能产生的幻觉偏差。生成流程严格遵循临床结构规范，每条记录均经过共识评分验证，确保数据在模拟真实世界罕见病案例的同时，完全不含受保护的健康信息，从架构层面实现了与HIPAA标准的对齐。

使用方法

研究人员可利用Hugging Face的`datasets`库便捷加载此数据集，通过一行代码即可访问全部内容。数据集支持基于共识评分等质量指标进行灵活过滤，便于用户根据研究需求提取高置信度子集。数据可无缝转换为pandas DataFrame，以支持后续的分析、可视化或模型训练流程。该免费样本旨在作为概念验证，为后续扩展至包含数万至百万条记录的生产级数据集提供坚实基础。

背景与挑战

背景概述

在临床医学与人工智能交叉领域，罕见病研究长期面临高质量标注数据稀缺的困境，制约了诊断模型与自然语言处理技术的进展。由WITNESS DATA FACTORY于2026年构建的Rare Disease Medical Dataset（rare_disease-1k）应运而生，旨在通过合成数据技术生成符合HIPAA标准的临床记录，为零PHI风险的医学研究提供支持。该数据集聚焦于罕见病领域的文本分类、实体识别与问答任务，其采用的三模型集成生成与质量评估体系，为医疗AI模型训练提供了可靠且可扩展的数据基础，推动了合成数据在合规性要求严格的医疗场景中的应用。

当前挑战

罕见病数据集的构建需应对双重挑战：在领域问题层面，罕见病病例稀少且临床表现异质性高，导致传统数据收集方法难以获得足量、多样化的标注样本，限制了监督学习模型的泛化能力与鲁棒性。在构建过程中，合成数据的生成必须平衡临床真实性与隐私安全，避免引入患者健康信息（PHI），同时需通过多模型共识机制控制幻觉偏差，确保标签的一致性与准确性，这对数据生成管道的可靠性与质量评估体系提出了极高要求。

常用场景

经典使用场景

在罕见病临床研究领域，高质量标注数据的稀缺性长期制约着自然语言处理模型的开发与验证。该数据集通过提供结构化合成临床记录，为文本分类、实体识别和问答系统等任务构建了基准测试平台。研究人员可借助其丰富标签与置信度评分，训练模型精准识别罕见病相关诊断与症状，评估算法在医疗文本中的泛化能力与鲁棒性。

解决学术问题

该数据集有效缓解了罕见病研究中因患者隐私限制导致的数据匮乏困境。其合成性质规避了真实患者信息泄露风险，使学者能够无伦理负担地探索疾病模式识别、临床决策支持等关键问题。通过提供高一致性的标注数据，它促进了医疗自然语言处理模型的可重复性研究，为算法公平性与偏差分析提供了可靠基础。

实际应用

在医疗人工智能落地场景中，该数据集可直接用于开发临床文档自动化处理工具。医疗机构可基于其训练模型实现罕见病病例的智能筛查与分类，辅助医生提升诊断效率。制药企业亦能利用这些数据挖掘疾病关联特征，加速靶向药物研发进程，同时确保全流程符合HIPAA等医疗数据合规要求。

数据集最近研究

最新研究方向

在罕见病医疗数据领域，前沿研究正聚焦于利用高质量合成数据集推动临床人工智能的发展。该数据集采用三模型集成方法生成，确保了零真实患者信息且符合HIPAA标准，为自然语言处理任务提供了可靠基础。当前热点方向包括开发能够精准识别罕见病诊断线索的文本分类模型，以及构建可解释的实体识别系统以辅助临床决策。这些研究不仅加速了医疗AI模型的训练与验证，也为解决罕见病数据稀缺性难题提供了创新路径，对提升医疗服务的公平性与效率具有深远意义。