sectorial-llm-collection

Sectorial LLM Collection 是一个在 HuggingFace Hub 上整理的、专注于领域特定大语言模型（LLM）和计算机视觉模型的元数据集合。该数据集旨在为研究人员和开发者提供一个按行业领域划分的专门化模型及关键技术论文的索引目录。数据集核心内容覆盖了农业、法律、旅游、医疗生物、可再生能源、气候、气象、实时计算机视觉、金融、网络安全、地质等 10 个关键领域，总计收录了约 120 个经过领域适应（Domain Adaptation）或微调（Fine-Tuning）的模型，例如 Legal-BERT、ClinicalBERT、FinGPT 家族、ClimateBERT 家族以及各种 YOLO、RT-DETR 等实时视觉模型。此外，数据集还配套收集了 18 篇关于领域适应方法的关键学术论文，并提炼了如持续预训练+SFT、两阶段PEFT/LoRA、合成数据生成、模型融合等 7 条核心技术方案。数据以结构化的 JSON 格式提供，便于用户按领域查询和获取相关模型及论文信息，适用于领域自然语言处理、计算机视觉、模型微调策略研究以及构建行业特定AI应用等场景。

The Sectorial LLM Collection is a metadata collection curated on the HuggingFace Hub, focusing on domain-specific large language models (LLMs) and computer vision models. This dataset aims to provide researchers and developers with an indexed directory of specialized models and key technical papers categorized by industry sectors. The core content covers 10 key sectors including agriculture, law, tourism, medical biology, renewable energy, climate, meteorology, real-time computer vision, finance, cybersecurity, and geology, totaling approximately 120 models that have undergone domain adaptation or fine-tuning, such as Legal-BERT, ClinicalBERT, the FinGPT family, the ClimateBERT family, and various real-time vision models like YOLO and RT-DETR. Additionally, the dataset includes a collection of 18 key academic papers on domain adaptation methods and extracts 7 core technical strategies, such as continued pre-training + SFT, two-stage PEFT/LoRA, synthetic data generation, and model fusion. The data is provided in a structured JSON format, facilitating easy querying and access to relevant model and paper information by domain. It is suitable for applications in domain-specific natural language processing, computer vision, model fine-tuning strategy research, and building industry-specific AI applications.

搜集汇总

数据集介绍

构建方式

在大型语言模型（LLM）领域，领域自适应微调对于提升模型在特定行业的性能至关重要。该数据集通过系统梳理HuggingFace平台上的开源模型资源，并结合相关学术论文，构建了一个涵盖农业、法律、旅游、医疗、可再生能源、气候、气象、计算机视觉、金融及网络安全等十个关键行业的模型集合。每个行业下均收录了若干经过领域适配的预训练模型或微调变体，例如基于BERT、Llama、Qwen、YOLO等架构的专用模型，并详细标注了其所属领域、模型数量及核心功能描述。此外，数据集还精选了18篇关于领域微调的前沿论文，提炼出诸如持续预训练结合SFT、LoRA参数高效微调、合成数据生成、模型合并等实用技术路线，为研究者提供了从理论到实践的完整参考框架。

特点

该数据集的核心特色在于其高度专业化的跨域覆盖与结构化组织方式。它并非简单的模型列表，而是一个经过精心编目的领域级知识图谱，每个行业子集均包含数量不等的针对性模型（从4个到25个不等），并附有简要的功能说明，使用户能快速定位适用于特定场景的预训练模型。尤为突出的是，数据集融入了对领域微调方法论的系统性提炼，通过论文摘要与实验洞见，揭示了如熵自适应微调（EAFT）缓解灾难性遗忘、DS²-Instruct实现零样本指令生成、以及模型合并催生新兴能力等前沿策略，从而超越了单一的模型索引功能，成为兼具资源发现与方法指导双重价值的综合性工具。

使用方法

该数据集使用方式极为简便，完美兼容HuggingFace Datasets库的标准化接口。用户仅需通过Python调用`load_dataset('pauvanbr/sectorial-llm-collection')`即可一键加载完整的JSON格式数据，其中包含了全部十个行业、约120个模型的元信息。加载后，可借助标准的面向数据结构分析与过滤方法，按行业、模型架构或功能描述进行灵活检索与筛选，以精准定位目标模型。同时，数据集中附带的论文列表与技术路线提炼，可作为开展领域自适应研究的起点或实验设计的参考，帮助用户快速了解当前主流方法与尖端进展，从而在实际项目中高效地选择或定制合适的模型与微调策略。

背景与挑战

背景概述

大语言模型在通用领域的成功催生了对其垂直化应用的迫切需求，然而通用模型在特定行业任务中常因缺乏领域知识而表现不佳。Sectorial LLM Collection正是在这一背景下，由研究者pauvanbr于2026年创建，旨在系统化地收录并组织面向农业、法律、医疗、金融、气候等10个关键领域的120余个专用模型及其相关文献。该集合整合了包括ClimateBERT、FinGPT、ClinicalBERT等具有代表性的领域模型，并汇集了18篇关于领域微调的核心论文，为研究者在不同行业场景下开展模型适配提供了全面的资源索引与理论基础。作为首个横跨多领域的模型与论文综合资源库，该数据集极大地推动了领域自适应技术的研究与应用，已成为该交叉方向的重要参考基准。

当前挑战

Sectorial LLM Collection所面临的首要挑战源自领域适应技术的核心难题：如何在保持模型通用能力的同时，有效注入特定行业知识并避免灾难性遗忘。这一矛盾在诸多微调策略如熵自适应微调（EAFT）与混合持续预训练方法中仍未完全解决。构建过程中的挑战则体现为：数据来源的多样性导致标注异质性显著，不同行业（如气象与网络安全）的文本结构与语义特征差异巨大，统一的模型评估框架难以建立；同时，模型数量的快速增长（已达120余个）要求不断更新并维护标准化元数据，确保索引的时效性与完整性。此外，部分领域（如地质学与可再生能源）训练样本稀缺，依赖合成数据或零样本生成技术（如DS²-Instruct）又引入质量不可控的新问题，使得资源整合与模型评价的方法论仍需进一步突破。

常用场景

经典使用场景

在人工智能与垂直领域深度融合的浪潮中，Sectorial LLM Collection作为一个精心编纂的跨领域模型集合，为研究者提供了从农业、法律、医疗到金融、气候等十余个关键行业的预训练语言模型及其微调方案。该数据集经典的使用场景在于支持领域适应（Domain Adaptation）研究，使得研究人员能够基于通用大语言模型，借助收集的行业专属模型和微调策略，快速构建面向特定领域的高性能语言系统，从而推动专业知识从通用语料向行业语境的精准迁移。

衍生相关工作

围绕该数据集衍生了一系列具有深远影响力的代表性工作。如SciLitLLM提出了持续预训练结合SFT的混合微调路线，为领域专属LLM的构建提供了可复现的配方；DS²-Instruct与AQuilt分别从零样本指令生成与逻辑增强数据合成的角度，革命性地扩展了领域微调数据的获取边界。此外，FlowerTune在联邦学习背景下开辟了跨域模型协作的新窗口，而YOLOv10与RT-DETR等实时视觉模型则进一步将领域适应从文本延展至多模态感知层面。

数据集最近研究

最新研究方向

领域特定大语言模型（Sectorial LLM）的研究正从粗放式通用预训练向精细化领域适应与高效微调转型。当前前沿方向聚焦于如何通过混合策略克服灾难性遗忘，如熵自适应微调（EAFT）与两阶段PEFT/LoRA方案，同时利用合成数据生成（DS²-Instruct、AQuilt）和模型合并（Model Merging）技术，在无需大量标注数据的情况下实现领域能力的涌现。在农业、法律、医疗等十个垂直行业中，该数据集系统收录了超过120个代表性模型与18篇关键论文，为跨领域联邦学习（FlowerTune）和实时计算机视觉（YOLOv10、RT-DETR）等热点事件提供了标准化评估基准，其意义在于加速了LLM从学术实验室向工业级应用的落地进程。