awesome-multi-task-learning

这是一个关于多任务学习（MTL）的数据集合集，主要从机器学习角度精选和整理了多个数据集、代码库和论文。合集覆盖了计算机视觉、自然语言处理、强化学习与机器人学、图学习、推荐系统等多个领域的多任务学习基准和数据集，例如 MultiMNIST、NYUv2、CityScapes 等。该合集以分类列表的形式组织，旨在为研究人员和开发者提供多任务学习相关的数据集资源索引和推荐。This is a curated dataset collection focused on multi-task learning (MTL). It is carefully selected and organized from a machine learning perspective, encompassing a wide range of datasets, code repositories, and academic papers. The collection includes multi-task learning benchmarks and datasets across multiple domains such as computer vision, natural language processing, reinforcement learning and robotics, graph learning, and recommendation systems, with representative examples including MultiMNIST, NYUv2, and CityScapes. Organized as a categorized list, this collection aims to provide researchers and developers with indexing and recommendations for dataset resources related to multi-task learning.

原始信息汇总

数据集与基准（Benchmark & Dataset）

该页面汇总了多任务学习（MTL）领域常用的数据集和基准，涵盖计算机视觉、自然语言处理、强化学习与机器人、图学习、推荐系统等多个领域。

计算机视觉

• MultiMNIST / MultiFashionMNIST：MNIST / FashionMNIST 的多任务变体，属于小型玩具数据集。
• NYUv2：包含语义分割、深度估计、表面法向量估计 3 个任务。
• CityScapes：包含语义分割、实例分割、深度估计 3 个任务。
• PASCAL Context：包含语义分割、人体部件分割、语义边缘检测、表面法向量预测、显著性检测等任务。
• CelebA：包含 40 种人脸属性识别任务。
• Taskonomy：包含 26 种任务，如场景分类、语义分割、边缘检测、单目深度估计、关键点检测等。
• Visual Domain Decathlon：包含 10 个数据集（ImageNet、Aircraft、CIFAR100 等），用于多域多任务学习。
• BDD100K：包含 10 个任务的驾驶场景数据集。
• MS COCO：包含目标检测、姿态估计、语义分割等任务。
• Omnidata：从真实世界的 3D 扫描中重采样得到静态多任务视觉数据集。

自然语言处理

• GLUE：通用语言理解评估基准。
• decaNLP：自然语言十项全能多任务挑战。
• WMT Multilingual Machine Translation：多语言机器翻译任务。
• tasksource：包含 500 多个来自 HuggingFace Datasets Hub 的选择题、分类、Token 分类任务的数据集。

强化学习与机器人

• MetaWorld：多任务强化学习基准。
• MTEnv：多任务强化学习环境。

图学习

• QM9：包含 11 种分子属性，用于多任务回归。

推荐系统

• AliExpress：包含 5 个国家的点击率（CTR）和点击转化率（CTCVR）2 个任务。
• MovieLens：包含用户是否会观看的二元分类任务和用户评分的回归任务。

搜集汇总

数据集介绍

构建方式

该数据集以精选列表的形式系统性地整合了多任务学习领域的核心资源。构建过程首先通过广泛调研，收录了涵盖计算机视觉、自然语言处理、强化学习与机器人、图学习及推荐系统等多个子领域的权威基准数据集，如NYUv2、GLUE、MetaWorld等。随后，精心筛选了包括LibMTL、MTReclib在内的主流代码库，为研究者提供可复现的基础设施。此外，还分类整理了从硬参数共享、软参数共享到模块化与适配器等不同技术路线的代表性论文，构建起一个结构化的知识体系。

特点

该资源列表具有高度的系统性与时效性。其核心特点在于对多任务学习领域进行了多维度、细粒度的划分，不仅按应用领域（如视觉、语言）组织资源，更从技术架构（如硬/软参数共享、解码器聚焦模型）和优化策略（如损失梯度策略、任务采样）等角度对文献进行归类，便于研究者按需检索。同时，列表持续更新，收录了包括Pathways、LoRA等前沿工作，确保了内容的先进性，为领域内学者提供了全景式的导航工具。

使用方法

使用者可根据研究需求灵活浏览。若需进行实验，可首先在'Benchmark & Dataset'部分选取适配的基准数据集，如进行密集预测任务可选用NYUv2或CityScapes。随后，可在'Codebase'中找到对应的PyTorch实现库（如LibMTL）作为代码起点。在模型设计阶段，可参考'Architecture'部分，根据任务特性选择硬参数共享、基于适配器的调制或稀疏门控的专家混合等结构。最后，'Optimization'部分提供了解决任务干扰与不平衡问题的梯度策略与采样方法，辅助完善训练流程。

背景与挑战

背景概述

多任务学习（Multi-Task Learning, MTL）作为机器学习领域的重要范式，旨在通过共享表示同时学习多个相关任务，从而提升模型的泛化能力和数据效率。自Caruana在1997年开创性提出以来，MTL在计算机视觉、自然语言处理、强化学习等众多领域展现出巨大潜力。该数据集资源列表由Jialong Wu创建并维护，系统梳理了MTL领域的核心资源，涵盖从经典架构（如硬参数共享、软参数共享、调制适配器）到前沿优化策略（如梯度平衡、任务关系学习）的完整技术谱系。该资源库收录了自2016年至今的里程碑式工作，包括Misra等人提出的Cross-Stitch Networks、Liu等人的MTAN注意力机制，以及Google Pathways架构等突破性成果，为研究者提供了全面而系统的MTL知识图谱，对推动该领域的发展具有重要参考价值。

当前挑战

多任务学习的核心挑战在于平衡任务间的竞争与协作关系。在领域问题层面，如何设计有效的参数共享机制以避免任务间负迁移，同时充分利用任务共性提升性能，是长期困扰研究者的难题。具体而言，任务间的梯度冲突可能导致优化不稳定，不同任务的收敛速度差异会引发学习偏差，而任务数量的增加往往带来模型容量的指数级增长。在数据集构建过程中，面临的挑战包括：需要精心设计多任务标注规范以确保标签一致性，如NYUv2数据集同时标注语义分割、深度估计和表面法线三种任务；跨领域任务的数据分布差异导致样本不平衡问题，如Visual Domain Decathlon需处理10个视觉域的数据；以及如何构建大规模、高质量的多任务基准，如Taskonomy项目需要从真实世界3D扫描中提取26种视觉任务，对数据采集和标注都提出了极高要求。

常用场景

经典使用场景

多任务学习（Multi-Task Learning, MTL）旨在通过共享表示同时学习多个相关任务，以提升各任务的泛化性能与数据效率。该数据集汇总了MTL领域的经典基准与数据集，涵盖计算机视觉、自然语言处理、强化学习与机器人、图学习及推荐系统等多个子领域。在计算机视觉中，NYUv2与CityScapes常被用于联合学习语义分割、深度估计与表面法线预测等密集预测任务；在自然语言处理中，GLUE基准与decaNLP挑战则广泛应用于多任务语言理解与生成场景。这些数据集为评估MTL架构在任务间共享与冲突下的表现提供了标准化测试平台。

解决学术问题

该数据集系统梳理了多任务学习在学术研究中的核心问题，包括如何设计有效的参数共享机制以平衡任务间的共性与差异，如何优化损失与梯度策略以缓解任务干扰，以及如何通过任务关系学习实现动态分组或层级化建模。它汇集了硬参数共享、软参数共享、调制适配器及混合专家模型等多种架构方案，为研究任务表示学习、帕累托最优解及一致性正则化等理论问题提供了实证基础。这些工作推动了MTL从经验设计向理论化与自动化方向的演进。

衍生相关工作

该数据集所汇集的基准与代码库催生了大量经典工作。在架构方面，Cross-Stitch Networks与MTAN引入了可学习的跨任务特征融合机制，而AdapterFusion与LoRA则探索了参数高效的微调范式。在优化领域，Auto-Lambda与DSelect-k分别提出了任务权重自适应与混合专家选择策略。此外，基于该数据集的MTL-NAS与AutoMTL工作将神经架构搜索引入多任务学习，实现了任务特定分支的自动化设计。这些衍生研究共同构建了从理论分析到工程落地的完整技术链条。