企业官网建设流程全解析

1. 多任务学习的核心挑战：为什么需要任务平衡？

在机器学习的世界里，我们总希望模型能“一专多能”。多任务学习（Multi-Task Learning, MTL）正是这个理想的实践者，它让一个模型同时学习多个相关任务，共享底层的知识表示。听起来很美，不是吗？一个模型搞定所有，省时省力。但真正上手做过MTL项目的人都知道，这背后有个“老大难”问题：任务平衡。

想象一下，你同时教一个学生数学和语文。如果数学题太难，他可能把所有精力都花在刷数学题上，结果语文一塌糊涂；反之亦然。MTL模型就是这个学生，共享的参数就是他的大脑。当不同任务对“大脑”的更新指令（梯度）方向不一致甚至相反时，模型就会陷入混乱，学数学的步骤干扰了学语文的路径，最终导致所有任务的表现都不如单独学习——这就是臭名昭著的“负迁移”。

我经历过不少这样的项目：一个模型既要检测图像中的物体，又要分割它的轮廓，还要估计深度。初期，分割任务学得飞快，但检测精度死活上不去。检查梯度发现，两个任务的梯度在共享层上“打架”，一个往东，一个往西，模型参数更新得无所适从，整体性能被拖累。这就是任务不平衡的典型症状：某个或某几个任务“霸占”了优化方向，其他任务被牺牲了。

因此，任务平衡技术不是锦上添花，而是MTL能否成功的关键。它的目标很明确：在共享参数的空间里，找到一个更新方向，使得所有任务都能得到公平、有效的优化，最终实现“1+1>2”的协同效应，而非相互拖累。接下来，我们就深入拆解实现这一目标的两大主流技术路线：从调整损失函数入手的损失加权，和直接操作优化过程的梯度优化。

2. 损失加权技术：给任务分配“话语权”

最直观的任务平衡思路，就是给每个任务的损失函数分配不同的权重。这就像给董事会里的每位董事分配不同比例的投票权。早期的MTL通常采用简单加权平均：

L_MTL = Σ (w_i * L_i)

这里的w_i就是任务权重。手动设置这些权重是一门“玄学”，严重依赖经验和大量的网格搜索，成本高昂且效果不稳定。于是，一系列自适应损失加权方法应运而生，目标是将我们从调权重的苦海中解放出来。

2.1 不确定性加权：让模型自己报告“信心”

不确定性加权（Uncertainty Weighting）是我个人非常欣赏的一种具有贝叶斯思想的方法。它的核心洞见是：不同任务的不确定性（噪声水平）不同，模型对它们的“信心”也不同，我们应该更信任不确定性低的任务。

具体实现上，它为每个任务引入一个可学习的噪声参数σ。对于回归任务，假设观测噪声服从高斯分布；对于分类任务，则通过softmax函数建模。最终，多任务损失函数变为：

L_total = Σ (1/(2σ_i^2) * L_i + log σ_i)

这个公式有两部分：

1. 1/(2σ_i^2) * L_i：加权损失项。σ_i越大，代表该任务噪声大、不确定性高，其损失权重1/(2σ_i^2)就越小，在总损失中的贡献度降低。反之，不确定性低的任务权重高。
2. log σ_i：正则化项。防止模型为了最小化损失而简单地让σ_i趋向无穷大（这样权重就为0了）。这项迫使模型在降低权重和保持合理的σ值之间做出权衡。

实操心得与注意事项：

• 初始化很重要：通常将log σ_i初始化为0，即σ=1。也可以根据先验知识，对认为不确定性更高的任务初始化一个稍大的log σ值。
• 任务类型适配：原始论文中的损失形式是针对回归任务的均方误差（MSE）推导的。对于分类任务（如交叉熵损失），需要对损失形式进行微调，通常是在分类似然函数中引入尺度因子。许多开源实现（如PyTorch的某些MTL库）已经封装了这些变体。
• 一个潜在问题：有研究指出，log σ这项正则化在σ很小时（接近0）会导致损失出现负值，可能引发数值不稳定。改进版将其替换为log(1 + σ^2)，确保了损失非负，这就是所谓的“修正不确定性”方法。

2.2 动态权重平均：关注任务的“学习进度”

如果说不确定性加权是静态的“能力评估”，那么动态权重平均（Dynamic Weight Average, DWA）则是动态的“进度监控”。它的逻辑是：学习进度慢的任务应该获得更多关注。

DWA在每个训练周期（epoch）动态计算权重。它定义了一个任务k在最近时间窗口内的相对下降速率w_k(t)：

w_k(t) = L_k(t-1) / L_k(t-2)

这里L_k(t-1)是上一个epoch的损失值。w_k越大，说明该任务在上一个周期损失下降得越快（因为分母是更早的损失）。然后，通过一个softmax函数（带温度参数T）将下降速率转化为权重：

λ_k(t) = K * exp(w_k(t-1) / T) / Σ_i exp(w_i(t-1) / T)

温度参数T的作用：T控制权重分布的“尖锐”程度。T越大，权重分布越平缓，任务间权重差异越小；T越小，权重分布越尖锐，会给学习快的任务分配极高的权重，可能不利于平衡。K是一个缩放常数，通常令所有权重之和为K（例如K=任务数）。

踩过的坑：

• 损失震荡问题：如果某个任务的损失在相邻epoch间剧烈波动（例如从0.5跳到0.8再降到0.4），会导致w_k计算不稳定，进而引起权重剧烈震荡。解决方案是对损失进行平滑处理，例如使用移动平均来计算w_k。
• 初期不稳定性：训练刚开始时，损失值变化剧烈且可能未进入稳定下降阶段，此时计算的w_k和权重可能不可靠。可以考虑设置一个“预热”阶段，在最初的几个epoch使用固定权重或均匀权重。
• 需要记录历史损失：实现DWA需要额外保存每个任务过去两个epoch的损失值，增加了少许工程复杂度。

2.3 其他损失加权策略速览

除了上述两种主流方法，社区还涌现出其他有趣的思路：

• 随机损失加权：每个epoch从某个分布（如狄利克雷分布或均匀分布）中随机采样一组权重，然后归一化后使用。这种方法看似简单，但通过引入随机性，避免了模型陷入某个固定的、可能次优的权重配置，有时能取得媲美复杂方法的性能，且几乎无额外计算成本。
• 几何损失策略：使用任务损失的几何平均L_geo = (Π L_i)^(1/n)作为总损失。几何平均对尺度差异不敏感，能天然缓解某些任务损失量级过大的问题。其变体还可以对部分“更重要”的任务进行加权几何平均，赋予其更高影响力。

注意：损失加权是一种间接的平衡方法。它通过调整损失标量来影响梯度大小，但无法解决梯度方向冲突的根本问题。当任务梯度方向相反时，即使调整了权重，更新方向可能依然是次优的。这就引出了更直接的方法——梯度优化。

3. 梯度优化技术：在参数更新的十字路口做调度

如果说损失加权是在任务损失汇报环节调整“音量”，那么梯度优化就是在梯度汇聚后、参数更新前，在“指挥中心”直接调整更新向量的方向和大小。这是更底层、也更强大的平衡手段。

3.1 梯度归一化：让所有任务“齐步走”

梯度归一化（GradNorm）的核心思想是：通过调整任务权重的梯度范数（大小），使所有任务以相近的速度学习。

它不直接操作总损失，而是操作反向传播到共享层（通常是最后一个共享层）的梯度。具体步骤：

1. 计算梯度范数：对于每个任务i，计算其加权损失w_i(t)*L_i(t)对共享层参数W的梯度G_i^W(t)的L2范数||G_i^W(t)||。
2. 计算平均梯度范数：计算所有任务梯度范数的平均值G_W(t)。
3. 计算相对逆训练速率：对于每个任务，计算其损失相对于初始损失的比例r_i(t) = L_i(t)/L_i(0)。这个值越小，说明该任务学得越快。然后计算相对逆训练速率r_i(t) = r_i(t) / (Σ r_i(t))。r_i(t)越大，说明该任务当前学得越慢。
4. 定义目标梯度范数：设定每个任务i的目标梯度范数为TargetNorm_i = G_W(t) * [r_i(t)]^α，其中α是一个超参数，控制对平衡的强调程度。
5. 优化权重：构造一个损失函数L_grad = Σ_i |||G_i^W(t)|| - TargetNorm_i||，通过梯度下降来更新任务权重w_i（注意，这里优化的是损失权重w_i，而不是模型主参数）。目的是让每个任务的实际梯度范数向其目标范数看齐。

实现细节与解析：

• 为何选择最后一个共享层？主要是为了计算效率。全网络的梯度计算开销巨大。最后一个共享层的梯度通常能较好地代表任务对共享表示更新的“诉求”。
• 超参数α：α=0时，所有任务的目标范数都是G_W(t)，即强制所有梯度范数相等。α>0时，学习慢的任务（r_i(t)大）会获得更大的目标范数，从而在下一步获得更大的损失权重w_i，加速其学习。
• 这是一个双循环过程：内循环优化任务权重w_i以对齐梯度范数；外循环用更新后的w_i计算加权损失，更新模型主参数。

3.2 投影冲突梯度：化解梯度方向的“矛盾”

当两个任务的梯度方向夹角大于90度（余弦相似度为负）时，它们直接冲突，一个梯度方向的更新会损害另一个任务的性能。投影冲突梯度（PCGrad）提供了一种巧妙的解决方案：将冲突的梯度投影到彼此的正交空间上，消除直接冲突的分量。

其算法流程如下： 对于当前批次数据，遍历所有任务对(i, j)：

1. 计算任务i的梯度g_i和任务j的梯度g_j。
2. 计算余弦相似度cos_sim(g_i, g_j)。
3. 如果cos_sim(g_i, g_j) < 0（即冲突）：
   • 将g_i投影到g_j的法平面（垂直方向）上：g_i' = g_i - (g_i · g_j / ||g_j||^2) * g_j
   • 同样地，将g_j投影到g_i的法平面上：g_j' = g_j - (g_j · g_i / ||g_i||^2) * g_i
4. 如果cos_sim(g_i, g_j) >= 0（即不冲突或协同）：
   • 保持梯度不变。
5. 对所有任务的梯度（可能已被投影修改）取平均，得到最终的更新梯度。

直观理解：想象两个向量代表两个任务的更新意愿。如果它们指向相反方向（冲突），PCGrad会“掰弯”它们，只保留彼此不反对的那个分量。如果它们指向相似方向（协同），则保留原样，让它们合力推进。

局限性分析：

• 过度投影风险：PCGrad在梯度冲突时强制正交。但有时，轻微的负相关可能并非完全有害，强制正交可能破坏了梯度中潜在的有用信息。
• “非冲突即协同”的二分法：对于余弦相似度为正但很小的梯度（即方向大致相同但夹角很大），PCGrad不做处理。然而，这种松散的协同可能也不是最有效的。
• 计算开销：需要对任务两两配对检查冲突，对于任务数T的情况，复杂度为O(T^2)。虽然通常任务数不多，但仍需注意。

3.3 梯度余弦值对齐：追求最佳的“合作角度”

针对PCGrad的不足，梯度余弦值对齐（Gradient Cosine Value Alignment, GradVac）提出了更精细的控制。它认为，任务梯度间存在一个最优的余弦相似度目标值，不一定是0（正交），也不一定是1（同向），而可能是一个介于其间的小正值，代表一种既协同又不完全一致的理想状态。

GradVac的步骤如下：

1. 为每对任务(i, j)设定一个目标余弦相似度ϕ_{ij}^T（例如0.5）。
2. 在训练中，计算当前批次梯度g_i和g_j的实际余弦相似度ϕ_{ij}。
3. 如果ϕ_{ij} < ϕ_{ij}^T，说明当前协同度不够，需要调整其中一个梯度（例如g_j），使其与g_i的夹角缩小，提高相似度至目标值。
4. 调整公式基于正弦定理在梯度平面内推导，比简单的投影更复杂，但目的是将ϕ_{ij}拉向ϕ_{ij}^T。
5. 目标值ϕ_{ij}^T本身也可以通过指数移动平均（EMA）自适应地更新，根据历史相似度动态调整。

这种方法更灵活，允许模型学习任务间更复杂的梯度关系模式。但它也引入了更多的超参数（初始目标相似度、EMA衰减因子等），调参可能更复杂。

4. 多目标优化视角：寻找帕累托最优解

将MTL视为多目标优化问题，为我们提供了更严谨的数学框架。这里的目标不是单一损失，而是一个损失向量[L_1, L_2, ..., L_T]。我们的目标是找到一组模型参数，使得没有任何一个任务的损失能在不损害其他任务的情况下被进一步降低。这组解被称为帕累托最优解，它们构成的边界称为帕累托前沿。

4.1 多梯度下降算法

多梯度下降算法是寻找帕累托最优解的基础工具。其核心是求解如下问题：

min_{α} || Σ_{t=1}^T α_t * ∇L_t(θ) ||^2, s.t. Σ α_t = 1, α_t >= 0

这里∇L_t(θ)是任务t的梯度。我们寻找一组凸组合系数α_t，使得这些梯度的加权和的范数最小。

• 如果最小范数为0：意味着找到了一个点，使得所有梯度的线性组合为零向量。根据KKT条件，这个点就是帕累托平稳点（可能是帕累托最优）。
• 如果最小范数大于0：那么这个加权梯度方向Σ α_t * ∇L_t(θ)就是一个能同时改善所有任务的下行方向。

MGDA及其变体（如MGDA-UB，利用上界简化计算）通过求解这个二次规划问题，直接得到聚合梯度方向。

4.2 冲突避免梯度下降法

冲突避免梯度下降法（Conflict-Averse Gradient Descent, CAGrad）是MGDA的一种泛化。它不追求最小化梯度范数，而是寻找一个更新方向d，最大化所有任务梯度在该方向上投影的最小值：

max_{d: ||d - g0|| <= c} min_{i} <∇L_i, d>

其中g0是均匀加权平均梯度，c定义了一个信任区域半径。直观上，它在平均梯度g0附近寻找一个方向d，确保即使是对d最不“满意”（投影最小）的那个任务，也能获得一定程度的改善。c控制了权衡的激进程度：c=0时退化为平均梯度；c很大时，趋向于MGDA的解决方案。

4.3 纳什MTL：从博弈论中寻找公平解

纳什MTL（Nash-MTL）引入了博弈论中的纳什讨价还价解概念。它将每个任务视为一个参与者，目标是找到一个让所有参与者都“同意”的更新方案，这个方案是比例公平的——任何偏离都会导致至少一个参与者的效用（任务性能）下降。

其算法非常优雅：

1. 计算每个任务的梯度g_t，组成梯度矩阵G。
2. 求解方程(G^T G) α = 1/α（按元素倒数），得到正权重向量α。这个方程确保了加权后的梯度方向能达成一种平衡。
3. 使用聚合梯度Gα更新参数。

纳什MTL的优势在于它不需要像MGDA那样求解优化问题，计算更高效，并且被证明在许多基准测试中达到了领先水平。

实操选择建议：

• 追求简单与效率：对于任务数不多（2-4个）的场景，可以尝试PCGrad或GradVac，实现相对直观。
• 需要理论保证：如果任务间冲突严重，且希望找到理论上的平衡点，MGDA或CAGrad是更好的选择，但计算开销稍大。
• 即插即用与性能：纳什MTL是当前一个非常强的基线，它通常能提供稳健的平衡效果，且计算复杂度可接受，适合作为首选的梯度优化方法尝试。

5. 其他平衡策略与工程实践要点

除了调整损失和梯度，还有一些从训练机制入手的平衡技巧。

5.1 动态停止与重启策略

这个策略的灵感来自早停法，但应用在任务层面。其核心思想是：如果一个任务已经过拟合，继续训练它可能会损害共享表示，从而拖累其他任务。不如暂时“冻结”它。

• 停止准则：监控每个任务在验证集上的表现。定义一个综合指标E = E_tr * E_val，其中E_tr衡量训练损失下降趋势（下降变缓则值小），E_val衡量过拟合程度（验证损失与最小训练损失之差）。当E超过阈值ϵ时，认为该任务开始过拟合，停止对其计算梯度和更新。
• 重启机制：被停止的任务并非永久休眠。持续监控其验证损失。如果发现其性能下降（例如，相对于其历史最佳下降了0.5%），则重新激活（GO模式）该任务。

这种方法特别适用于辅助任务与主任务差异较大，或数据分布不同的场景。它能有效防止“学坏”的辅助任务带偏主任务。

5.2 任务优先级调度：从易到难还是先难后易？

这与课程学习的思想类似。有两种主流思路：

1. 从易到难：在训练初期，让模型更多地关注容易的样本和容易的任务（其损失小、梯度大），快速建立基础表征。随着训练进行，逐渐引入更难的样本和任务。这可以通过在损失函数中引入随时间变化的权重来实现，例如使用L1范数惩罚来稀疏化样本权重（初期偏向易样本），并逐渐增大其系数。
2. 先难后易：有些研究认为，先学习困难任务能迫使模型学到更鲁棒的特征，从而惠及简单任务。例如，可以利用Focal Loss的思想，根据任务当前的性能指标（如准确率）动态调整权重，表现越差（越难）的任务获得越高的权重。

选择哪种策略？这没有定论。通常，如果任务间相关性高，且容易任务能为困难任务提供良好初始化，“从易到难”可能更稳定。如果目标是最大化困难任务的性能，或者任务共享低层次特征，“先难后易”值得尝试。在实际项目中，这往往是一个需要实验验证的超参数。

5.3 工程实现中的关键检查点

1. 梯度裁剪与监控：MTL中梯度可能因权重调整而变得异常大。务必实施梯度裁剪，防止训练不稳定。同时，在训练初期可视化各任务梯度的范数和方向余弦相似度，能直观了解任务间的冲突情况。
2. 验证策略：MTL的验证需要综合评估所有任务。可以定义一个综合验证指标，如各任务验证损失的加权和，或所有任务关键指标（如mAP, Accuracy）的算术平均/几何平均。更重要的是，要单独观察每个任务验证集上的表现曲线，确保没有任务被严重牺牲。
3. 超参数调优：学习率对MTL尤为敏感。由于梯度是聚合的，学习率可能需要比单任务学习时更小。任务平衡方法本身也有很多超参数（如DWA的温度T，GradNorm的强度α）。建议先在一个小的验证集上进行广泛的超参数扫描。
4. 架构设计的影响：任务平衡技术与模型架构紧密相关。硬参数共享（所有任务共享大部分层）比软参数共享（各任务有独立模块，通过特定层交互）的冲突更剧烈。有时，在共享层之后添加任务特定的适配层（Adapter）或引入稀疏门控机制，可以从源头上减少梯度冲突，比单纯的平衡算法更有效。

6. 任务分组：平衡之前的选择

在深入平衡技术之前，一个更根本的问题是：哪些任务应该放在一起学？把不相关的任务强行捆绑进行MTL，再好的平衡技术也难有成效。因此，任务分组是MTL pipeline中前置但至关重要的一步。

6.1 基于迁移相似度的分组

Taskonomy 是这一思路的代表性工作。它通过系统化的迁移学习实验来量化任务间的亲和力：

1. 独立训练：首先，为每个任务独立训练一个模型。
2. 冻结与迁移：固定源任务模型的编码器，在其特征表示上训练目标任务解码器。
3. 量化收益：比较这种迁移学习的性能与目标任务从头训练的性能。性能提升越大，说明源任务对目标任务的迁移价值越高，两者相关性越强。
4. 构建亲和力矩阵：对所有任务两两之间进行上述实验，形成一个任务亲和力矩阵。
5. 聚类分组：基于亲和力矩阵，使用聚类算法（如谱聚类）将任务分成若干组，组内任务高度相关。

这种方法非常直观，但致命缺点是计算成本极高，需要进行O(T^2)次迁移实验，对于任务数T较多时不可行。

6.2 基于表征相似性的分组

为了降低计算成本，Representation Similarity Analysis (RSA) 提出直接分析已训练好的单任务模型学到的特征表示。

1. 提取特征：使用每个任务独立的预训练模型，对同一组输入数据（如图像）提取中间层特征。
2. 计算相似度：计算每对任务模型特征之间的相似度（例如，计算特征图在样本维度上的相关性，或使用CKA等更鲁棒的相似性指标）。
3. 分组：基于特征相似度矩阵进行聚类分组。

RSA的假设是：如果两个任务诱导模型学习到相似的特征表示，那么它们共享的底层知识就多，放在一起进行MTL效果会更好。这种方法省去了大量的迁移训练，但依赖于“特征相似性等价于任务相关性”的假设，并非总是成立。

6.3 基于性能预测的在线分组

任务亲和力分组（Task Affinity Grouping, TAG）是一种更高效的在线估计方法。它在一个多任务网络训练过程中，动态评估添加或移除一个任务对另一个任务性能的影响。

• 亲和力定义：任务a对任务b的亲和力Z_{a->b}定义为：在基于任务a的梯度更新共享参数后，任务b的损失下降比例。下降越多，亲和力越高。
• 前瞻性估计：TAG使用一种“前瞻”步骤来近似这个值，而无需实际进行多次完整训练。它通过少量额外的前向-后向传递来估计梯度更新对另一个任务损失的影响。
• 优化分组：基于估计出的亲和力矩阵，使用优化算法（如分支定界法）寻找一个任务分组，使得组内亲和力总和最大。

TAG在单次训练运行中就能估计任务关系，平衡了准确性和效率，是目前较为实用的分组方法。

分组策略的实践建议：对于小规模任务集（<10），可以依赖领域知识和RSA进行初步分组。对于大规模任务集，应考虑使用TAG或类似的高效方法。记住，好的分组能极大降低后续平衡的难度，是成功的MTL系统的基石。

7. 常见问题排查与调优实录

在实际部署MTL模型时，你一定会遇到各种问题。以下是我从多个项目中总结出的常见“病症”与“药方”。

7.1 症状：一个任务表现极好，其他任务崩溃

• 可能原因1：损失量级差异巨大。例如，回归任务的MSE损失可能在1000量级，而分类任务的交叉熵损失在1量级。即使权重相同，梯度也被回归任务主导。
  • 排查：打印每个任务每个epoch的原始损失值。
  • 解决：实施损失归一化。可以在训练前用少量数据估算每个任务损失的初始量级，然后在训练中除以该量级进行标准化。或者，直接使用不确定性加权，它通过噪声参数自动调节尺度。
• 可能原因2：梯度幅值差异大。即使损失量级相近，不同任务的损失函数曲面不同，梯度幅值也可能差异很大。
  • 排查：在训练初期，记录并可视化各任务梯度（特别是共享层）的L2范数。
  • 解决：使用梯度归一化或梯度裁剪（按任务）。确保每个任务的梯度在聚合前被缩放到相近的幅值。
• 可能原因3：任务本质冲突严重。例如，一个任务要判断图像中是否有车，另一个任务要判断是否是晴天。这两个任务在特征层面可能存在冲突（阴天也可能有车）。
  • 排查：计算任务梯度对的余弦相似度矩阵。如果存在大量负值（特别是接近-1），说明冲突严重。
  • 解决：考虑任务分组，将冲突严重的任务分开训练。或者，采用PCGrad、GradVac等直接处理梯度冲突的方法。也可以调整网络架构，减少参数共享程度（例如，仅共享浅层网络）。

7.2 症状：训练不稳定，损失剧烈震荡或爆炸

• 可能原因1：聚合梯度过大。当多个任务的梯度方向一致时，聚合后的梯度幅值会很大。
  • 排查：监控聚合梯度的范数。
  • 解决：实施全局梯度裁剪。这是稳定训练的标配。设置一个阈值，如果梯度范数超过该阈值，则按比例缩放。
• 可能原因2：动态权重变化过快。例如DWA中的温度参数T设置过小，导致权重在不同epoch间剧烈切换。
  • 排查：绘制每个任务权重的变化曲线。
  • 解决：增大温度参数T，平滑权重分布。或者对权重本身进行平滑处理（如指数移动平均）。
• 可能原因3：学习率过高。MTL的优化地形可能比单任务更复杂，需要更小的学习率。
  • 解决：使用比单任务更保守的学习率，并配合学习率热身和余弦退火等调度器。

7.3 症状：验证集上，所有任务性能均不如单任务基线

• 可能原因1：负迁移主导。任务间存在有害干扰，共享表示学到的不是通用特征，而是任务间妥协的、模糊的特征。
  • 排查：检查单任务模型和MTL模型学到的特征可视化（如t-SNE）。MTL特征是否类别区分度更差？
  • 解决：这是MTL的核心挑战。首先，重新评估任务相关性，可能它们不适合放在一起学习。其次，尝试更强的梯度冲突解决方法（如MGDA, Nash-MTL）。第三，采用软共享或层次共享架构，给任务更多独立性。
• 可能原因2：模型容量不足。共享层需要编码多个任务的信息，可能成为瓶颈。
  • 解决：增加共享层的宽度或深度。或者，为每个任务添加更多的任务特定适配层，将共享表示转化为任务特定表示。
• 可能原因3：平衡策略过于激进。过度追求平衡可能导致所有任务都收敛到一个平庸的解。
  • 排查：尝试使用均匀权重或简单的手动调整权重，观察性能。
  • 解决：调整平衡算法的强度超参数（如GradNorm的α，CAGrad的信任域半径c），向“不那么平衡”的方向调整。有时，允许主要任务获得稍多的资源是合理的。

7.4 调优流程建议

1. 建立强基线：首先，为每个任务训练一个性能良好的单任务模型。然后，训练一个简单的均匀加权多任务模型。这是你所有优化工作的起点。
2. 诊断问题：使用上述排查方法，分析均匀加权模型的问题：是尺度问题？梯度冲突？还是容量问题？
3. 分层引入技术：
   • 第一层（损失尺度）：如果损失量级差异大，先引入损失归一化或不确定性加权。
   • 第二层（梯度幅值）：如果梯度范数差异大，尝试梯度归一化。
   • 第三层（梯度方向）：如果存在严重梯度冲突（余弦相似度为负），引入PCGrad、GradVac或Nash-MTL。
   • 第四层（架构）：如果性能瓶颈明显，考虑调整共享/独享参数的比例，引入适配层或稀疏门控。
4. 谨慎调参：每次只引入一个新技术或调整一个关键超参数（如平衡强度），并在一个固定的验证集上评估其对所有任务的影响。记录每次实验的配置和结果。
5. 最终评估：在独立的测试集上评估最终模型，并与单任务基线以及之前的MTL模型进行对比。不仅要看平均性能，还要看每个任务的性能，确保没有任务被严重牺牲。

多任务学习的魅力在于其统一框架的简洁与强大，但其魔鬼藏在任务间动态平衡的细节之中。没有放之四海而皆准的“银弹”，最有效的方法往往取决于具体的任务组合、数据分布和模型架构。我的经验是，从简单的均匀加权开始，耐心地进行诊断和迭代，结合对任务本质的理解，逐步引入合适的平衡技术。这个过程充满挑战，但当看到模型在各个任务上协同提升时，所带来的成就感也是单任务学习无法比拟的。最后，别忘了，有时候最好的“平衡”策略，可能就是重新思考哪些任务应该被放在一起。