Instruct-IPT:多任务图像恢复(去雨/去雾/去模糊)
2026/4/29 1:26:07 网站建设 项目流程

文章目录

  • Instruct-IPT:多任务图像恢复(去雨/去雾/去模糊)
    • 一、任务
    • 二、环境
    • 三、模型
      • 3.1 权重调制层
      • 3.2 完整 IPT Backbone
    • 四、训练
    • 五、推理
    • 六、结果
      • All-in-One vs Single-Task
    • 七、消融
    • 八、调试
    • 九、总结
    • 代码链接与详细流程

购买即可解锁1000+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,每日更新

Instruct-IPT:多任务图像恢复(去雨/去雾/去模糊)

一、任务

输入: 退化图像 I_d × N_d (雨/雾/模糊/噪) ↓ Prompt 文本: "去除雾气恢复细节" ↓ Instruct-IPT ├── Image Encoder: Swin-B (H/4, H/8, H/16) ├── Text Encoder: CLIP (77 tokens, 512-d) ├── Cross-Attention Fusion: │ └── Q=image, K=V=text → 任务条件特征 ├── Transformer IPT Backbone × 12: │ ├── Weight Modulation: 任务特定偏差 ΔW │ ├── 低秩分解: ΔW = A × B (r=16) │ └── 共享权重 W₀ + ΔW → 任务适配 └── Decoder: Conv 3×3 → 3 通道 RGB ↓ 输出: 恢复图像 I_c (H×W×3, 0~1)
退化类型输入输出评估指标

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询