Attention gate 与 deep supervision

1. 边界糊：decoder 弱还是 skip 没接对

语义分割 mIoU 还行，边界 F1 或 boundary IoU 很差——常见根因是 encoder 下采样丢 spatial detail，decoder 单靠上采样 + 转置卷积补不回来。U-Net 的 skip connection 把浅层 high-res 特征 concat 到 decoder，边界细节靠 skip 传递；不是单靠加深 encoder 能解决的。若 no-skip ablation 后 boundary 指标几乎不变，问题在 label 质量、metric 定义或 input resolution，不在 skip 架构。

encoder 每 downsample 一次，spatial resolution 减半，最深层只看全局语义；decoder 若只有 upsample+conv，高频边界信息已在上采样过程中平滑掉。skip 把浅层 edge-rich feature 直接送到对应 decoder 层，是 U-Net 相对 FCN 的核心优势。验收时 mIoU 与 boundary F1 应同时报——mIoU 对大面积类友好，小目标与轮廓误差被 aggregate 淹没；boundary IoU 或 trimap metric 对 skip 设计更敏感。input 分辨率低于标注精度时，再完美的 skip 也补不回亚像素标签噪声。

2. skip 机制与 channel 对齐

python

class UNetBlock(nn.Module):
    def forward(self, x, skip):
        x = self.up(x)
        x = torch.cat([x, skip], dim=1)  # channel double
        return self.conv(x)  # conv 降维

concat 后 channel 翻倍，后续 conv 负责融合与降维。skip 的 spatial size 必须与 decoder 上采样后一致——不对齐会报错或 silent pad。encoder/decoder 层数与 downsample 因子（通常 2×）须对称；接错层时 mIoU 可能仍高但 boundary 糊。

Attention U-Net 在 skip 上加 gate，decoder 状态与 skip 联合算 gate，选择性传递 skip。对边界类小目标，gate 常略优于 plain concat，代价是参数与 compute 增加。除 concat，还可 sum 或 add after 1×1 align channel——sum 参数量少但要求 encoder/decoder channel 对齐设计。上采样常用 transposed conv 或 bilinear upsample + conv；前者可能产生 checkerboard artifact，后者更稳但略糊，与 skip 联用时 artifact 常出现在边界，须用 no-skip ablation 对照。

python

# gate = sigmoid(W_g * dec + W_x * skip)
gated_skip = skip * gate
x = conv(torch.cat([up, gated_skip], dim=1))

对边界类小目标，gate 常略优于 plain concat，代价是参数与 compute 增加。

3. deep supervision 与 3D 取舍

deep supervision：在 decoder 中间层加 auxiliary loss（权重 0.3–0.5），deep copy GT mask 下采样到 aux 分辨率。帮助 gradient 传到浅层，加速收敛、缓解 vanishing grad；对极深 decoder 有用，不是 boundary 唯一解。

3D 医学分割 skip 同理，memory 是瓶颈——patch training + sliding window inference 是常态。train 用 patch 时 skip 跨 patch 边界；inference sliding window overlap 不足会在 seam 处 mIoU 掉点。过深 encoder 即时有 skip，input resolution 过低仍丢亚像素边界——512 train、4K infer 需 multi-scale 或更高 train resolution。deep supervision 的 aux loss 权重过大时，网络偏向优化低分辨率 mask，主 output 边界反而糊；权重 0.3 附近起步，与主 loss 同量纲归一化后再调。3D sliding window 的 overlap 通常 ≥ patch 边长 1/4，seam 处可加权融合 logits 而非硬切 patch。

4. 失败模式

skip channel 不对齐 → conv 报错或 pad 出 artifact。concat 后未 conv 降维 → 参数量爆炸。Attention gate 初始化不当 → gate 全 0 或全 1，退化。deep supervision 权重过大 → aux loss 主导，主 output boundary 反而糊。BN 在 skip concat 后 batch 小 → stats 噪声，可考虑 GN 或 SyncBN。

另一类失败是 skip 接错层级：把 encoder 最浅层 skip 接到 decoder 最深层，spatial 尺寸不匹配时 silent pad 会在边界造 ghost 类。transposed conv stride 与 encoder pool 不配对，导致 feature map 差 1 pixel，长期训练后边界系统性偏移 1–2 像素。Attention gate 若 sigmoid 饱和全 1，等价 plain concat 却多算力；全 0 则 skip 断流，boundary F1 接近 no-skip。诊断：可视化 gate map 均值，应在 0.2–0.8 有选择性，而非常数。

5. 案例：no-skip 边界 F1 掉八 pt

某 2D 器官分割，U-Net with skip boundary F1 0.72，去掉 skip 后 0.64，mIoU 仅从 0.81 到 0.78——说明 aggregate mIoU 掩盖 boundary 问题。加 Attention gate 后 boundary F1 0.74，deep supervision 加速收敛 30% epoch 达同 mIoU。验收应同时报 mIoU 与 boundary 指标。

no-skip 实验应 只改 fusion 路径，encoder/decoder 深度与 loss 不变，否则 ablation 不干净。Attention gate 版若 boundary 仅涨 0.02pt 但 FLOPs 涨 15%，业务需按 latency 预算取舍——小目标检测/分割 ROI 高，大目标语义分割 plain concat 常够用。

6. 验收

无 skip ablation：boundary F1 掉 >5pt 说明细节靠 skip。
skip 层 spatial size 与 decoder 对齐可视化。
Attention gate vs plain concat，boundary 类单独报。
3D patch train + sliding window infer，查 seam mIoU。
deep supervision 开/关对比收敛与 boundary。

验收阶段建议导出 边界误差热力图：与 no-skip 对比，skip 应在轮廓法向方向误差集中下降。3D 任务额外检查 patch 边界 voxel 的 logits 方差——seam 处方差 spike 说明 overlap 不足或 fusion 权重未做 Gaussian blending。

U-Net 边界质量上限由 skip 传递的 spatial detail 决定。改 skip 或 gate 时固定 encoder 与 loss，单变量 ablation 才分得清 fusion 问题还是 resolution 问题。部署侧若做 TTA 或多尺度 infer，skip 架构的收益在 最高分辨率分支 最明显——低分辨率单尺度 infer 时 boundary 仍可能是瓶颈，须与 train resolution 一并规划。