真实面经题目 · 原创解析
GAN 的训练要注意什么?
GAN 训练要重点关注生成器和判别器的平衡、模式崩溃、梯度不稳定、损失解释困难和样本质量评估,不能只看 loss 是否下降。
GAN 由生成器和判别器对抗训练,最容易出问题的是两者强弱失衡。判别器太强,生成器梯度弱;生成器找到投机模式,会出现 mode collapse。训练时要注意学习率、更新步数、归一化、损失选择、梯度惩罚、谱归一化、噪声输入和数据增强。评估时不要只看 loss,要看生成样本质量、多样性、FID/IS、下游任务收益和人工检查。
GAN 不是单模型监督训练,生成器和判别器互相博弈。判别器太强或太弱都会让训练信号不稳定,需要控制学习率、更新频率和模型容量。
Mode collapse 指生成器只产生少数模式,看起来能骗过判别器但多样性很差。可以通过 minibatch discrimination、改进损失、正则和多样性约束缓解。
GAN 常见梯度消失、梯度爆炸和震荡。WGAN、梯度惩罚、谱归一化、BatchNorm/LayerNorm 和合适初始化都能改善稳定性。
GAN 的 loss 不像普通分类损失那样容易解释。判别器和生成器 loss 的变化不一定直接对应视觉质量或下游效果,必须结合样本检查。
生成结果要同时看清晰度、多样性、真实性、类别覆盖和下游任务指标。只追求逼真可能牺牲覆盖,导致模型在真实业务中不可用。
生成器很难获得有效梯度,训练可能停滞,生成质量难以提升。
它用 Wasserstein 距离替代原始 JS 散度,并配合权重裁剪或梯度惩罚改善梯度信号。
观察生成样本是否高度相似,计算多样性指标,并检查各类别或场景覆盖是否不足。