做人脸 AIGC 反欺诈时，如何利用 GAN、Stable Diffusion 原理理解伪造样本生成和检测思路？｜阿里巴巴算法面经解析

60 秒回答模板

我会先把它拆成生成侧和检测侧。生成侧，GAN 是生成器和判别器对抗训练，容易产生逼真的局部纹理和身份外观；Stable Diffusion 则是在 latent 或图像表征里逐步去噪，能通过文本、参考图、局部编辑等条件生成更稳定、更可控的人脸伪造。做人脸 AIGC 反欺诈时，不能只说训练一个二分类器，而要先理解攻击面：假脸注册、换脸、证件照合成、视频注入、活体绕过、局部编辑和跨帧一致性伪造。检测上我会分四类特征：第一是身份和几何一致性，例如人脸关键点、姿态、3D 结构、边界融合和五官比例是否稳定；第二是活体和时序线索，例如眨眼、口型、光照响应、微表情、头部运动和跨帧身份一致性；第三是生成模型痕迹，例如过平滑皮肤、局部高频纹理异常、频域伪影、压缩后仍存在的统计偏差、眼镜头发边界等；第四是风控阈值和业务闭环，例如按风险等级组合多模型分数、人工复核、灰度阈值、线上漂移监控和新型生成器样本回灌。最后要强调对抗性：生成模型会持续进化，所以反欺诈系统要把检测、活体、身份核验、数据更新、鲁棒评估和误杀控制合在一起，而不是依赖单一深度伪造检测模型。

考点 攻击面入口

难度 真实面经题

回答目标 让候选人把生成模型原理、伪造攻击面、检测信号、阈值策略和对抗更新闭环连起来，回答成人脸 AIGC 反欺诈方案，而不是孤立模型名解释。

深入解析

先从攻击面定义问题

人脸 AIGC 反欺诈不是泛泛识别图片真假，而是识别 AIGC 生成或编辑的人脸是否被用于绕过身份和风控流程。常见攻击包括合成头像注册、证件照伪造、换脸视频、视频流注入、局部修脸、活体动作重放和多轮提交试探阈值。把攻击面说清楚后，检测目标才会从单张图分类扩展到身份一致性、活体真实性、跨帧稳定性和风险决策。

GAN 和扩散模型留下的线索不同

GAN 通过生成器和判别器对抗学习，强项是生成局部逼真的纹理和身份外观，但可能在边界、频谱、局部结构和训练分布外样本上留下统计痕迹。Stable Diffusion 通过逐步去噪生成图像或 latent，控制能力更强，局部编辑、参考图约束和文本条件更灵活，因此检测不能只盯某一种 GAN artifact，而要覆盖更广的生成和编辑痕迹。

人脸检测要结合语义、几何和纹理

有效答案应把特征分层。语义层看身份相似度、年龄性别属性突变、证件信息和人脸是否一致；几何层看关键点、姿态、3D 结构、五官比例、脸部边缘和头发眼镜遮挡关系；纹理层看皮肤过平滑、局部锐化、频域异常、压缩后伪影、瞳孔和牙齿等难生成区域。单一 RGB 分类器容易被新模型绕过，分层特征更利于解释和迭代。

活体和时序是重要补充

如果场景涉及视频或活体，人脸真伪不能只看单帧。可以检查眨眼、口型、微表情、头部转动、光照响应、视线变化、跨帧身份 embedding 稳定性、局部纹理是否随运动自然变化。扩散或换脸模型可能在单帧上很逼真，但在连续帧的几何约束、运动连续性和局部细节一致性上更容易暴露问题。

训练和评估要覆盖数据漂移

反欺诈模型的数据集不能只有公开 deepfake 样本。要覆盖真实采集设备、压缩链路、光照、遮挡、不同肤色年龄、低清晰度、截图转拍、视频注入和新生成器版本。评估除了 AUC、召回和误杀，还要分风险场景看阈值、人工复核成本、攻击样本召回、新旧生成模型泛化、对压缩裁剪和重采样的鲁棒性。

线上应是多信号风控闭环

工程上更合理的是多模型、多信号和分级处置：AIGC 检测分、活体分、身份比对分、设备和行为风险、历史提交模式共同进入策略层。低风险通过，高风险拒绝，中间区间复核或二次验证。上线后要监控误杀、漏放、分数分布漂移和攻击样本演化，并把新样本回灌到训练和压力测试中。

易错点

把题目答成 GAN 和 Stable Diffusion 的纯原理背诵，没有落到人脸 AIGC 反欺诈场景。
声称某公司一定用了某种内部风控架构；来源只支持面试题场景，不支持内部实现。
只看单张图真假分类，忽略活体、视频流、跨帧一致性和身份核验。
把所有生成伪影都归因于 GAN，忽略扩散模型、局部编辑和压缩重采样会改变 artifact。
只追求高召回，不讨论误杀、复核成本、阈值分层和用户体验。
拿公开 deepfake 数据集分数当上线效果，忽略真实设备、光照、低清、遮挡和新生成器漂移。

面试官追问

为什么只训练一个真假二分类器不够？

因为生成模型和压缩链路会持续变化，单一分类器容易学到数据集偏差。反欺诈需要结合身份一致性、活体、时序、频域、行为和阈值策略，才能降低被新型攻击绕过的风险。

GAN 伪造和扩散模型伪造的检测重点有什么不同？

GAN 伪造常从局部纹理、频域统计和边界 artifact 入手；扩散模型生成更可控，局部编辑和条件生成能力更强，所以要更重视身份一致性、局部编辑边界、跨帧一致性和多模态条件下的鲁棒评估。

人脸活体检测能完全替代 AIGC 检测吗？

不能。活体检测更关注是否为真实采集过程，AIGC 检测关注内容是否被生成或篡改。视频注入、重放、屏幕转拍和高质量换脸会让两者都需要协同。

如何控制误杀率？

要按风险分层设阈值，不把所有低置信样本直接拒绝；中间区间可二次验证或人工复核。同时要按设备、光照、人群、压缩质量分桶监控，避免模型对某类正常用户系统性偏置。

线上遇到新生成模型绕过怎么办？

先收集失败样本和相邻正常样本，确认是数据漂移、阈值问题还是特征盲区；再做针对性标注、鲁棒增强、模型回归和灰度阈值调整，避免只凭少量案例立刻大幅收紧策略。