真实面经题目 · 原创解析
这道题考察的是候选人对弱监督视觉分割或抠图流程的理解，而不是要求复述某家公司内部论文实现。可以把 MODNet 这类方法理解为：在缺少像素级精标注时，利用图像级标签、类别激活、伪掩码、背景先验和一致性约束，逐步训练出能区分前景对象、相关背景和无关背景的分割模型。类别相关背景信息的价值在于，弱监督方法容易把与目标共现的背景误当成前景，例如车和道路、船和水面、人物和舞台；如果能显式挖掘类别相关背景并在训练中建模，就能减少前景扩张和背景误分。回答要覆盖弱标签来源、伪标签生成、背景类挖掘、模型训练、噪声控制、迭代优化和评估指标，同时避免声称任何未公开的公司细节。
我会先说明弱监督分割的难点：没有完整像素级 mask，只能从图像级标签、框、点、scribble 或类别激活图等弱信号推断像素标签，所以最大问题是伪标签噪声和前景背景混淆。MODNet 这类流程可以概括为几步：第一，用分类网络或视觉 backbone 从图像级类别标签中得到类别激活区域，形成粗前景种子；第二，通过显著性、边界、区域生长、CRF、超像素或自训练等方法扩展成伪 mask；第三，识别和目标类别高度共现但不属于目标的类别相关背景，把它作为单独背景或难负样本，而不是简单合并进普通背景；第四，用这些伪标签训练分割网络，损失可以包含前景交叉熵、背景约束、一致性正则、边界约束和噪声鲁棒损失；第五，模型预测再反过来更新伪标签，迭代提升。类别相关背景可以通过数据集共现统计、图像级标签关系、CAM 中非目标高响应区域、语义相似类别、聚类或外部先验挖掘。评估上用 mIoU、pixel accuracy、边界 F-score，若是抠图还看 SAD、MSE、Grad、Conn 等指标，并结合 badcase 分析背景误分、目标漏检和边界粗糙问题。
弱监督图像分割或抠图的目标是在标注成本较低的条件下学习像素级预测。相比全监督分割直接使用精确 mask，弱监督可能只有图像级类别、框、点、线或粗标注。模型需要从不完整监督中推断前景、背景和边界，因此核心挑战是监督信号不充分、伪标签噪声大、目标边界不准以及背景和前景高度共现。
常见流程是先训练或使用分类模型得到类别激活图，激活高的区域作为前景种子；再结合显著性检测、超像素、边界信息、CRF、区域扩张或阈值策略生成粗伪 mask。伪标签不会一开始就完美，通常高置信区域可靠、边界和低响应区域不可靠，所以训练时要区分强监督像素、弱监督像素和忽略区域。
类别相关背景是弱监督分割中特别容易出错的部分。某些背景与目标长期共现，模型可能把它们当成目标的一部分。可以通过类别共现统计、图像级标签关系、CAM 非目标响应、相似图像聚类、背景候选区域和外部语义先验来挖掘这些背景，并把它们作为难负样本或独立背景约束，帮助模型学会区分目标本体和上下文环境。
训练阶段可以用分割 backbone 加 decoder 输出像素概率，监督来自伪前景、伪背景和忽略区域。损失设计要对噪声鲁棒：高置信伪标签用交叉熵，低置信区域降低权重或忽略；可以加入一致性正则，让不同增强下预测稳定；边界或抠图任务还可以加入边缘损失和细节分支。类别相关背景通常以背景约束、对比学习负样本或额外类别监督的形式进入训练。
弱监督方法往往需要自训练迭代。第一轮模型用粗伪标签训练，得到更完整预测；再用预测结果更新伪标签、筛选高置信像素、修正背景误分，并继续训练。迭代时要防止错误自我强化，例如把背景误判为前景后反复确认，所以需要置信度阈值、类别一致性、背景先验、验证集监控和人工抽样 badcase。
分割任务常看 mIoU、pixel accuracy、precision、recall 和边界 F-score；抠图任务还会看 SAD、MSE、Gradient、Connectivity 等细粒度指标。除了总分，还要做类别维度和场景维度 badcase：目标小、边界细、遮挡、透明物体、强共现背景、低对比度背景等。弱监督方法尤其要关注前景过扩、背景误分和边界粗糙。
因为图像级标签只告诉模型图片里有某个类别，不告诉它哪些像素属于该类别。分类模型会利用最有判别力或最常共现的区域做判断，背景如果和目标强相关，就可能在类别激活响应里被错误增强，后续伪标签也会继承这个错误。
普通背景通常与目标关系弱，模型较容易区分；类别相关背景与目标高频共现或语义上下文强，例如道路对车辆、水面对船。它们不是目标本体，但会给分类和伪标签生成带来强干扰，因此需要更明确的负样本或背景约束。
可以只使用高置信像素训练，低置信区域设为 ignore；对伪标签做边界细化和 CRF 后处理；用一致性正则减少增强扰动；迭代时设置置信阈值和验证集监控，避免错误预测被反复写回。必要时可以抽样人工复核高影响类别。
抠图更关注前景透明度和边界细节，输出可能是 alpha matte 而不是离散类别 mask。评估会更强调边缘过渡、毛发、半透明区域和连通性，因此除了分类式损失，还常需要边界、梯度、alpha 一致性和高分辨率细节建模。
