01

60 秒回答模板

我会先把两个方向的作用机制拆开：出图效果优化主要提升创作成功率和任务完成感，社区广场主要提升灵感供给、社交反馈和回访理由。实验上最好设计成 2x2：对照组、算法优化组、社区组、算法加社区组，这样能同时看单独效果和交互效果。随机单位以用户为主，并按新老用户、创作频次、使用场景和历史质量反馈分层。主指标不建议只看打开率，而看 D1/D7 合格留存、次日再次生成或编辑、作品保存/导出、社区引发的再创作。算法组的护栏看生成延迟、成本、失败率、低质反馈；社区组的护栏看内容安全、浏览替代创作、冷启动内容供给和互动作弊。社区有网络效应和内容供给干扰，如果 feed 内容跨组共享，要设置隔离策略或至少记录曝光来源，避免污染。最后根据增量留存、成本、对核心创作行为的影响和长期稳定性决策，而不是只看短期点击热度。

考点 机制拆分
难度 真实面经题
回答目标 讲清设计、取舍和边界
02

深入解析

01

先写清两个方案的留存假设

算法优化的假设是用户更容易得到满意作品，因此更愿意回来继续创作；社区广场的假设是用户能获得灵感、反馈和社交动机，因此多了回访理由。只有把作用机制拆开，实验结果才知道该解释为质量提升还是社区刺激。

02

用 2x2 设计比较单独和组合效果

理想实验分为四组：原体验、只上算法优化、只上社区广场、算法优化加社区广场。这样不仅能比较 A 和 B 的主效应，还能判断两者是否互相增强，例如更好的出图是否让社区内容更值得浏览和复创。

03

随机和分层要服务留存判断

随机单位通常选用户，避免同一用户跨体验污染。分层维度包括新老用户、创作频次、使用场景、历史满意度、来源渠道和设备环境。实验周期要覆盖新鲜感衰减，不能只看上线当天的浏览兴奋。

04

主指标要定义为合格留存

主指标可以是 D1/D7 合格留存，例如次日再次生成、编辑、保存、导出或由社区作品触发再创作。社区功能可能提升打开和浏览，但如果挤压创作行为，不能直接判定成功。算法优化也要看满意后是否真的带来再次任务。

05

护栏指标防止局部最优

算法组要看生成延迟、单位成本、失败率、投诉、低质量反馈和高级需求满足；社区组要看内容安全、低质内容曝光、互动作弊、只刷不创作、创作者供给不足和审核成本。留存提升如果伴随成本失控或核心创作下降，需要谨慎。

06

处理社区网络效应和决策口径

社区广场天然存在内容供给和用户互动的跨组干扰。可以用隔离 feed、标记曝光来源、分批灰度或按用户簇实验来降低污染。最终决策要比较增量留存、创作转化、成本、风险和长期稳定性，而不是只看哪个方案点击更高。

03

易错点

  • 直接凭直觉选择算法或社区，没有提出可检验假设。
  • 只看 DAU、打开率、浏览量，没有定义合格留存和再创作行为。
  • 忽略算法优化的延迟、成本和失败率护栏。
  • 忽略社区广场的网络效应、内容供给、审核和互动作弊问题。
  • 实验只设两个组，无法判断算法和社区是否存在组合增益。
  • 实验周期太短，只捕捉社区新鲜感或算法发布初期波动。
04

面试官追问

为什么不直接 A/B 测算法组和社区组？

直接二选一能比较两个方案，但看不出两者是否互相增强，也没有清晰基线。2x2 能同时看单独效果、组合效果和交互效果，更适合产品路线决策。

社区广场的成功指标为什么不能只看浏览和点赞？

浏览和点赞可能只是消费内容，并不代表图像生成产品的核心价值提升。要看社区是否带来回访、再创作、作品发布和长期创作者供给。

算法优化组如果成本显著上升怎么办？

要把单位 retained user 成本、生成成本和毛利护栏纳入决策。若留存提升主要来自高成本生成，需要评估是否只对高价值用户或高价值场景开放。

如何处理社区实验里的网络效应？

尽量隔离实验组 feed 或按用户簇灰度，并记录内容来源和曝光路径。否则对照组也可能看到实验组产生的内容，导致实验效果被稀释或污染。