关注页上线新的排序方案时，如何通过 A/B 测试选择更优方案，并设计核心指标、护栏指标和分层分析？｜高频面试题解析

60 秒回答模板

我会先明确实验对象和成功标准：新的关注页排序不是只追求点击率，而是让用户更高效看到想看的关注内容，同时不伤害内容多样性、创作者生态和整体体验。实验设计上，最好按用户稳定随机分组，一组使用原排序，一组使用新排序，保证用户在实验期间体验一致；实验前确定样本量、最小可检测效应和实验周期，覆盖工作日、周末以及内容发布周期。核心指标可以分三层：第一是关注页消费效率，如关注页 CTR、有效播放率、播放时长、完播率、feed 深度、刷新率、停留时长；第二是互动质量，如点赞、投币、收藏、评论、分享、关注关系强化；第三是长期价值，如次日/7日留存、关注页回访率。护栏指标要看负反馈、取消关注、屏蔽、不感兴趣、退出率、投诉、App 整体时长是否被挤占、延迟和崩溃。还要做分层分析，比如重度/轻度用户、关注数多少、新老用户、内容品类、创作者头腰尾部、冷启动内容和不同端。统计上检查 SRM、A/A 基线、置信区间、多指标冲突和新鲜感效应。最终不是某个单一指标涨就上线，而是核心指标显著提升、护栏不退化、关键人群和内容生态没有明显伤害。

考点 用户级随机

难度 真实面经题

回答目标 展示你能把推荐排序实验从指标、统计、用户体验和内容生态四个层面讲完整，而不是只给一个点击率指标。

深入解析

先定义实验目标

关注页和推荐页不同，用户已经表达了关注关系，因此排序目标不只是最大化即时点击，还要帮助用户及时看到关注对象的高价值内容。成功标准应围绕消费效率、互动质量、关注关系维护和长期回访，而不是只看一次曝光后的 CTR。

实验单元和周期要稳定

排序方案会改变一个用户看到的内容序列，通常应按用户维度稳定随机分组，避免同一用户在不同会话里反复切换策略。实验周期要覆盖内容发布节奏、工作日周末和可能的冷启动期。上线前要估算样本量和 MDE，避免样本不足导致没有结论，也避免中途频繁偷看结果。

核心指标覆盖消费效率

关注页排序可以看曝光点击率、有效播放率、播放时长、人均关注页停留、完播率、feed 浏览深度、刷新率、首屏点击、内容到达率等指标。若是视频内容，还可以区分短播放和有效播放，避免新排序只是诱导点击但没有真实消费。核心指标要和排序目标一致。

互动和长期指标判断质量

高质量排序不应只带来点击，还应提升点赞、投币、收藏、评论、分享等正向互动，并改善关注页回访和用户留存。长期指标尤其重要，因为关注页承载的是用户和创作者的关系。如果新排序短期增加时长，却让用户更少回访关注页或取消关注增加，就不是好方案。

护栏指标防止局部优化

需要监控负反馈、取消关注、屏蔽、不感兴趣、退出率、投诉率、App 整体 DAU/时长/留存、其他频道消费被挤占、排序接口延迟、错误率和崩溃。内容生态上还要看曝光集中度、头部创作者挤占、尾部创作者冷启动、品类多样性和新内容曝光机会。

分层和统计诊断决定能否上线

整体均值可能掩盖关键人群损伤。要按关注数、活跃度、新老用户、内容品类、创作者层级、设备端、时段和地区做异质性分析。统计上要检查样本比例异常、实验前指标平衡、置信区间、p 值、效应量、CUPED 降噪、多个指标同时检验和新鲜感衰减。决策应基于核心收益、护栏风险和分层稳定性。

易错点

只看 CTR 或播放量，不看有效播放、互动、负反馈和长期留存。
不提前定义核心指标和护栏指标，实验后挑选上涨指标讲故事。
按曝光或请求随机而不是按用户稳定分组，导致体验污染和估计偏差。
实验周期太短，没覆盖周末、内容发布节奏和新鲜感衰减。
只看整体均值，不做用户、品类、创作者层级和关注数分层。
忽略排序延迟、错误率和曝光集中度，导致模型效果好但产品或生态风险变大。

面试官追问

如果 CTR 上升但完播率下降，怎么判断？

说明新排序可能提高了点击吸引力，但内容匹配或消费质量下降。要看有效播放、播放时长、负反馈和长期回访。如果只是标题党式点击提升，不应直接上线。

关注页实验为什么要看创作者侧指标？

关注页连接用户和已关注创作者。排序如果过度集中到头部或高点击内容，可能伤害长尾创作者曝光和关系维护，长期会影响内容供给和用户关注价值。

如何避免实验结果被新鲜感影响？

实验周期要足够长，观察日级趋势和后期稳定效果；必要时做长期 holdout。不能只看上线前几天的提升，因为用户可能只是对新排序更敏感。

整体指标提升但新用户下降怎么办？

要判断新用户是否是关键人群，以及下降是否显著和可解释。可以考虑分人群上线、调整新用户策略或补充冷启动规则，而不是只按整体均值决策。