真实面经题目 · 原创解析
当小红书图文笔记互动率下降时,如何设计实验验证增加短视频内容是否能改善互动,并补充哪些数据?
这道题考察数据分析师能否从“图文笔记互动率下降”这个异常出发,提出短视频内容作为干预,并设计可验证、可归因、可补数的实验,而不是直接得出“多发视频就能提高互动”的结论。
真实面经题目 · 原创解析
这道题考察数据分析师能否从“图文笔记互动率下降”这个异常出发,提出短视频内容作为干预,并设计可验证、可归因、可补数的实验,而不是直接得出“多发视频就能提高互动”的结论。
我会先确认图文笔记互动率下降是真问题,而不是流量结构、统计口径或季节波动造成的表象。互动率要拆成点赞、评论、收藏、转发、关注、停留等子指标,并分内容类目、作者层级、用户新老、流量来源、发布时间和曝光位置看下降集中在哪里。如果确认下降确实集中在图文笔记,就可以提出假设:短视频可能通过更强的信息密度、情绪表达和沉浸感,提高用户停留和互动意愿,但也可能稀释图文内容供给、改变人群结构或提高创作成本。 实验设计上,我不会直接全站增加短视频占比,而会选择可控的内容池或用户流量做 A/B。对照组维持原图文笔记分发策略,实验组在相同主题、相似作者层级、相似用户人群中增加短视频内容供给或推荐占比。关键是保证除内容形态外其他变量尽量一致,例如曝光位置、推荐策略、作者质量、内容主题、发布时间和用户画像。主指标可以是综合互动率或有效互动率,辅助指标包括播放量、完播率、平均播放时长、停留时长、点赞率、评论率、收藏率、转发率、关注转化、负反馈率和内容消费深度。 补充数据方面,短视频不能只补播放量和互动率,还要补视频消费质量、内容供给质量、用户分层、作者侧成本和长期影响。比如播放完成率、3 秒播放率、5 秒播放率、重复播放、跳出、评论质量、收藏后回访、作者发布频次、视频制作门槛、图文作者迁移意愿,以及实验后用户留存和次日回访。最终分析要回答三件事:短视频是否提升总互动,提升来自更高质量互动还是仅仅来自曝光偏置,是否对图文生态和作者供给产生负面影响。只有当短视频在目标人群、目标类目中稳定提升有效互动,同时护栏指标不恶化,才适合扩大短视频策略。
先确认互动率下降不是统计口径变化、曝光分母变化、推荐流量结构变化或大促/节假日影响造成的。互动率下降要拆到点赞、评论、收藏、转发等动作,看是整体下降还是某类互动下降。图文笔记还要按类目、作者层级、粉丝量、发布时间、流量来源分层。
短视频可能改善互动,是因为视频能更快展示使用场景、情绪、过程和结果,降低理解成本,提高停留和评论意愿。但短视频也可能带来浅层消费,导致收藏率下降、负反馈上升或图文创作者受损。实验前要把正向和负向假设都写清楚。
可以按用户随机分流,也可以在内容池层面构造相似主题的图文和短视频对照。用户侧分流更适合看整体体验和留存,内容侧匹配更适合看同主题下内容形态差异。无论哪种方式,都要控制类目、作者质量、曝光位置、发布时间和推荐策略,避免把作者差异误判为内容形态差异。
主指标可以是有效互动率,例如点赞、评论、收藏、转发等加权互动除以曝光或有效消费人数。短视频还必须补播放相关指标,包括曝光到播放、播放时长、完播率、跳出率和重复播放。护栏指标包括不感兴趣、举报、取关、停留下降、图文互动被挤压和作者发布活跃下降。
除了短视频播放量和互动率,还要补用户、内容、作者和长期数据。用户数据看新老用户、兴趣类目、消费深度;内容数据看主题、时长、封面、标题、质量等级;作者数据看视频供给能力和创作成本;长期数据看次日留存、回访、关注关系、收藏后使用和内容生态结构。
如果实验组互动率提升,要判断提升来自短视频形态本身,还是来自更多曝光、更优作者或推荐偏置。如果点赞上升但收藏和关注下降,可能只是浅层娱乐消费变多;如果评论质量和收藏回访也提升,才更能说明短视频改善了有效互动。最终策略可以是按类目、人群和内容阶段分层增加短视频,而不是全量替换图文。
这说明短视频可能提高了即时情绪反馈,但降低了工具型或长期参考价值。小红书场景里收藏往往代表后续决策价值,所以不能只看点赞。需要按内容类目判断,比如娱乐内容点赞更重要,种草、教程、攻略类内容收藏更重要。
如果目标是评估用户体验和整体互动变化,按用户分流更好;如果目标是比较同类内容中图文和短视频表现,内容匹配更合适。实际可以先用内容层匹配做机制验证,再用用户层 A/B 看整体生态影响。
短视频可能提高用户互动,但创作成本更高。如果作者供给不足、发布频次下降或中腰部作者无法适应,短期互动提升可能不可持续。内容生态问题必须同时看消费侧和供给侧。
要保证实验组和对照组的推荐策略、曝光位置和流量入口一致,或者在模型中控制这些变量。还可以用同主题、同作者层级的内容做匹配,减少算法把优质流量更多分给短视频造成的偏差。