美团外卖用 AI 优化配送路径时，产品经理如何设计实验来比较不同算法对履约效率、成本、稳定性和用户体验的影响？

60 秒回答模板

我会把配送路径优化实验分成离线验证、仿真验证和线上灰度三层。配送不是普通页面点击实验，一个算法的调度结果会影响骑手、商家、用户、周边订单和后续运力状态，所以不能直接把所有流量随机拆给不同算法。上线前要先用历史订单回放和仿真环境比较算法在不同城市、商圈、天气、峰谷时段、订单密度和骑手供给下的表现，过滤掉明显不稳定或高风险的方案。 实验目标上，我不会只看平均配送时长。主指标可以是准时率、履约时长、ETA 误差、超时率、订单完成率和路径合理性；成本指标包括骑手行驶距离、空驶率、补贴成本、重派率、取消率和单位订单履约成本；稳定性指标包括 P95/P99 时长、极端天气表现、算法超时、回滚次数和异常路径比例；体验指标要看用户等待、投诉、商家等待、骑手接单意愿、骑手收入稳定性和安全相关反馈。 线上实验设计上，我会优先采用城市/商圈分层、小流量灰度、switchback 交替实验或骑手/区域簇随机，而不是简单按用户随机。原因是配送算法有明显网络效应，同一个骑手和同一片区域的订单会互相影响。实验要提前定义分层、样本量、运行周期、峰谷覆盖、节假日和天气控制，并保持算法之外的补贴、派单规则、商家策略尽量一致。 决策上，我会设置硬护栏和停止条件。只要安全投诉、严重超时、取消率、骑手异常反馈或系统失败率超过阈值，就立即暂停或回滚。实验结束后不只看整体均值，还要看分城市、分商圈、分天气、分订单类型、分新老骑手的效果，避免算法在整体上好看但伤害某些高风险场景。