机器学习模型训练和评估的基本流程是什么？｜阿里巴巴算法面经解析

60 秒回答模板

机器学习模型训练和评估通常可以按业务定义、数据准备、特征工程、样本切分、模型训练、调参与验证、离线评估、线上实验、监控迭代这几个阶段来讲。首先要明确预测目标、样本定义、标签口径和评价指标，保证模型优化方向和业务目标一致。然后进行数据采集、清洗、去重、缺失值和异常值处理，并防止未来信息泄漏。接着做特征工程和训练集、验证集、测试集切分，推荐或时序场景一般要按时间切分。训练阶段选择合适模型、损失函数和优化方法，通过验证集调参并观察过拟合。离线评估要结合准确率、AUC、LogLoss、召回、NDCG 等指标和分群分析。最后上线前做灰度或 A/B 实验，关注真实业务指标、延迟和稳定性，上线后持续监控数据漂移、模型衰退和反馈偏差，形成迭代闭环。

考点 业务目标

主线 数据与样本

易错点 只罗列训练、验证、测试三个词，没有解释每一步的目标和边…

深入解析

业务目标

第一步不是直接选模型，而是把业务问题转成可学习的监督信号。例如要预测点击、转化、留存还是风险，需要明确样本粒度、预测时间点、标签窗口、正负样本定义和优化目标。只有先定义清楚问题，后续损失函数、特征、切分方式和评估指标才有依据，否则模型离线分数可能很好，但不一定能改善真实业务。

数据与样本

数据阶段要收集与目标相关的用户、物品、上下文、行为日志和标签数据，并处理缺失值、异常值、重复样本、脏日志、埋点不一致等问题。样本构造尤其关键，要保证特征发生时间早于标签时间，避免把未来行为、结果字段或后验统计量混入训练数据，否则会产生数据泄漏，导致离线评估虚高而线上效果下降。

特征工程

特征工程包括数值特征归一化、类别特征编码、文本或序列特征表示、统计特征、交叉特征以及时间衰减特征等。推荐系统中常见用户画像、物品属性、用户历史行为、用户物品交互和场景特征。特征完成后要检查覆盖率、分布稳定性、训练线上一致性和特征重要性，避免低质量特征增加噪声或引入不可控偏差。

数据切分

数据切分要服务于泛化评估，通常分为训练集、验证集和测试集。训练集用于参数学习，验证集用于调参和模型选择，测试集只用于最终评估。若样本存在时间顺序或用户行为演化，推荐按时间切分，而不是随机切分，否则同一用户相近行为可能同时出现在训练和测试中，导致评估结果过于乐观。

训练目标

模型选择要结合数据规模、特征类型、可解释性、延迟要求和上线成本。逻辑回归、树模型、GBDT、深度模型、召回模型和排序模型适用于不同阶段。训练时要选择与目标匹配的损失函数，例如二分类常用交叉熵，排序任务可能使用 pairwise 或 listwise 损失，同时通过正则化、早停、采样策略和类别权重控制过拟合与样本不均衡。

调参与离线评估

调参通常在验证集上进行，包括学习率、树深、正则项、embedding 维度、batch size、负采样比例等。离线评估不能只看一个平均指标，分类任务可看 AUC、LogLoss、Precision、Recall、F1，排序任务可看 NDCG、MAP、MRR、Recall@K 等。还要做分群评估、长尾评估、冷启动评估和误差分析，判断模型在关键人群和关键场景是否稳定。

过拟合与泄漏

训练完成后要比较训练集、验证集和测试集表现，若训练效果显著好于验证或测试，通常说明过拟合。还要排查特征是否包含标签后信息、统计特征是否跨越切分边界、样本是否重复穿越集合、调参是否反复污染测试集。鲁棒性检查可以通过交叉验证、时间外验证、特征消融和扰动测试来提升结论可信度。

线上闭环

离线指标通过后不能直接认定模型有效，还需要灰度发布或 A/B 实验验证真实业务指标，例如点击率、转化率、GMV、留存、用户体验指标和系统延迟。上线后要监控特征分布、预测分数分布、数据延迟、模型性能、业务指标和异常报警。随着用户行为和环境变化，模型会衰退，需要定期重训、样本回流、指标复盘和策略迭代。

易错点

只罗列训练、验证、测试三个词，没有解释每一步的目标和边界。
忽略业务目标和标签定义，直接从模型选择开始回答。
把离线指标当成最终结论，没有说明线上 A/B 实验的重要性。
没有提到数据泄漏，无法体现真实项目中的风险意识。
在时序或推荐场景中默认随机切分，导致评估口径不严谨。
只关注准确率，忽略 AUC、LogLoss、召回率、NDCG 等任务相关指标。
没有说明模型上线后的监控、重训和迭代闭环，回答停留在实验室流程。
把特征工程说成简单编码，忽略特征覆盖率、稳定性和线上一致性检查。

面试官追问

为什么不能只用测试集不断调参？

测试集应该模拟最终未知数据，只用于最后一次客观评估。如果反复根据测试集结果调参，模型选择过程就会间接学习测试集分布，造成测试集污染，最终指标偏乐观。正确做法是用验证集调参，保留测试集用于最终确认。

推荐系统里为什么常用时间切分？

推荐场景中的用户兴趣、物品热度和行为模式都会随时间变化。随机切分可能让未来行为影响过去训练，或者让相近会话同时出现在训练和测试中。时间切分更符合线上用历史预测未来的方式，评估结论更可靠。

AUC 高但线上点击率没提升可能是什么原因？

AUC 衡量整体排序区分能力，但线上效果还受流量分布、召回候选集、位置偏差、探索策略、延迟、用户分群和业务目标影响。也可能存在离线线上特征不一致、训练样本偏差或离线指标与真实目标不匹配。

如何判断模型是否过拟合？

可以比较训练集、验证集和测试集表现，如果训练指标明显优于验证或测试，说明模型可能记住了训练噪声。还可以观察学习曲线、做交叉验证、减少特征或模型复杂度，并使用正则化、早停和更多数据来缓解。

数据泄漏有哪些常见形式？

常见形式包括使用标签发生后的行为特征、用全量数据计算统计特征、训练测试集合存在重复样本、把结果字段当作输入特征，以及在标准化或编码时提前使用测试集信息。这些都会让离线指标虚高。

模型上线后需要监控什么？

上线后要同时监控工程和效果两类指标。工程侧包括特征延迟、服务耗时、错误率和资源消耗；效果侧包括预测分数分布、特征分布漂移、核心业务指标、分群表现和模型衰退趋势。