01

60 秒回答模板

我会先确定 NLP 模型在搜索排序中的角色：它不是直接替代排序系统，而是提供 query、doc/item、用户上下文之间的语义相关性、意图、类目、匹配分或质量特征。接口上要定义输入字段、输出字段、版本、置信度、特征含义、缺失值、时间戳和 batch/实时调用方式，保证排序模型能稳定消费。接入时要考虑延迟预算、缓存、候选规模、特征归一化、与已有文本匹配特征的相关性以及失败降级；模型不可用时要能回退到默认值或旧特征。评测上先做离线回放，看 NDCG、AUC、相关性分层、badcase 和分 query 类型收益，再做小流量 A/B，看搜索业务目标、用户体验、延迟、稳定性和长尾 query 表现。最后要把线上日志回流到训练和校准流程，避免离线好看但排序链路里不可控。

考点 接口契约
难度 真实面经题
回答目标 讲清原理、实现和边界
02

深入解析

01

先确定模型职责

NLP 模型接入搜索排序时，通常承担语义匹配、意图识别、类目识别、query 改写质量、文本相关性或内容质量评分等角色。回答不要假设它直接替代整个排序模型，而要说明它作为特征或子分数进入粗排、精排或重排中的哪一段。

02

设计清晰特征接口

接口要明确输入和输出。输入可以包括 query、候选 item 文本、类目、位置、用户上下文和必要的召回信息；输出可以是语义相关分、意图概率、类目概率、匹配类型、置信度和模型版本。每个字段都要有含义、取值范围、缺失值策略和时间戳，避免排序侧把一个黑盒分数当万能特征。

03

控制延迟和稳定性

搜索排序有严格延迟预算，NLP 模型接入要考虑批量推理、缓存、候选截断、轻重模型分层和异步预计算。接口失败、超时或特征缺失时要有降级：返回默认值、使用旧模型分数、跳过该特征或回退到传统文本匹配特征。没有降级策略的特征无法安全上线。

04

和排序模型协同

NLP 输出进入排序模型前要做校准、归一化和相关性检查，避免和已有 BM25、点击特征、类目特征重复计数。可以先作为独立特征加入精排模型，也可以作为重排约束或过滤信号。重要的是用离线回放验证加入特征后排序位置、query 切片和 badcase 是否符合预期。

05

离线评测看排序收益

离线不能只看 NLP 模型自己的分类准确率。要把它放进排序样本或回放链路里评估，例如相关性标注上的 NDCG、AUC、pairwise 准确率、分 query 类型收益、头部和长尾 query 表现、错误 case 和特征覆盖率。这样才能判断它是否真的改善排序。

06

线上评测看业务和护栏

上线要从小流量 A/B 开始，观察搜索目标指标、用户体验指标、延迟、超时、特征覆盖率和稳定性。具体业务指标应按搜索场景定义，但必须同时包含收益指标和护栏指标，防止语义相关性提升却带来延迟、误召回或部分 query 体验下降。线上日志要回流用于再训练、校准和漂移监控。

03

易错点

  • 只讲 NLP 模型结构，不说明它在粗排、精排或重排中的接口职责。
  • 把模型输出当黑盒分数交给排序侧，缺少取值范围、版本、置信度和缺失策略。
  • 没有延迟、超时、缓存和降级设计，导致特征无法安全接入在线搜索。
  • 只看分类准确率或 AUC，不做排序回放、query 切片、A/B 和护栏指标验证。
04

面试官追问

为什么不能只看 NLP 模型离线准确率？

排序效果取决于候选集、特征组合和位置变化。单模型准确率高，不代表加入排序后能提升目标指标，还可能和已有特征重复或影响延迟。

接口输出一个分数够不够？

通常不够。至少要有分数含义、取值范围、置信度、模型版本和缺失策略；复杂场景还需要意图、类目、匹配类型等可解释特征。

NLP 特征上线后如何排查坏例？

记录 query、候选、模型版本、特征值、排序前后位置和用户反馈，按 query 类型、类目、头尾流量和特征覆盖切片分析，定位是模型错误、接口缺失还是排序权重问题。

搜索链路中如何做降级？

设置超时阈值和默认值，保留旧特征或传统文本匹配分作为回退；对高成本模型可以预计算、缓存或只在候选截断后调用。