标签题目
模型评估相关面试题第 2 页
给店铺卖家发放贷款并控制逾期率，特征工程如何设计？
这题考风控特征工程的完整框架：围绕逾期风险定义标签、时间窗口、主体画像、经营现金流、历史履约、异常行为和数据泄漏控制。
如何设计一个用车需求量预估算法？
用车需求量预估本质是时空序列预测：在给定城市区域和时间窗口内预测未来订单请求量。完整方案包括区域划分、时间粒度定义、历史订单和供需特征构建、天气节假日活动等外部特征引入、时序或时空模型训练，以及用 MAE、RMSE、MAPE 和调度收益做离线与在线评估。
万用户数据中有 5% 标签错误，如何用算法找出错误样本并赋予正确类别？
这道题考察 label noise 场景下的数据质量诊断和训练闭环。回答时要先区分“找出疑似错标样本”和“给出可信新标签”两个目标，再用交叉验证预测、模型分歧、邻域一致性和人工或高置信规则校验构建可控流程。
广告排序中 eCPM 如何融合 pCTR、pCVR 和出价，ESMM/MMoE 如何支撑多目标预估？
这道题考察广告排序目标和多目标预估的连接。回答时要先讲清 eCPM 是期望收益排序信号，再说明 pCTR、pCVR、出价分别来自不同任务，ESMM 解决点击后转化的样本选择偏差，MMoE 用共享专家和任务门控支撑多目标学习。
同公司岗位有 2 条面经记录
CVR 建模遇到转化回传延时高时怎么处理，CTR/CVR 的特征和模型结构有什么不同？
这道题考察广告 CVR 的延迟反馈和任务差异。回答要先说明 CVR 标签更稀疏、更延迟、更受点击选择偏差影响，再给出标签窗口、样本成熟、延迟建模、回填训练和离线评估的完整处理方式。
外卖订单请求刷单识别如何建模？
这道题考察订单请求级风控建模。回答要从标签定义、特征体系、模型链路、阈值策略和反馈闭环展开，重点说明刷单识别不是单纯分类，而是要兼顾实时性、误伤成本、样本偏斜和对抗变化。
风险社区检测中，Louvain 和 LPA 应该如何选择？
这道题考察图算法在风控社区检测里的取舍。回答不要只背 Louvain 和 LPA 定义，要结合风险图的边权、噪声、稳定性、可解释性和处置成本说明：高精度离线团伙发现更偏 Louvain，超大规模快速扩散或候选扩展可用 LPA。
风控评分卡建模从样本、分箱到评估监控的流程是什么？
这道题考察风控评分卡的端到端建模能力。回答要覆盖样本定义、时间切分、缺失和异常处理、分箱与 WOE、可解释模型、评分映射、AUC/KS/校准/PSI 评估，以及上线后的稳定性监控。
粗排打分样本空间与精排样本空间不一致时，推荐模型如何训练和校正？
这道题考察多阶段推荐的分布偏移。粗排要面对召回池，精排只看到粗排之后的候选；如果用精排曝光样本直接训练粗排，模型会学到被上游筛选后的分布，导致召回池打分不准，需要从样本构造、校正、蒸馏和评估上处理。
教育自动批改纠错任务如何设计 seq2seq 方案，并在最少人力下构造正负样本？
这道题考察教育批改纠错任务如何从“文本生成”落到可训练、可评估的纠错系统。回答要把 seq2seq 的输入输出、正负样本来源、低人力标注策略、过度纠错控制和机器翻译差异讲成一个闭环。
Thompson Sampling 和 UCB 在推荐探索中分别适用什么场景，CTR 预估模型如何配合？
这道题考察推荐场景里的探索利用权衡。回答要以 Thompson Sampling 和 UCB 的选择为主轴，把 CTR 预估模型放在奖励估计、特征表征和不确定性建模的位置，而不是展开成 CTR 模型百科。
NLP 模型接入搜索排序链路时，特征接口和上线评测指标如何设计？
这道题考察 NLP 模型从离线效果走向搜索排序链路的工程化边界。回答要覆盖特征接口、排序接入、延迟降级、日志闭环和离线/在线评测，而不是只介绍某个 NLP 模型。
出行派单中，如何建模乘客对“顺路”的感知，并构造训练数据？
这道题考察出行派单里如何把“地理上看似顺路”转成“乘客主观感知也顺路”的可训练问题。高质量回答要讲清建模目标、弱监督标签、规则样本、特征设计、偏差处理、评估指标和线上体验护栏，而不是只回答最短路或 ETA。
电商补贴/优惠券场景中，新增优惠券特征后如何设计模型目标，避免购买倾向与券价值关系失真？
这道题考察优惠券进入购买倾向模型后，如何避免模型把“高券发给低意向用户”的历史策略误学成券越大越不想买。回答要围绕目标定义、券价值归一化、单调约束、选择偏差校正、校准评估和补贴 ROI，而不是罗列电商 CTR/CVR 特征。
内容风控中，品牌 logo 风险识别如何兼顾召回、业务管控标准和无关商品过滤？
这道题考察内容风控里的品牌 logo 风险识别如何从“把疑似风险尽量捞出来”走向可上线的业务闭环。回答要覆盖检测识别链路、隐藏真实风险总量下的召回评估、业务管控标准、无关商品过滤、人审和主动学习，以及离线/在线指标和误杀漏放取舍。
LLM 微调项目里新数据加入后离线评估掉点，应该如何排查数据、训练和评估口径？
这道题考察 LLM 微调项目的掉点诊断能力。回答重点不是背 SFT 或 LoRA 方法名，而是把新数据引入后的数据 pipeline diff、质量和格式漂移、分布混合比例、训练 schedule、评估集回归、指标切片、Recall/Precision 取舍和上线决策串成一套可执行排查流程。
大模型微调后出现不遵循指令、复读和错误答案，如何定位原因并判断 CoT 是否有效？
这题考察大模型微调后行为退化的定位方法：要把不遵循指令、复读和错误答案拆成可复现的错误类型，分别从数据、训练配置、解码参数和评估切片定位，并用对照实验判断 CoT 是否真正改善推理或事实正确率。
RAG 处理 PDF 知识库时，如何设计切片、分页元数据和检索链路来减少答非所问？
这题考察 PDF 知识库 RAG 的端到端设计：要用结构化解析保留标题、页码和版面语义，按文档结构切 chunk 并带 page span metadata，通过召回、重排和上下文组装减少答非所问，并用 badcase 闭环持续修正切片与检索链路。
同公司岗位有 2 条面经记录
企业协作场景的 AI 智能伙伴如何设计评测集和指标体系？
这题考察企业协作 AI 助手的评测体系设计：评测集要覆盖真实协作任务、权限边界和长尾场景，指标要分层衡量任务完成、事实性、安全合规、效率、体验满意度和线上反馈闭环。
长上下文扩展技术如 YaRN 应如何评测效果，而不只看最大上下文长度？
这题考长上下文扩展的评测方法，回答重点是不能只看最大 token 长度，还要验证检索、推理、稳定性、成本和短上下文回归。
AI 产品满意度低的 bad case 如何定义、分层和处理？
这题考 AI 产品侧 badcase 运营和指标治理，回答要从满意度触发、问题分层、归因、优先级、短期止血和长期迭代闭环展开。
文生图大模型产品如何制定评估标准，并选择人审还是机审？
这题考文生图产品评估体系设计，回答要覆盖评估维度、样本集、人工与自动评估分工、标准迭代和上线 gate。
原始视频内容如何通过多模态模型生成推荐系统可用的向量表示？
这题考原始视频到推荐向量的多模态表示链路，回答要覆盖采样、编码、融合、训练目标、上线使用和评估。
MoE 一般加在大模型哪里，从训练和推理角度有什么收益与代价？
这题考 LLM MoE 的位置和训练推理取舍，回答要讲清 FFN 专家、router、稀疏激活、负载均衡和服务成本。
同题还出现在 1 个公司岗位
Agent 场景下 Prompt 自动优化应如何工程化设计？
这题考 Agent Prompt 自动优化的工程化闭环，回答要聚焦候选生成、离线评测、安全门禁、灰度实验和回滚。
文生 3D 任务中，Stable Diffusion 输出如何与 NeRF / SDF 重建方法结合？
这题考文生 3D 中 2D diffusion 先验和 3D 表示优化的结合，回答要讲清 SDS、多视角一致性、NeRF/SDF 取舍和评估。
视频生成中，时序信息对齐和空间对齐哪个更重要，如何取舍？
这题考视频生成中的一致性取舍，回答要说明时序对齐和空间对齐分别解决什么、何时更重要、如何训练和评估。
AIGC 模型持续迭代时如何设计质量回归守护和灰度机制？
这题考 AIGC 模型持续迭代后的质量守护，回答要把离线回归、灰度分流、线上监控、回滚阈值和复盘机制连成闭环。
AIGC 产品中人物一致性、音色一致性和多人物稳定性如何评测？
这题考多模态 AIGC 的一致性评测，重点是把人物、音色和多人物稳定性拆成可标注、可自动检测、可线上验证的指标体系。
视频 AIGC 从 0 到 1 时，如何设计离线评估、线上实验和用户采纳闭环？
这题考视频 AIGC 从 0 到 1 的产品验证闭环，回答要覆盖离线效果评估、线上实验、用户采纳和复盘迭代。
大模型能力超出边界时，AI 产品应如何识别风险并触发兜底流程？
这题考大模型产品的能力边界管理，回答要说明如何识别超能力风险、触发兜底、降低伤害并把失败样本回流。
人工介入提升 AI 准确率时，如何平衡成本和收益？
这题考 AI 产品引入人工介入时的成本收益判断，核心是按风险分层、算边际收益、控制人审成本并持续降低依赖。
AI 功能上线后如何收集用户反馈并设计数据指标？
这题考 AI 功能上线后的反馈闭环，回答要把显性反馈、隐性行为、模型质量、产品体验和迭代分层讲清。
同公司岗位有 2 条面经记录
AI 产品项目核心目标如何对齐成交率等业务指标？
这题考 AI 产品经理如何把 AI 项目目标和成交率等业务指标对齐，重点是建立从功能效果到用户行为再到业务结果的因果链路。
AI 聊天产品如何评估好坏，哪些指标能衡量对话体验？
这题考 AI 聊天产品的指标体系，回答要把用户任务、对话体验、模型质量、系统性能、安全和 badcase 闭环串起来，而不是只说满意度或留存。
AI 产品经理与技术团队对项目实验方向有分歧时，如何沟通并做决策？
这题考 AI 产品经理面对实验方向分歧时的协作和决策能力，重点不是谁说服谁，而是把目标、假设、指标、约束和决策机制显性化。
创作 Agent 的效果评估指标如何同时覆盖任务成功率、创作质量和用户信任？
这题考创作 Agent 的效果评估体系，回答要同时覆盖任务成功、创作质量、用户信任、安全合规、效率成本和反馈闭环。
Teacher forcing 为什么会带来训练和推理不一致，如何缓解 exposure bias？
这题考序列模型训练中的 teacher forcing 和 exposure bias，回答要解释训练推理输入分布不一致、误差累积和常见缓解方法。
Agent 项目如何选择底层模型，依据和验证方法是什么？
这题考 Agent 项目的底层模型选型。答案要从任务类型、工具调用、结构化输出、上下文、延迟成本、安全、评测集、灰度和 fallback 路由来讲。
大模型产品 badcase 标准如何制定，并区分产品、人审和外包评估？
这题考大模型产品 badcase 标准和评估归属。答案要讲失败 taxonomy、严重级别、rubric、采样校准、一致性、人审外包 QA，以及产品和模型迭代闭环。
为什么不直接采用 AI-native 自动化评估，如何判断它的适用边界？
这题考为什么不直接采用 AI-native 自动化评估，以及如何判断适用边界。答案要平衡自动化收益、judge 偏差、金标校准、高风险场景、人审和混合评估。
RAG 知识库来源和拆分逻辑应如何由产品目标定义？
这题考产品视角定义 RAG 知识来源和拆分逻辑。答案要从产品目标、权威来源、用户任务粒度、权限、新鲜度、生命周期、评测和 badcase 反馈展开，不能写成 PDF chunking 工程题。
同题还出现在 1 个公司岗位
LoRA 微调能否注入领域知识，应该如何验证效果边界？
这题考 LoRA 微调能否注入领域知识及其边界。答案要区分格式/风格/任务适配与事实知识注入，并比较 LoRA、SFT、继续预训练和 RAG 的验证方法。
同公司岗位有 2 条面经记录
智能客服产品应如何设计数据指标来评估效果？
这题考智能客服产品的效果指标体系，回答要围绕用户问题是否被解决、AI 回答是否可靠、体验是否顺畅、成本是否可控以及线上实验闭环展开。
同公司岗位有 2 条面经记录
如何设计 A/B 实验评估大模型智能客服是否提升用户满意度？
这题考用数据分析方法验证大模型客服是否提升满意度，重点是实验假设、随机化单位、主指标与护栏指标、样本量、显著性和长期效果判断。
对话摘要生成任务如何设计评估指标，并处理长度控制、角色呼应和数据增强？
这题考对话摘要生成的评估和训练细节，答案要同时覆盖内容覆盖、事实一致、角色归因、长度控制、ROUGE 局限和数据增强风险。
给定包含目标实体的文本，如何把实体链接到知识库，主要难点是什么？
这题考实体链接到知识库的完整链路，回答要覆盖 mention 规范化、候选召回、上下文排序、歧义消解、NIL 处理、知识库更新和评估指标。
Qwen2-VL 微调时应如何处理多模态数据、视觉 token、训练参数和评估？
这题考 Qwen2-VL 微调的多模态工程思路，答案应讲数据构造、视觉 token 预算、参数策略、loss masking、训练稳定性和评估闭环，不依赖具体版本细节。