标签题目
性能排查相关面试题第 3 页
推理框架中卷积算子通常有哪些实现方式，如何按输入形状、硬件和延迟目标选型？
这题考推理框架里的卷积实现谱系，而不是卷积数学定义。回答要覆盖 direct、im2col/GEMM、implicit GEMM、Winograd、FFT、1x1/depthwise/group 专用 kernel，并说明选型受形状、batch、硬件、内存带宽、精度和端到端延迟影响。
超大模型部署到计算集群时，如何按计算图切分并做分布式模型管理？
这题考超大模型部署系统设计。关键是把模型表示为计算图，按依赖、内存、计算量、通信和 SLA 做图切分与设备放置，再用分布式模型管理处理分片版本、加载、路由、健康检查、灰度和回滚。
AI 服务中的多模型降级与熔断机制如何设计，怎样定义异常、状态流转和自动恢复条件？
这题考察 AI 服务后端的稳定性设计。多模型降级和熔断不是简单把模型 A 挂了切到模型 B，而要定义异常、统计窗口、状态机、路由策略、自动恢复和质量兜底。好的回答要覆盖可用性、质量、成本、延迟、限流、观测和安全边界。
RAG 或大模型知识库应用中，知识不断追加导致 Prompt 越来越长时，会带来哪些上下文、成本和质量问题，如何治理？
这题考 RAG 或大模型知识库应用的上下文治理能力。题源 evidence 指向新加入知识库造成 prompt 越来越长，所以回答不能停留在换长上下文模型，而要说明 prompt 变长会带来窗口挤占、成本上升、延迟变高、噪声和冲突增加、回答质量下降，并给出检索、压缩、版本、权限、评测和监控的治理方案。
已有一百万个关键词时，如何设计输入联想推荐，支持前缀匹配、热度排序、更新、内存控制和低延迟返回？
一百万关键词的输入联想可以用 Trie/压缩 Trie/FST 或有序数组前缀检索做候选召回，再用每个前缀的 TopK 热词缓存、实时热度增量、敏感过滤和多级缓存实现低延迟、可更新、可控内存的推荐服务。
LLM 推理中 KV Cache 大小如何计算，哪些参数决定显存占用？
这题考 LLM 推理显存估算的基础功。高质量回答要给出 KV Cache 公式，说明 batch、上下文长度、层数、KV head 数、head_dim、数据类型、beam/并发和 GQA/MQA 都会影响显存，并区分权重显存、激活显存和 KV Cache 显存。
LLM 量化中 W4A16 表示什么，它在权重位宽和激活精度上有什么取舍？
这题考 LLM 量化命名和工程取舍。W4A16 表示权重 4 bit、激活 16 bit，通常属于 weight-only 或偏权重量化路线，核心收益是降低权重显存和内存带宽，核心代价是权重误差、反量化开销、kernel 适配和部分能力回归。
为什么 Attention 相关量化比普通权重量化更难，softmax、动态范围和误差放大会带来哪些问题？
这题考 Attention 量化为什么比静态权重量化更敏感。答案要围绕 Q/K/V 动态分布、QK logits、mask、softmax 指数放大、KV Cache 长期复用和误差跨层传播展开，并给出常见工程缓解策略。
OpenCL/GPU kernel 为什么要尽量减少分支，掩码写法如何影响 SIMT/SIMD 执行效率和有效吞吐？
这题考 GPU/OpenCL 高性能实现里的分支发散和掩码写法。高质量回答要说明 work-item 在 subgroup/warp/wavefront 内锁步执行，分支不一致会串行执行不同路径并屏蔽 inactive lane，从而降低有效吞吐。
短视频推荐精排模型上线时，如何在冷启动和热启动之间取舍，并评估收敛周期、资源消耗和线上风险？
这道题考察推荐精排模型上线方式选择。回答要区分冷启动全新训练和热启动继承已有模型，并围绕收敛、资源、线上风险、灰度和回滚制定方案。
在电商推荐在线 serving 链路中，如何优化精排模型推理计算，并用 RT/P99、QPS、资源成本和线上指标验证收益？
这道题考察推荐在线 serving 中精排推理优化的工程能力。回答要同时覆盖模型、特征、服务、硬件和评估，不应只说压缩模型或加机器。
大流量业务想利用 3B 模型效果但不能实时调用时，如何设计离线推理、特征/结果缓存、蒸馏或轻量模型接力方案，并验证效果、时延和成本？
这题考察大流量系统中如何利用 3B 模型效果而不让实时链路承担模型成本。核心方案是离线推理、特征或结果缓存、在线轻量模型接力、蒸馏和分层召回排序，并用效果、时延、成本、覆盖率和新鲜度验证。
设计 AI 驱动的个性化推荐系统时，如何在推荐准确性、实时性、计算成本和用户体验之间取舍？
这题考推荐系统产品经理的系统取舍能力。回答要把准确性、实时性、计算成本和用户体验放在同一个推荐链路里讨论，通过召回、粗排、精排、重排、缓存、降级和实验指标做分层决策，而不是简单说模型越准越好。
FlashAttention 为什么更适合 Prefill，Decode 阶段的瓶颈是什么，Flash Decoding 如何优化？
这题考 GPU 推理性能分析能力。好的回答要区分 Prefill 和 Decode 的计算形态：Prefill 是长 query 的大矩阵注意力，FlashAttention 能提高 IO 效率和并行度；Decode 是单 token 迭代生成，瓶颈常在 KV cache 读取、显存带宽和 SM 利用率，Flash Decoding 通过切分 KV 序列提升并行读取和长上下文吞吐。
客服 Agent 从通用 Agent 拆成 Expert Agent 后，如何设计 A/B 测试与指标归因，判断提升来自路由、Prompt 还是 Workflow，并监控是否引入泛化损失？
这题考架构改造后的实验归因能力。回答要说明如何设计 A/B 测试、拆指标、定位 Expert Agent 带来的收益，同时监控幻觉下降和泛化性损失。
Agent 系统中，如何在响应速度与推理精度之间做取舍，并验证优化效果？
这题考 Agent 运行时的质量、延迟和成本取舍。回答要讲任务分层、级联策略、早停、并行、缓存、评测集和线上指标。
Agent 推理链路中多个工具串行调用导致响应变慢时，如何优化延迟并保证结果可靠？
这题考 Agent 多工具链路性能优化。回答要覆盖依赖分析、并行化、缓存、批处理、模型调用压缩、流式反馈、降级和可靠性校验。
235B MoE 模型每 token 只激活约千分之三参数时，如何估算推理 FLOPs、显存占用、KV Cache 和吞吐瓶颈？
这题考 MoE 推理部署估算。回答要区分总参数、每 token 激活参数、权重存储、专家 FLOPs、KV Cache、专家并行通信，以及 prefill 和 decode 阶段的不同瓶颈。