知识点标签

大模型推理面试题解析第 2 页

大模型推理相关面试题解析，按真实面经题目沉淀核心机制、易错点和面试官追问。

84 道题 6 个岗位 15 个公司

标签题目

大模型推理相关面试题第 2 页

阿里巴巴 / 算法

大模型推理变慢时，如何从序列长度、batch、KV Cache、量化、FlashAttention 和 GPU 资源排查？

这题考 LLM 推理性能诊断闭环。高质量回答应先定义慢在哪里，再拆分队列、prefill、decode、KV Cache、batch 调度、attention kernel、量化、GPU 利用率和服务链路，用指标定位瓶颈，而不是一上来堆优化名词。

同题还出现在 1 个公司岗位

大语言模型 大模型推理 性能排查 性能分析 KV Cache GPU
腾讯 / 算法

长上下文推理中 KV Cache 为什么可能被污染，如何做缓存隔离、清理和复用边界控制？

这题考的是大模型推理缓存的正确性与安全边界：KV Cache 本身是某个模型、某段 token、某套位置编码和注意力 mask 下的中间状态；一旦跨请求、跨会话、跨租户、跨模板版本或跨可变上下文错误复用，就可能产生答案串扰、隐私泄漏、事实陈旧或位置错乱。

计算机网络 大语言模型 大模型推理 KV Cache 内存管理 稳定性
阿里巴巴 / C/C++

TensorRT-LLM（TRT-LLM）和 vLLM 在 LLM 推理部署中有什么区别，TRT-LLM 主要靠哪些机制加速？

这题考 LLM 推理部署中的系统取舍。好的回答要把 vLLM 和 TensorRT-LLM 区分为不同工程侧重点：vLLM 更像面向在线服务的通用推理引擎和调度系统，强调 PagedAttention、连续批处理、OpenAI 兼容服务和模型接入灵活性；TensorRT-LLM 更贴近 NVIDIA GPU 上的编译优化与高性能运行时，强调 TensorRT engine、算子融合、专用 kernel、量化、KV cache、in-flight batching 和多 GPU 通信优化。不能简单说谁一定更快，要看模型、硬件、batch、延迟目标和工程成本。

性能测试 性能排查 可观测性 大模型推理 vLLM GPU
快手 / 算法

LLM 推理中做 KV Cache sparse 计算时，vLLM/Triton 实现为什么可能选择稀疏索引或稀疏块，而不是直接用 dense mask？

这题考的是稀疏注意力在推理引擎里的真实性能取舍。dense mask 在数学上能表达稀疏模式，但计算和访存仍接近 dense attention；而稀疏索引或稀疏块能让 kernel 只读取和计算被选中的 KV cache，从而节省显存带宽、减少无效 FLOPs，并更适合 vLLM 这类分页 KV 和 Triton 块级并行实现。

大语言模型 大模型推理 vLLM KV Cache CUDA GPU
快手 / 算法

SmoothQuant 为什么要做 activation/weight 平滑？平滑参数如何设定，用激活分布判断模型是否适合时应关注 input channel 还是 output channel？

这道题考察对 SmoothQuant 的核心动机、等价变换和校准维度的理解。回答时要先说明 LLM 的激活 outlier 会让 INT8 activation 量化特别困难，而 SmoothQuant 通过按输入通道缩放，把一部分动态范围压力从 activation 平滑地迁移到 weight 上，从而让 W8A8 推理更稳定。关键点不是笼统地说做归一化，而是说明缩放不改变浮点计算语义、参数需要用校准集和逐层误差选择，并明确判断激活分布时主要看线性层的 input channel 维度。

大语言模型 大模型推理 模型训练 模型评估 GPU 性能排查
快手 / 算法

AWQ 和 GPTQ 的量化原理有什么区别？在 LLM 推理部署中它们各自适合什么取舍？

这道题要求区分 AWQ 和 GPTQ 都是大模型后训练量化方法，但优化目标和工程取舍不同。GPTQ 更像基于二阶近似的逐块权重量化误差补偿，利用校准激活构造 Hessian 近似来最小化层输出重构误差；AWQ 则强调 activation-aware 的显著权重保护，通过观察激活通道重要性和缩放搜索减少关键通道误差。好的回答要能讲清原理差异、校准成本、精度与速度、kernel 适配、以及在 LLM 推理部署中的选择标准。

大语言模型 大模型推理 模型评估 GPU 性能排查
阿里巴巴 / 后端开发

Agent 中 Function Call、MCP 和 Skill 的工具描述上下文占用有什么差异，如何降低 token 成本？

这道题考察对 Agent 工具接入方式和上下文成本的工程理解。好答案要区分 Function Call 是模型请求内的工具 schema，MCP 是客户端和外部工具服务器之间的协议，Skill 是把说明、脚本和资源按能力打包并按需加载的机制。回答不能简单说 MCP 一定比 Skill 大，而要说明上下文占用取决于客户端暴露了多少工具描述、schema 是否冗长、是否做动态路由和懒加载。高质量答案还应给出降低 token 成本的方法，包括工具分层、候选工具筛选、描述压缩、结果引用、prompt caching 和按任务加载。

AI Agent 大语言模型 Prompt 工程 大模型推理 系统设计
美团 / C/C++

CUDA 算子优化后如何做公平 benchmark，排除硬件和精度差异，并证明性能提升真实有效？

这题考 CUDA 算子优化后的性能证明能力。好答案要建立公平 benchmark：固定硬件、驱动、CUDA/cuDNN/cuBLAS 版本、dtype、shape、batch、warmup、stream、同步点和统计方法；排除异步计时、首次编译、温度降频、不同 GPU 架构和精度算力差异；再用 Nsight/NCU 证明瓶颈从访存、计算、occupancy、launch 或同步角度确实改善，并用精度回归和端到端指标证明收益真实。

CUDA GPU 性能排查 性能分析 大模型推理
阿里巴巴 / C/C++

vLLM 和 SGLang 在 LLM 推理引擎中分别解决什么问题，如何从 PagedAttention、前缀复用和请求调度角度比较？

这题考 LLM 推理引擎的系统理解，而不是问两个项目谁更快。好答案要说明 vLLM 的核心公共概念是提升 serving 吞吐和显存利用率，典型抓手包括 PagedAttention、KV cache 分页管理、continuous batching 和 prefix caching；SGLang 更强调面向复杂 LLM 应用的编程/运行时，围绕结构化生成、多轮/多调用流程、前缀复用、调度和缓存优化降低复杂请求的执行成本。比较时要从 KV 管理、前缀复用、请求调度、结构化输出、内存压力和 workload fit 讲边界，避免虚构版本特性。

大模型推理 vLLM 大语言模型 性能排查 KV Cache GPU
阿里巴巴 / C/C++

Qwen 各代模型结构演进通常体现在哪些方面，如何从注意力结构、长上下文、多模态能力和推理效率回答？

这题考的是能否用公开模型家族演进的视角解释 Qwen 结构变化，而不是背某一代的内部参数。好的回答应按 Transformer 基座、注意力与 KV Cache、长上下文扩展、多模态接入、训练与推理效率几个维度展开，并说明这些变化分别解决吞吐、上下文长度、跨模态理解和部署成本问题。

通义千问 大语言模型 Transformer 注意力机制 大模型推理
快手 / C/C++

大模型后训练投入成本如何决策，怎样用效果收益、训练成本、推理成本和风险指标做取舍？

这题考的是大模型后训练的工程 ROI 判断。好答案不能只说效果好就继续训，而要把收益、训练成本、推理成本、数据和安全风险放到同一张决策表里，用离线评测、线上指标、成本模型和风险阈值决定做 SFT、DPO/RL、数据修复、提示词优化、RAG、蒸馏还是不做。

大语言模型 模型训练 模型评估 大模型推理 性能排查
美团 / 产品

什么业务适合用大模型，什么业务更适合用小模型，如何按复杂度、成本、延迟和风险做选型？

大模型和小模型选型不是按技术先进程度决定，而是按任务复杂度、开放性、质量收益、成本延迟和风险等级综合判断。复杂生成、多轮推理、开放问答适合大模型；标准分类、固定规则、高频低价值、低延迟任务更适合小模型、规则或传统算法。

AI 产品 大语言模型 大模型推理 模型评估 产品管理
金山办公 / 算法

LoRA 和 Adapter 在微调机制、参数插入位置和推理阶段开销上有什么区别？

这道题考察参数高效微调的结构理解，而不是只背 LoRA 和 Adapter 都是 PEFT。好的回答要先说明二者都冻结大部分基座模型、只训练少量新增参数；再区分 LoRA 是给已有线性层增加低秩权重增量，Adapter 是在 Transformer block 中插入小型瓶颈模块；最后落到推理开销：LoRA 可合并进原权重，单任务部署几乎无额外算子，Adapter 通常保留额外前向路径，会增加延迟、显存和 serving 复杂度。

大语言模型 模型微调 模型训练 大模型推理
摩尔线程 / 算法

LLaMA 2 中的 GQA 是什么，它如何减少 KV heads、降低 KV Cache 和带宽开销，并影响训练与推理效率？

这道题考察 GQA 的注意力结构和 KV Cache 推理瓶颈。回答要先把 MHA、MQA、GQA 放在一条线上：MHA 每个 query head 有自己的 K/V head，MQA 所有 query head 共用一组 K/V，GQA 则让一组 query heads 共用一个 K/V head。它减少的是 KV heads 数量，从而降低 K/V projection 输出、KV Cache 存储、decode 阶段缓存读取带宽和跨卡通信压力。关键是不要把 GQA 只说成训练加速；它对长上下文自回归推理的内存带宽收益更直接，同时在质量和效率之间比 MQA 更折中。

大语言模型 Transformer 注意力机制 KV Cache 大模型推理
阿里巴巴 / 算法

如何将已有 MHA 大模型改造成 GQA？KV Head 权重合并初始化和继续训练分别解决什么问题？

这题考察的不是“GQA 是什么”这一层概念，而是如何把一个已经训练好的 MHA checkpoint 工程化迁移成 GQA，并解释初始化和继续训练各自承担的职责。核心答案应先说明结构变化：MHA 中每个 Query Head 通常有独立的 K/V Head，而 GQA 把多个 Query Head 分成一组，共享同一组 K/V 投影，从而减少 KV Cache、显存带宽和解码阶段访存。迁移时不能随机初始化 K/V，否则模型等于突然丢失大量注意力记忆能力；因此通常用 KV Head 合并做 warm start，例如按组平均、加权平均、选择代表头或用聚类合并 K/V 权重。这个初始化解决“结构对齐和功能尽量连续”的问题；继续训练或 uptraining 解决“合并带来的表达能力损失、注意力分布偏移和层间统计不匹配”的问题。高质量回答还要补充训练数据配比、学习率、冻结策略、评估指标和推理收益验证。

大语言模型 Transformer 注意力机制 KV Cache 大模型推理
美团 / 算法

LLM 解码中的 top-k 和 top-p 采样分别如何实现，如何影响多样性、复读和生成稳定性？

这题考的是候选人是否真正理解生成式解码，而不是只会背 top-k、top-p 名词。来源只支持“美团 Agent 算法面试中问到 topk/topp 实现原理”，因此回答应聚焦通用 LLM 推理机制，不扩展成任何美团内部解码策略。高质量回答要讲清 logits 处理、候选集合截断、概率重归一化、随机采样，以及这些参数如何改变尾部 token 风险、多样性、复读和事实稳定性。

大语言模型 大模型推理 TopK 模型评估
字节跳动 / 算法

大流量业务想利用 3B 模型效果但不能实时调用时，如何设计离线推理、特征/结果缓存、蒸馏或轻量模型接力方案，并验证效果、时延和成本？

这题考察大流量系统中如何利用 3B 模型效果而不让实时链路承担模型成本。核心方案是离线推理、特征或结果缓存、在线轻量模型接力、蒸馏和分层召回排序，并用效果、时延、成本、覆盖率和新鲜度验证。

大语言模型 大模型推理 性能排查 模型评估 可扩展性
百度 / C/C++

FlashAttention 为什么更适合 Prefill，Decode 阶段的瓶颈是什么，Flash Decoding 如何优化？

这题考 GPU 推理性能分析能力。好的回答要区分 Prefill 和 Decode 的计算形态：Prefill 是长 query 的大矩阵注意力，FlashAttention 能提高 IO 效率和并行度；Decode 是单 token 迭代生成，瓶颈常在 KV cache 读取、显存带宽和 SM 利用率，Flash Decoding 通过切分 KV 序列提升并行读取和长上下文吞吐。

大语言模型 大模型推理 注意力机制 CUDA GPU 性能排查