分页解析
第 25 页面试题
筛选题目 公司、岗位、知识点
公司
公司岗位
岗位
标签
如何手写 Multi-Head Self-Attention，Q/K/V 投影、分头、mask 和输出拼接如何实现？
这题考 Transformer 注意力层的可实现细节。好的回答不能只背公式，而要讲清输入输出形状、Q/K/V 一次投影或三次投影、head 维度拆分、scaled dot-product attention、padding/causal mask 广播、softmax/dropout、head 合并、输出投影以及常见数值和 shape bug。
同题还出现在 1 个公司岗位
大模型推理变慢时，如何从序列长度、batch、KV Cache、量化、FlashAttention 和 GPU 资源排查？
这题考 LLM 推理性能诊断闭环。高质量回答应先定义慢在哪里，再拆分队列、prefill、decode、KV Cache、batch 调度、attention kernel、量化、GPU 利用率和服务链路，用指标定位瓶颈，而不是一上来堆优化名词。
同题还出现在 1 个公司岗位
MCP、Function Call 和 A2A 在 Agent 系统中分别解决什么边界，如何协同？
这题考 Agent 系统的协议和责任边界。Function Call 解决模型到宿主工具调用意图的结构化表达，MCP 解决宿主和外部工具/资源服务之间的标准化连接，A2A 解决 Agent 与 Agent 之间的任务委托和协作。三者层级不同，不能混成同一个概念。
RAG 为什么要引入父子索引，如何兼顾小粒度召回和大粒度上下文回填？
这题考的是 RAG 检索粒度设计：小 chunk 更容易被向量或关键词召回命中，但单独放进上下文时可能缺少标题、章节、定义、前提和表格上下文；父子索引用子块做高精度召回，用父文档或父章节做证据回填，从而兼顾召回命中率、答案可读性和上下文预算。
RAG 检索中为什么要混合 BM25 和向量召回，融合权重或比例如何设置和评估？
这题考 sparse+dense hybrid retrieval 的工程判断：BM25 擅长精确词项、专名、数字、错误码和短查询，向量召回擅长语义相近、同义表达和自然语言问题。融合比例不是拍脑袋固定值，而要根据 query 类型、离线指标、线上反馈、延迟成本和 badcase 分布动态调优。
同题还出现在 1 个公司岗位
RAG rerank 后 TopK 与上下文长度预算如何选择，过短或过长时怎么处理？
这题考的是 rerank 之后的证据选择策略：TopK 不是固定返回几个 chunk，而是在相关性、证据覆盖、去重多样性、父子扩展、token 预算、模型长上下文能力、延迟成本和拒答策略之间做动态取舍。
长上下文推理中 KV Cache 为什么可能被污染，如何做缓存隔离、清理和复用边界控制？
这题考的是大模型推理缓存的正确性与安全边界：KV Cache 本身是某个模型、某段 token、某套位置编码和注意力 mask 下的中间状态；一旦跨请求、跨会话、跨租户、跨模板版本或跨可变上下文错误复用，就可能产生答案串扰、隐私泄漏、事实陈旧或位置错乱。
RAG 中检索文档正确但生成答案错误时，如何定位 Prompt、上下文组织、模型推理和后处理问题？
这题考的是 RAG badcase 的责任拆解：当正确证据已经被检索到，问题就不再主要是召回率，而要检查证据是否进入 prompt、是否被截断或排序淹没、指令是否约束模型使用证据、模型是否误读冲突信息、解码是否不稳定，以及后处理是否改坏答案。
RAG 需要跨多个文档综合回答时，如何做多跳召回、证据合并和冲突处理？
这题考的是多文档 RAG 的端到端设计能力：不能只说把更多 chunk 塞进上下文，而要能讲清问题拆解、多路召回、证据覆盖、去重合并、冲突处理、带引用生成和评估闭环。
Transformer 推理阶段为什么 KV Cache 只缓存 K 和 V，而通常不缓存当前步的 Q？
这题考的是自回归推理中 attention 计算复用的本质：历史 token 的 K/V 会在未来每一步被反复访问，而 Q 只属于当前查询 token，用完即可丢弃，所以缓存 K/V 能省重复计算，缓存 Q 通常没有收益。
Instruction Tuning 多轮对话训练中 loss mask 应如何设计，哪些 token 应参与损失？
这题考的是多轮 SFT 的 token 级训练目标设计：候选人要能说明 system/user/padding 通常不算 loss，assistant 答案 token 通常算 loss，并进一步讲清多轮全部 assistant turn、last-turn-only、label shift、packing 边界和模板一致性。
模型对齐后变得过于保守、经常拒答时，如何调整偏好数据、拒答策略和安全阈值？
这题考的是对齐训练中的 helpfulness 与 harmlessness 校准能力：候选人要能把过度拒答拆成数据标签、偏好目标、reward/judge 偏置、安全分类阈值和线上策略问题，并给出训练与评估闭环。
Transformer 中 Pre-Norm 和 Post-Norm 有什么区别，为什么会影响深层模型训练稳定性？
这题考的是 Transformer 残差块里 LayerNorm 放置位置对梯度流和深层训练的影响：Pre-Norm 更利于深层稳定训练，Post-Norm 表达形式经典但更依赖 warmup、初始化和训练技巧，二者还有最终性能与稳定性的取舍。
同题还出现在 1 个公司岗位
视觉 Transformer 处理非均匀采样 3D 点云时，Patch Embedding 应如何改进？
这题考的是把 2D ViT 的 Patch Embedding 思路迁移到 3D 点云时，如何处理点云无序、非均匀密度、局部几何和变长邻域。好的回答不能只说把点云分块后送 Transformer，而要讲清采样中心、邻域构造、密度归一、局部聚合、3D 位置编码和多尺度鲁棒性。
MoE 路由中 Top-K Routing、负载均衡损失和 capacity factor 分别解决什么问题？
这题考 MoE 路由机制的核心部件：Top-K Routing 决定每个 token 激活哪些专家，负载均衡损失避免专家塌缩和热点，capacity factor 控制每个专家可接收 token 的上限。回答要把模型质量、稀疏计算、通信成本和工程稳定性连起来。
Agent 微调中如何选择和清洗训练样本，哪些样本质量问题最容易改变模型行为？
这题考 Agent 微调数据的样本选择与清洗能力。与普通 SFT 不同，Agent 样本不仅有问答文本，还包含意图、计划、工具选择、参数、工具结果、状态变化、安全边界和最终回复。回答要说明哪些样本值得训练、哪些噪声会改变模型行为，以及如何用指标验证。
同题还出现在 1 个公司岗位
从用户行为日志抽取 Agent 训练对话时，如何做归一化和事件抽象？
这题考从用户行为日志构造 Agent 训练对话的能力。关键不是把日志拼成聊天记录，而是做会话切分、事件抽象、状态归一、隐私脱敏、目标推断、轨迹标注和质量过滤，让低层行为事件变成可训练、可审计、可评估的 Agent 对话样本。
RAG 检索召回无关内容时，如何从 query rewrite、混合检索、rerank、过滤和拒答机制处理？
这题考察候选人能否把 RAG 无关召回拆成可诊断、可治理、可评估的检索链路问题，而不是只说调提示词或换模型。
同题还出现在 1 个公司岗位
在 LLM 推理算子中，什么时候应使用 CUDA Core，什么时候应使用 Tensor Core？
这题考察 GPU 架构理解和算子选型能力，核心不是背概念，而是能按算子形态、数据类型、规模、访存和精度做工程判断。
Spring AI Alibaba Graph 的底层原理是什么，图式编排如何表达 Agent 节点、状态流转、条件分支和工具调用？
这题考察对图式 Agent 编排的理解，重点是状态、节点、边、条件路由、工具调用、失败处理和可测试性，而不是背某个版本的 API。
PPO clip 在 advantage 为正或为负时分别限制什么，为什么这样能稳定策略更新？
这题考 PPO clipped surrogate objective 的符号细节。好的回答要能从 r(theta)=pi_new(a|s)/pi_old(a|s) 和 advantage A 的正负出发说明：A 为正时，这个动作比预期好，PPO 限制新策略把它概率提高得过多，也就是限制 ratio 的上界；A 为负时，这个动作比预期差，PPO 限制新策略把它概率降低得过多，也就是限制 ratio 的下界。这样用保守目标抑制单步策略漂移，从而提升训练稳定性。
LoRA 微调通常插入哪些层，epoch、learning_rate 等常用训练参数如何设置？
这题考 LoRA 微调的工程落点：适配器插到哪些线性层，常用 rank、alpha、dropout、epoch、learning_rate、batch 和 scheduler 如何取舍。好的回答不能只说冻结原模型、训练低秩矩阵，而要能根据任务类型、数据规模、显存预算和过拟合风险解释从 q/v 到 attention+MLP 的 target module 选择，以及为什么 LoRA 学习率通常比全参微调更高但仍需验证集约束。
训练中把 loss 除以 10 和把学习率除以 10 有什么区别？
这题考优化器细节：把 loss 除以 10 会先把反向传播得到的梯度缩小 10 倍；把学习率除以 10 是在优化器更新参数时缩小 step size。二者在最简单的无动量 SGD、无正则、无裁剪场景下近似等价，但在 Adam/AdamW、动量、weight decay、gradient clipping、混合精度、多任务 loss、分布式梯度累积等真实训练中会产生明显差异。
Qwen 这类大模型中的 SwiGLU 激活函数有什么作用，相比传统 FFN 激活函数有哪些优势？
这题考的是候选人是否理解现代 Transformer 前馈网络里的门控激活机制：SwiGLU 不是一个简单替换 GELU 的名字，而是通过 gate/value 两路投影和逐元素乘法提升 FFN 的表达能力与训练效果。
同公司岗位有 2 条面经记录
Qwen 这类大模型训练中，混合精度训练如何实现，为什么能提升吞吐并降低显存？
这题考的是大模型训练数值与系统效率的结合：混合精度不是简单把所有张量改成 FP16，而是在前向、反向、梯度、权重、优化器状态和通信之间选择合适精度来兼顾吞吐、显存和稳定性。
Qwen 这类大模型如何设计安全策略，减少有害内容和偏见输出？
这题考的是大模型安全治理的系统观：减少有害内容和偏见输出不能只靠一句安全提示词，而要把政策定义、数据治理、对齐训练、运行时护栏、红队评测和线上反馈做成闭环。
大模型训练中的 3D 并行和 DeepSpeed 分别解决什么问题，如何组合使用？
这题考的是大模型训练系统的分解能力：3D 并行解决模型和计算如何切到多卡上，DeepSpeed 提供 ZeRO、混合精度、checkpoint、offload 和并行编排等工程能力，两者可以组合但不是同一个概念。
大模型后训练中，PPO 为什么通常被视为 on-policy，importance sampling 起什么作用？
PPO 通常被视为 on-policy，是因为它的训练样本来自当前或刚刚冻结的行为策略，更新只在这批新 rollout 附近做有限幅度的策略改进，而不是长期复用任意历史策略产生的数据。importance sampling 在 PPO 中主要通过新旧策略概率比修正采样策略和待优化策略之间的小偏差，使我们能用旧策略采到的样本估计新策略目标；但由于只修正动作概率、对状态分布偏移和大幅策略漂移无能为力，所以它不能把 PPO 变成真正意义上的通用 off-policy 算法。
Qwen 支持 128K 长上下文时，如何降低显存占用和注意力计算复杂度？
Qwen 这类支持 128K 长上下文的大模型，不能只靠把最大位置编码拉长来解决问题，核心挑战是注意力计算随序列长度接近平方增长、KV cache 随层数和上下文长度线性增长、训练激活和通信也会放大。常见工程组合包括 RoPE 外推或缩放、FlashAttention 类内存高效注意力、GQA/MQA 降低 KV cache、paged/quantized KV cache、chunked prefill、序列并行或 context parallel、激活重计算，以及在可接受的质量边界内使用滑窗、稀疏或分块注意力。回答时要区分降低显存峰值、降低 KV cache、降低真实计算复杂度三件事。
Qwen 这类大模型做多语言支持时，数据配比、分词、对齐训练和评估应如何设计？
Qwen 这类大模型做多语言支持时，设计重点不是简单增加几种语言语料，而是要在数据配比、tokenizer 覆盖、跨语言指令对齐、偏好训练、安全策略和评估体系之间做平衡。高资源语言提供通用能力和知识密度，低资源语言需要通过采样温度、质量过滤、合成数据和翻译增强避免被淹没；tokenizer 要兼顾不同文字系统的压缩率和 byte fallback；对齐训练要避免只对中文或英文有效；评估也要覆盖语言质量、任务能力、文化语境、安全和 code-switch 等真实场景。
大模型训练显存如何估算，参数、梯度、优化器状态、激活和临时缓存各占哪些部分？
大模型训练显存可以先拆成 model states、activations、temporary buffers、通信缓存和碎片/框架开销。model states 包括参数、梯度和优化器状态；以 Adam 混合精度训练为例，常见粗估是参数 bf16/fp16 2P、梯度 2P、Adam 一阶和二阶矩 fp32 8P、可选 fp32 master weights 4P，总计约 12P 到 16P bytes。除此之外，activation 随 batch、sequence length、hidden size 和层数增长，长上下文 attention 还可能带来平方项；临时缓存包括 attention workspace、GEMM workspace、logits、通信 bucket、all-gather buffer 和内存碎片。估算时要同时考虑并行策略、ZeRO 分片、activation checkpointing、精度和 micro-batch。
同题还出现在 1 个公司岗位
生产级 RAG 的数据解析与入库流水线如何设计，如何处理 PDF、DOCX、表格、图片和多格式文档？
生产级 RAG 的数据解析与入库流水线应从文件接入、格式识别、内容解析、结构保留、规范化切分、embedding、索引落库、权限和质量监控全链路设计。PDF、DOCX、表格、图片、Markdown、TXT 和富文本的解析策略不同：PDF 要区分数字文本和扫描件，DOCX 要保留标题层级和表格，表格要理解 sheet、表头和单元格关系，图片要 OCR 或生成视觉描述，多格式文档要保留统一的 document、section、chunk 和 asset 元数据。入库侧要支持幂等、版本、增量更新、失败重试、死信队列、ACL 过滤、向量库和关键词索引协同，以及可回溯的解析证据。
RAG 处理大表格时，如何切块、限流和错峰，避免索引写入与消息队列被压垮？
这题考的是候选人能否把大表格 RAG 从“把每一行都扔进 embedding 和向量库”升级为可控的数据管道：先减少无效 chunk，再用限流、批量、队列削峰、错峰调度和可观测性保护索引系统与消息队列。
RAG 中 query rewrite、HyDE 和 RRF 分别解决什么问题，如何接入混合检索链路？
这题考的是候选人是否能区分 query rewrite、HyDE 和 RRF 在混合检索中的职责：rewrite 改善查询表达，HyDE 用假设答案拉近语义空间，RRF 融合多路召回结果，它们分别作用在召回前、向量查询构造和多路结果融合阶段。
GraphRAG 中 local、global、混合检索和社区检索分别如何工作，适合什么问题？
这题考的是候选人是否理解 GraphRAG 不是单一检索方法，而是一组利用实体、关系、社区和文本证据组织上下文的策略：local 偏实体邻域，global 偏全局主题，社区检索偏聚合摘要，混合检索负责把图和文本召回结合起来。
ReAct 的思考-行动-观察循环如何驱动 Agent 工具调用，和普通 CoT 有什么区别？
这题考的是候选人是否理解 ReAct 把模型推理和外部行动交织起来：模型不是一次性输出答案，而是在思考、选择工具、观察结果、继续推理的闭环中逐步完成任务；它和普通 CoT 的关键区别是能通过工具调用改变外部状态并用真实观察修正推理。
RAG 中如何评估 Rerank 的有效性，应该看哪些离线指标和线上指标？
这题考的是候选人能否把 rerank 评估从“看排序模型分数高不高”讲成完整闭环：离线看相关性排序和证据覆盖，线上看答案质量、用户行为、延迟成本和系统稳定性，并注意 rerank 可能改善排序但损害整体 RAG 体验。
Agent 工具调用失败后，如何通过 trace 定位是意图识别、工具选择、参数生成还是工具服务本身的问题？
这题考的是 Agent 工具调用失败后的分层定位能力。好的回答不能只说看日志，而要把一次请求拆成意图识别、工具检索与选择、参数生成、执行前校验、工具服务调用、结果解释几个 span，并让每一层都有输入、输出、置信度、候选集、错误码、耗时和重试信息。定位时先判断用户意图是否被理解错，再看工具候选和最终选择是否合理，然后检查参数 schema、枚举、时间范围、权限上下文等是否正确，最后才归因到工具服务的网络、鉴权、超时、限流或业务错误。
Agent 系统可观测性平台应记录哪些 trace，LangSmith 和 Langfuse 如何用于调试与评估？
这题考 Agent 可观测平台该记录什么，以及如何把 trace 用于调试和评估。好的回答要覆盖请求级 trace、LLM 调用、工具调用、检索、记忆、planner、guardrail、人工反馈、成本延迟和评测结果，并说明 LangSmith 与 Langfuse 都可以承载调试和评估闭环，但选型应基于技术栈、部署合规、数据治理、评测流程、成本和集成方式，而不是简单说谁更强。
多模态模型中跨模态注意力机制如何设计，如何举例说明不同模态 token 的对齐和融合？
这题考多模态 Transformer 中跨模态注意力的设计能力。好的回答要讲清楚不同模态 token 如何产生、如何注入位置和类型信息、如何做 cross-attention 或 co-attention、如何处理长度差异和噪声、如何训练对齐，并用图文例子说明文字 token 通过 query 关注图像 patch 或 object token，从而把语义、空间位置和细粒度属性融合起来。
文生图模型的核心框架如何设计，文本编码器、生成主干和图像解码器如何协同？
这题考文生图模型的整体框架理解。好的回答要讲清楚文本编码器把 prompt 变成条件表示，生成主干通常在像素或 latent 空间逐步生成图像，图像解码器把 latent 还原为像素；同时要说明 cross-attention、扩散噪声预测、时间步条件、classifier-free guidance、VAE 编解码、训练损失和推理采样如何协同。
TensorRT-LLM（TRT-LLM）和 vLLM 在 LLM 推理部署中有什么区别，TRT-LLM 主要靠哪些机制加速？
这题考 LLM 推理部署中的系统取舍。好的回答要把 vLLM 和 TensorRT-LLM 区分为不同工程侧重点：vLLM 更像面向在线服务的通用推理引擎和调度系统，强调 PagedAttention、连续批处理、OpenAI 兼容服务和模型接入灵活性；TensorRT-LLM 更贴近 NVIDIA GPU 上的编译优化与高性能运行时，强调 TensorRT engine、算子融合、专用 kernel、量化、KV cache、in-flight batching 和多 GPU 通信优化。不能简单说谁一定更快，要看模型、硬件、batch、延迟目标和工程成本。
LLM 推理引擎中 GPU 内存管理机制应如何设计，如何管理 KV Cache、显存碎片、并发 batch 和 OOM 降级？
这题考的是推理引擎的显存资源治理能力：不能只会调用 CUDA malloc，而要能把 KV Cache、临时 workspace、权重、并发请求、碎片控制和 OOM 降级统一成可预测、可观测、可调度的内存系统。
大模型推理时出现 OOM，如何从 batch、输入长度、KV Cache、临时张量峰值和算子实现排查？
这题考推理 OOM 的系统化排障能力：要能把显存占用拆成权重、KV Cache、prefill 临时峰值、decode 并发、算子 workspace 和碎片，并用可复现实验逐步定位，而不是一句降低 batch size。
大模型训练中的 MFU 指标是什么，如何结合 Nsight/Profiler 定位吞吐瓶颈？
这题考训练性能分析能力：MFU 是把实际训练吞吐折算成模型有效 FLOPs 后，与 GPU 理论峰值比较的利用率指标；定位瓶颈要把 MFU、step time、kernel 时间线、通信、数据加载和显存行为一起看。
模型做 W4A8 量化或模型迁移后，如何验证激活值、梯度和权重是否正确，并用校准数据控制误差？
这题考量化和迁移后的数值正确性验证：要能从权重映射、激活分布、梯度流、逐层误差、校准集覆盖和端到端指标几层建立质量闭环，而不是只跑一遍精度评测。
图纸类视觉内容没有文本描述时，如何依托视觉特征、多模态 Embedding 和向量检索实现精准召回？
这题考无文本图纸检索系统设计：要能从图纸预处理、视觉和多模态 embedding、向量索引、混合召回、重排、评估和工程更新链路讲清楚如何提高精准召回。
RAG 中既然向量检索已经计算相似度，为什么还需要 Cross-Encoder 重排？
这道题考察 RAG 检索链路中双塔向量召回和 Cross-Encoder 重排的职责边界。好的回答要说明向量检索适合在大规模语料上做低成本粗召回，但它把 query 和文档分别编码，主要比较全局语义相似度，难以精细判断短语匹配、否定关系、字段约束、时效和答案可用性。Cross-Encoder 把 query 与候选片段一起输入模型，可以做 token 级交互和上下文相关判断，因此通常用于小候选集精排。回答还应覆盖成本、延迟、候选规模、失败模式、评估指标和何时不需要重排。