公司题库

阿里巴巴面经题库第 8 页

399 道题 11 个岗位 147 个标签

分页题目

阿里巴巴相关面试题第 8 页

阿里巴巴 / 算法

连接视觉编码器和 LLM 时，Q-Former 与 LLaVA MLP Adaptor 各有什么优缺点，如何选择？

这题考多模态大模型里视觉特征到语言模型 token 空间的连接器设计。好的回答要说明二者都在解决维度对齐、语义对齐、信息压缩和训练稳定性问题，但 Q-Former 更像带可学习查询的语义压缩器，MLP projector 更像简单直接的视觉 token 映射器，选择取决于数据规模、视觉细节需求、上下文预算、延迟和冻结策略。

多模态学习 大语言模型 计算机视觉 Transformer 注意力机制 Embedding
阿里巴巴 / 算法

如何手写 Multi-Head Self-Attention，Q/K/V 投影、分头、mask 和输出拼接如何实现？

这题考 Transformer 注意力层的可实现细节。好的回答不能只背公式，而要讲清输入输出形状、Q/K/V 一次投影或三次投影、head 维度拆分、scaled dot-product attention、padding/causal mask 广播、softmax/dropout、head 合并、输出投影以及常见数值和 shape bug。

同题还出现在 1 个公司岗位

手写题 Transformer 注意力机制 大语言模型 神经网络 模型训练
阿里巴巴 / 算法

大模型推理变慢时，如何从序列长度、batch、KV Cache、量化、FlashAttention 和 GPU 资源排查？

这题考 LLM 推理性能诊断闭环。高质量回答应先定义慢在哪里，再拆分队列、prefill、decode、KV Cache、batch 调度、attention kernel、量化、GPU 利用率和服务链路，用指标定位瓶颈，而不是一上来堆优化名词。

同题还出现在 1 个公司岗位

大语言模型 大模型推理 性能排查 性能分析 KV Cache GPU
阿里巴巴 / 算法

Qwen 支持 128K 长上下文时，如何降低显存占用和注意力计算复杂度？

Qwen 这类支持 128K 长上下文的大模型，不能只靠把最大位置编码拉长来解决问题，核心挑战是注意力计算随序列长度接近平方增长、KV cache 随层数和上下文长度线性增长、训练激活和通信也会放大。常见工程组合包括 RoPE 外推或缩放、FlashAttention 类内存高效注意力、GQA/MQA 降低 KV cache、paged/quantized KV cache、chunked prefill、序列并行或 context parallel、激活重计算，以及在可接受的质量边界内使用滑窗、稀疏或分块注意力。回答时要区分降低显存峰值、降低 KV cache、降低真实计算复杂度三件事。

通义千问 大语言模型 Transformer 内存管理 性能排查 GPU
阿里巴巴 / 算法

Qwen 这类大模型做多语言支持时，数据配比、分词、对齐训练和评估应如何设计？

Qwen 这类大模型做多语言支持时，设计重点不是简单增加几种语言语料，而是要在数据配比、tokenizer 覆盖、跨语言指令对齐、偏好训练、安全策略和评估体系之间做平衡。高资源语言提供通用能力和知识密度，低资源语言需要通过采样温度、质量过滤、合成数据和翻译增强避免被淹没；tokenizer 要兼顾不同文字系统的压缩率和 byte fallback；对齐训练要避免只对中文或英文有效；评估也要覆盖语言质量、任务能力、文化语境、安全和 code-switch 等真实场景。

通义千问 大语言模型 模型训练 模型评估 质量工程
阿里巴巴 / 算法

大模型训练显存如何估算，参数、梯度、优化器状态、激活和临时缓存各占哪些部分？

大模型训练显存可以先拆成 model states、activations、temporary buffers、通信缓存和碎片/框架开销。model states 包括参数、梯度和优化器状态；以 Adam 混合精度训练为例，常见粗估是参数 bf16/fp16 2P、梯度 2P、Adam 一阶和二阶矩 fp32 8P、可选 fp32 master weights 4P，总计约 12P 到 16P bytes。除此之外，activation 随 batch、sequence length、hidden size 和层数增长，长上下文 attention 还可能带来平方项；临时缓存包括 attention workspace、GEMM workspace、logits、通信 bucket、all-gather buffer 和内存碎片。估算时要同时考虑并行策略、ZeRO 分片、activation checkpointing、精度和 micro-batch。

同题还出现在 1 个公司岗位

大语言模型 模型训练 内存管理 GPU 性能排查
阿里巴巴 / 后端开发

Agent 工具调用失败后，如何通过 trace 定位是意图识别、工具选择、参数生成还是工具服务本身的问题？

这题考的是 Agent 工具调用失败后的分层定位能力。好的回答不能只说看日志，而要把一次请求拆成意图识别、工具检索与选择、参数生成、执行前校验、工具服务调用、结果解释几个 span，并让每一层都有输入、输出、置信度、候选集、错误码、耗时和重试信息。定位时先判断用户意图是否被理解错，再看工具候选和最终选择是否合理，然后检查参数 schema、枚举、时间范围、权限上下文等是否正确，最后才归因到工具服务的网络、鉴权、超时、限流或业务错误。

计算机网络 AI Agent 可观测性 问题排查 稳定性 质量工程
阿里巴巴 / 后端开发

Agent 系统可观测性平台应记录哪些 trace，LangSmith 和 Langfuse 如何用于调试与评估？

这题考 Agent 可观测平台该记录什么，以及如何把 trace 用于调试和评估。好的回答要覆盖请求级 trace、LLM 调用、工具调用、检索、记忆、planner、guardrail、人工反馈、成本延迟和评测结果，并说明 LangSmith 与 Langfuse 都可以承载调试和评估闭环，但选型应基于技术栈、部署合规、数据治理、评测流程、成本和集成方式，而不是简单说谁更强。

AI Agent 可观测性 模型评估 质量工程 问题排查
阿里巴巴 / C/C++

TensorRT-LLM（TRT-LLM）和 vLLM 在 LLM 推理部署中有什么区别，TRT-LLM 主要靠哪些机制加速？

这题考 LLM 推理部署中的系统取舍。好的回答要把 vLLM 和 TensorRT-LLM 区分为不同工程侧重点：vLLM 更像面向在线服务的通用推理引擎和调度系统，强调 PagedAttention、连续批处理、OpenAI 兼容服务和模型接入灵活性；TensorRT-LLM 更贴近 NVIDIA GPU 上的编译优化与高性能运行时，强调 TensorRT engine、算子融合、专用 kernel、量化、KV cache、in-flight batching 和多 GPU 通信优化。不能简单说谁一定更快，要看模型、硬件、batch、延迟目标和工程成本。

性能测试 性能排查 可观测性 大模型推理 vLLM GPU
阿里巴巴 / 算法

RLHF、DPO、PPO 或 GRPO 中 reference model 起什么作用？如果不能保留完整 reference，可以用哪些替代或近似约束？

这题考的是对齐训练里 reference model 的约束本质：它不是装饰性的第二个模型，而是定义“不要偏离初始策略太远”的行为锚点。在 PPO、DPO、GRPO 等方法中，reference 通过 KL、log probability ratio 或隐式 reward 基线抑制奖励黑客、语言退化和安全边界漂移；如果不能完整保留，也要知道哪些近似能替代、哪些只能部分约束。

大语言模型 RLHF DPO 强化学习 模型训练 模型评估
阿里巴巴 / 后端开发

Agent 中 Function Call、MCP 和 Skill 的工具描述上下文占用有什么差异，如何降低 token 成本？

这道题考察对 Agent 工具接入方式和上下文成本的工程理解。好答案要区分 Function Call 是模型请求内的工具 schema，MCP 是客户端和外部工具服务器之间的协议，Skill 是把说明、脚本和资源按能力打包并按需加载的机制。回答不能简单说 MCP 一定比 Skill 大，而要说明上下文占用取决于客户端暴露了多少工具描述、schema 是否冗长、是否做动态路由和懒加载。高质量答案还应给出降低 token 成本的方法，包括工具分层、候选工具筛选、描述压缩、结果引用、prompt caching 和按任务加载。

AI Agent 大语言模型 Prompt 工程 大模型推理 系统设计
阿里巴巴 / 算法

DeepSeek-R1 的后训练流程如何从 SFT、RL 到可验证推理能力逐步构建？

这题考的是候选人是否能按公开技术报告复述 DeepSeek-R1 的后训练逻辑，而不是泛泛说“先 SFT 再 RL”。好答案要区分 DeepSeek-R1-Zero 和 DeepSeek-R1：前者直接从 base model 做大规模 RL，展示可验证推理奖励能诱导反思、验证和更长 CoT；后者用少量冷启动长 CoT 数据改善可读性和训练稳定性，再经过推理 RL、拒绝采样生成 SFT 数据、通用能力 SFT、全场景 RL，并把大模型推理模式蒸馏到小模型。边界是只描述公开论文/官方报告内容，不扩展到未公开训练细节或其它机构的具体做法。

同题还出现在 1 个公司岗位

大语言模型 强化学习 模型训练 模型评估 RLHF
阿里巴巴 / C/C++

vLLM 和 SGLang 在 LLM 推理引擎中分别解决什么问题，如何从 PagedAttention、前缀复用和请求调度角度比较？

这题考 LLM 推理引擎的系统理解，而不是问两个项目谁更快。好答案要说明 vLLM 的核心公共概念是提升 serving 吞吐和显存利用率，典型抓手包括 PagedAttention、KV cache 分页管理、continuous batching 和 prefix caching；SGLang 更强调面向复杂 LLM 应用的编程/运行时，围绕结构化生成、多轮/多调用流程、前缀复用、调度和缓存优化降低复杂请求的执行成本。比较时要从 KV 管理、前缀复用、请求调度、结构化输出、内存压力和 workload fit 讲边界，避免虚构版本特性。

大模型推理 vLLM 大语言模型 性能排查 KV Cache GPU
阿里巴巴 / C/C++

为什么 CPU 通常需要多级 Cache，而 GPU 更强调 shared memory、coalescing 和高带宽并行访存？

这题考 CPU/GPU 架构差异和访存优化思路。好答案要说明 CPU 面向低延迟、强控制流、少量复杂线程，依赖多级 Cache、分支预测和乱序执行降低单线程访存延迟；GPU 面向高吞吐、大量线程并行，用 warp 调度隐藏延迟，更强调 coalesced global memory access、shared memory 显式复用、高带宽和 occupancy。不能简单说 GPU 没有 Cache，而要说明 GPU 也有 L1/L2/纹理等缓存，只是优化重点从自动低延迟缓存转向显式数据布局和并行带宽利用。

CUDA GPU 内存管理 性能排查
阿里巴巴 / C/C++

Qwen 各代模型结构演进通常体现在哪些方面，如何从注意力结构、长上下文、多模态能力和推理效率回答？

这题考的是能否用公开模型家族演进的视角解释 Qwen 结构变化，而不是背某一代的内部参数。好的回答应按 Transformer 基座、注意力与 KV Cache、长上下文扩展、多模态接入、训练与推理效率几个维度展开，并说明这些变化分别解决吞吐、上下文长度、跨模态理解和部署成本问题。

通义千问 大语言模型 Transformer 注意力机制 大模型推理
阿里巴巴 / 后端开发

MCP 接入多个测评工具时，如果不同工具对同一问题返回格式不统一，应该如何设计统一输出协议或适配层？

这题考 MCP 多工具输出治理。多个 MCP 工具返回格式不统一时，应在工具和 Agent Runtime 之间加适配层，统一 envelope、内容块、结构化数据、错误协议、元数据、版本和审计，而不是让模型解析各类私有格式。

AI Agent 工作流 系统设计 服务治理 问题排查
阿里巴巴 / AI 应用开发

大模型 SFT 从数据构建到训练通常怎么做，SFT 之后 DPO、RLHF/PPO、RL 等 Post-Training 分别解决什么问题？

这题考察候选人是否真正理解大模型对齐训练链路，而不是只会背 SFT、DPO、RLHF 这些名词。好的回答要先讲 SFT 的数据构建、清洗、格式化、训练和评估流程，再解释 SFT 主要让模型学会按指令输出，DPO/RLHF/PPO 等 Post-Training 进一步处理偏好对齐、安全边界、复杂任务奖励和人类反馈优化。面试重点是区分每个阶段解决的问题、依赖的数据形态和带来的风险。

大语言模型 模型训练 模型微调 模型评估
阿里巴巴 / AI 应用开发

多工具 Agent 如何设计工具选择与调用调度链路，并在超时、参数错误或工具失败时做 fallback？

这题考察多工具 Agent 的工程调度能力。好的回答不能停在“让模型选择工具”，而要说明工具注册、候选召回、参数生成、权限校验、执行编排、状态记录、错误分类和 fallback 策略。面试官重点看你是否能把不稳定的 LLM 工具调用变成可观测、可恢复、可降级的业务链路。

AI Agent 工作流 稳定性 系统设计 Prompt 工程
阿里巴巴 / AI 应用开发

Agent 评估体系应该覆盖哪些维度，如何分别衡量规划能力、任务成功率和幻觉率？

这题考察 Agent 评估体系设计。好的回答要把评估拆成任务成功、规划质量、工具调用质量、事实一致性、幻觉率、安全合规、成本延迟和用户体验等维度。规划能力和幻觉率不能都靠主观打分，应该结合离线任务集、步骤级 trace、工具结果、证据对齐、人工标注和线上指标。

AI Agent 模型评估 可观测性 产品指标 稳定性