公司岗位题库

阿里巴巴 算法面经第 3 页

130 道题 70 个标签 137 条出现记录

分页题目

算法工程师相关题目第 3 页

阿里巴巴 / 算法

连接视觉编码器和 LLM 时，Q-Former 与 LLaVA MLP Adaptor 各有什么优缺点，如何选择？

这题考多模态大模型里视觉特征到语言模型 token 空间的连接器设计。好的回答要说明二者都在解决维度对齐、语义对齐、信息压缩和训练稳定性问题，但 Q-Former 更像带可学习查询的语义压缩器，MLP projector 更像简单直接的视觉 token 映射器，选择取决于数据规模、视觉细节需求、上下文预算、延迟和冻结策略。

多模态学习 大语言模型 计算机视觉 Transformer 注意力机制 Embedding
阿里巴巴 / 算法

如何手写 Multi-Head Self-Attention，Q/K/V 投影、分头、mask 和输出拼接如何实现？

这题考 Transformer 注意力层的可实现细节。好的回答不能只背公式，而要讲清输入输出形状、Q/K/V 一次投影或三次投影、head 维度拆分、scaled dot-product attention、padding/causal mask 广播、softmax/dropout、head 合并、输出投影以及常见数值和 shape bug。

同题还出现在 1 个公司岗位

手写题 Transformer 注意力机制 大语言模型 神经网络 模型训练
阿里巴巴 / 算法

大模型推理变慢时，如何从序列长度、batch、KV Cache、量化、FlashAttention 和 GPU 资源排查？

这题考 LLM 推理性能诊断闭环。高质量回答应先定义慢在哪里，再拆分队列、prefill、decode、KV Cache、batch 调度、attention kernel、量化、GPU 利用率和服务链路，用指标定位瓶颈，而不是一上来堆优化名词。

同题还出现在 1 个公司岗位

大语言模型 大模型推理 性能排查 性能分析 KV Cache GPU
阿里巴巴 / 算法

Qwen 支持 128K 长上下文时，如何降低显存占用和注意力计算复杂度？

Qwen 这类支持 128K 长上下文的大模型，不能只靠把最大位置编码拉长来解决问题，核心挑战是注意力计算随序列长度接近平方增长、KV cache 随层数和上下文长度线性增长、训练激活和通信也会放大。常见工程组合包括 RoPE 外推或缩放、FlashAttention 类内存高效注意力、GQA/MQA 降低 KV cache、paged/quantized KV cache、chunked prefill、序列并行或 context parallel、激活重计算，以及在可接受的质量边界内使用滑窗、稀疏或分块注意力。回答时要区分降低显存峰值、降低 KV cache、降低真实计算复杂度三件事。

通义千问 大语言模型 Transformer 内存管理 性能排查 GPU
阿里巴巴 / 算法

Qwen 这类大模型做多语言支持时，数据配比、分词、对齐训练和评估应如何设计？

Qwen 这类大模型做多语言支持时，设计重点不是简单增加几种语言语料，而是要在数据配比、tokenizer 覆盖、跨语言指令对齐、偏好训练、安全策略和评估体系之间做平衡。高资源语言提供通用能力和知识密度，低资源语言需要通过采样温度、质量过滤、合成数据和翻译增强避免被淹没；tokenizer 要兼顾不同文字系统的压缩率和 byte fallback；对齐训练要避免只对中文或英文有效；评估也要覆盖语言质量、任务能力、文化语境、安全和 code-switch 等真实场景。

通义千问 大语言模型 模型训练 模型评估 质量工程
阿里巴巴 / 算法

大模型训练显存如何估算，参数、梯度、优化器状态、激活和临时缓存各占哪些部分？

大模型训练显存可以先拆成 model states、activations、temporary buffers、通信缓存和碎片/框架开销。model states 包括参数、梯度和优化器状态；以 Adam 混合精度训练为例，常见粗估是参数 bf16/fp16 2P、梯度 2P、Adam 一阶和二阶矩 fp32 8P、可选 fp32 master weights 4P，总计约 12P 到 16P bytes。除此之外，activation 随 batch、sequence length、hidden size 和层数增长，长上下文 attention 还可能带来平方项；临时缓存包括 attention workspace、GEMM workspace、logits、通信 bucket、all-gather buffer 和内存碎片。估算时要同时考虑并行策略、ZeRO 分片、activation checkpointing、精度和 micro-batch。

同题还出现在 1 个公司岗位

大语言模型 模型训练 内存管理 GPU 性能排查
阿里巴巴 / 算法

RLHF、DPO、PPO 或 GRPO 中 reference model 起什么作用？如果不能保留完整 reference，可以用哪些替代或近似约束？

这题考的是对齐训练里 reference model 的约束本质：它不是装饰性的第二个模型，而是定义“不要偏离初始策略太远”的行为锚点。在 PPO、DPO、GRPO 等方法中，reference 通过 KL、log probability ratio 或隐式 reward 基线抑制奖励黑客、语言退化和安全边界漂移；如果不能完整保留，也要知道哪些近似能替代、哪些只能部分约束。

大语言模型 RLHF DPO 强化学习 模型训练 模型评估
阿里巴巴 / 算法

DeepSeek-R1 的后训练流程如何从 SFT、RL 到可验证推理能力逐步构建？

这题考的是候选人是否能按公开技术报告复述 DeepSeek-R1 的后训练逻辑，而不是泛泛说“先 SFT 再 RL”。好答案要区分 DeepSeek-R1-Zero 和 DeepSeek-R1：前者直接从 base model 做大规模 RL，展示可验证推理奖励能诱导反思、验证和更长 CoT；后者用少量冷启动长 CoT 数据改善可读性和训练稳定性，再经过推理 RL、拒绝采样生成 SFT 数据、通用能力 SFT、全场景 RL，并把大模型推理模式蒸馏到小模型。边界是只描述公开论文/官方报告内容，不扩展到未公开训练细节或其它机构的具体做法。

同题还出现在 1 个公司岗位

大语言模型 强化学习 模型训练 模型评估 RLHF
阿里巴巴 / 算法

如何将已有 MHA 大模型改造成 GQA？KV Head 权重合并初始化和继续训练分别解决什么问题？

这题考察的不是“GQA 是什么”这一层概念，而是如何把一个已经训练好的 MHA checkpoint 工程化迁移成 GQA，并解释初始化和继续训练各自承担的职责。核心答案应先说明结构变化：MHA 中每个 Query Head 通常有独立的 K/V Head，而 GQA 把多个 Query Head 分成一组，共享同一组 K/V 投影，从而减少 KV Cache、显存带宽和解码阶段访存。迁移时不能随机初始化 K/V，否则模型等于突然丢失大量注意力记忆能力；因此通常用 KV Head 合并做 warm start，例如按组平均、加权平均、选择代表头或用聚类合并 K/V 权重。这个初始化解决“结构对齐和功能尽量连续”的问题；继续训练或 uptraining 解决“合并带来的表达能力损失、注意力分布偏移和层间统计不匹配”的问题。高质量回答还要补充训练数据配比、学习率、冻结策略、评估指标和推理收益验证。

大语言模型 Transformer 注意力机制 KV Cache 大模型推理
阿里巴巴 / 算法

多模态/RAG 项目上线前如何设计评价指标，如何拆分整体效果与 RAG 子模块指标？

这题考察的不是“能不能背几个指标名”，而是能否把多模态/RAG 项目上线前的评价体系拆成可决策、可归因、可监控的指标框架。来源只支持“项目上线前评价指标”和“RAG 子模块评价指标”这两个面试追问，因此回答应聚焦通用方法论，不编造任何阿里内部指标。高质量答案要先定义上线目标和风险边界，再把评价拆成三层：端到端业务效果、模型回答质量、RAG 链路子模块效果。最终要能回答三个问题：整体效果好不好、如果不好是哪一段坏了、达到什么阈值才能灰度上线。

多模态学习 RAG 模型评估 指标体系 大语言模型
阿里巴巴 / 算法

已有数字人视频生成模型如何定向训练为只生成指定人物，并设计身份一致性数据、参考图注入、训练约束和评估指标？

这题考数字人视频生成的定向个性化训练方案。重点要覆盖指定人物数据集、参考图像注入、微调策略、身份约束、时序一致性、安全合规和评估指标。好的回答会说明如何让模型只生成目标人物，同时避免过拟合、身份漂移、动作僵硬和未经授权的人脸生成风险。

多模态学习 计算机视觉 模型训练 模型评估