字节跳动算法工程师面经题库｜面试大师

LoRA 是一种参数高效微调方法：不直接改动大模型原有权重，而是在关键线性层旁边增加一个低秩增量分支，用少量可训练参数学习任务差异。它的核心假设是：下游任务需要的权重变化 ΔW 往往不需要满秩矩阵表达，可以用两个小矩阵 B 和 A 的乘积近似，即 ΔW = BA。训练时冻结基座模型，只训练 A、B；推理时可以把 ΔW 合并回原权重，几乎不增加推理结构复杂度。

同题还出现在 1 个公司岗位

算法

字节跳动 / 算法

如何根据模型参数量、训练 token 数、FLOPs、GPU 数量和硬件利用率估算 LLM 训练时间？

这道题考察能否把 LLM 训练时间从经验判断转成可计算的工程估算。核心公式是总训练 FLOPs 除以集群有效算力：dense decoder-only 模型可用约 6 × 参数量 × token 数估算前向加反向训练 FLOPs，再除以 GPU 数、单卡峰值 FLOPs 和硬件利用率或 MFU。好的回答还要说明单位换算、序列长度和 attention 开销、MoE active 参数、数据并行扩展效率、checkpoint/eval/restart 等 wall-clock 修正因素。

大语言模型模型训练 GPU 性能排查性能分析

字节跳动 / 算法

LLM 训练过程中应该监控哪些指标，如何用 loss、梯度、吞吐、显存、GPU 利用率、checkpoint 和评测集发现异常？

这道题考察 LLM 训练监控体系，而不是只问 loss 曲线。完整回答要覆盖模型质量、数值稳定性、吞吐性能、资源利用、数据管道、checkpoint 可靠性和周期评测。更重要的是说明如何用这些指标定位异常：loss spike 可能来自坏数据或学习率问题，梯度爆炸会伴随 grad norm 和 NaN，吞吐下降可能来自 dataloader、通信或 straggler，显存增长可能是泄漏或碎片，评测集退化可能暴露过拟合、数据污染或训练分布偏移。

大语言模型模型训练可观测性 GPU 问题排查模型评估

字节跳动 / 算法

LLM 预训练数据清洗中，如何结合质量模型、PPL、去重和领域规则过滤更适合模型学习的数据？

这题考的是预训练数据治理的系统性判断：不能只说按 PPL 阈值删除，也不能只依赖一个质量分类器，而要把数据规范化、质量打分、PPL 异常检测、重复样本压制、领域规则、分布保留和下游验证串成闭环，目标是在降低噪声和污染的同时保留对模型能力真正有贡献的多样知识。

大语言模型模型训练质量工程模型评估数据分析

字节跳动 / 算法

LLM 预训练或 SFT 的数据配比如何量化评估？如何用实验、领域切片和评测指标判断一个 mixture 是否更好？

这题考的是把数据配比从经验拍脑袋变成可实验、可度量、可解释的优化问题。好的回答应覆盖目标能力定义、候选 mixture 设计、token 级采样权重、短程代理实验、领域切片评测、统计显著性、负迁移排查和 Pareto 取舍，而不是只说多放高质量数据或按业务重要性调比例。

大语言模型模型训练模型评估 SFT 质量工程

字节跳动 / 算法

大模型推理变慢时，如何从序列长度、batch、KV Cache、量化、FlashAttention 和 GPU 资源排查？

这题考 LLM 推理性能诊断闭环。高质量回答应先定义慢在哪里，再拆分队列、prefill、decode、KV Cache、batch 调度、attention kernel、量化、GPU 利用率和服务链路，用指标定位瓶颈，而不是一上来堆优化名词。

同题还出现在 1 个公司岗位

大语言模型大模型推理性能排查性能分析 KV Cache GPU

字节跳动 / 算法

RAG 生成阶段如何通过 Prompt 边界约束，在没有检索到有效证据时避免模型编造答案？

这题考察 RAG 生成阶段的边界控制能力。好的回答要说明 Prompt 如何把模型限制在检索证据内回答，如何定义无证据、低置信和证据冲突时的行为，以及如何配合检索评分、引用、结构化输出和评估来降低幻觉。重点不是写一句“不要编造”，而是建立可执行的证据约束。

RAG Prompt 工程稳定性大语言模型

字节跳动 / 算法

为什么梯度下降在机器学习优化中有效？如何理解梯度方向、学习率、局部最优和非凸损失？

这题考的是对梯度下降有效性的本质理解：在可微损失函数附近，负梯度方向是一阶近似下让损失下降最快的方向，小步更新可以逐步降低目标函数。回答要进一步解释学习率、凸与非凸、随机梯度、鞍点、局部最优、归一化和收敛诊断，不能停在一句沿着梯度反方向走。

神经网络模型训练正则化问题排查

字节跳动 / 算法

推荐模型离线 AUC 与线上效果不一致时，可能有哪些原因，如何定位和修正？

离线 AUC 与线上效果不一致通常不是单点问题，而是数据分布、样本构造、标签口径、特征一致性、评估指标、候选集、系统链路和实验统计共同造成。回答要先说明 AUC 衡量 P(score_pos > score_neg)，不等于线上业务收益；再按数据、模型、评估、服务、实验五层排查，并给出 replay、shadow scoring、切片、A/A、A/B 和监控修正路径。

推荐系统模型评估样本不平衡模型训练

字节跳动 / 算法

推荐或广告系统新增一路召回后，如何评估这一路召回的效果、效率和 ROI？

新增一路召回不能只看“这路召回了多少 item”或“命中了多少点击”，因为多路召回存在去重、排序、预算竞争和归因稀释。高质量回答要把评估拆成效果、效率、增量价值和 ROI 四层：效果看覆盖率、命中率、后链路采纳、排序后曝光/点击/转化贡献；效率看召回耗时、QPS、CPU/GPU/内存、索引成本、去重后有效候选率；增量价值看相对 baseline 的新增好样本、新增人群、新增广告主/商品覆盖，以及 A/B 中核心业务指标提升；ROI 则用增量收益减增量成本，或增量 GMV/广告收入/利润除以系统和维护成本。回答时要强调离线只能做候选筛查，最终要靠在线实验和归因方法判断是否值得长期保留。

推荐系统广告产品模型评估业务指标 A/B 测试

字节跳动 / 算法

给定用户 session 曝光或点击序列，如何设计公式衡量推荐内容多样性并用于优化？

这题要求给定用户 session 的曝光或点击序列，设计可计算的推荐内容多样性公式，并说明如何用于优化。高质量答案不应只说“类别越多越好”，而要根据业务内容表示定义多样性：可以从类目覆盖、分布熵、两两相似度、去重率、新颖性、序列相邻差异和用户兴趣覆盖几个角度构造指标。对于 session 序列，常用公式包括 intra-list diversity：`ILD = 1 - average(sim(i,j))`；类别熵：`H = -Σ p_c log p_c`；有效类别数：`exp(H)`；相邻多样性：`1 - average(sim(i_t, i_{t+1}))`。用于优化时不能盲目提高多样性，需要和相关性、CTR/CVR、时长、留存做 trade-off，可在重排阶段加入多样性正则或约束，并用 A/B 验证用户体验和业务指标。

同公司岗位有 2 条面经记录

推荐系统模型评估产品指标统计学

字节跳动 / 算法

MODNet 这类弱监督图像分割/抠图方法的主要流程是什么，如何利用类别相关背景信息？

这道题考察的是候选人对弱监督视觉分割或抠图流程的理解，而不是要求复述某家公司内部论文实现。可以把 MODNet 这类方法理解为：在缺少像素级精标注时，利用图像级标签、类别激活、伪掩码、背景先验和一致性约束，逐步训练出能区分前景对象、相关背景和无关背景的分割模型。类别相关背景信息的价值在于，弱监督方法容易把与目标共现的背景误当成前景，例如车和道路、船和水面、人物和舞台；如果能显式挖掘类别相关背景并在训练中建模，就能减少前景扩张和背景误分。回答要覆盖弱标签来源、伪标签生成、背景类挖掘、模型训练、噪声控制、迭代优化和评估指标，同时避免声称任何未公开的公司细节。

计算机视觉模型训练

字节跳动 / 算法

多轮对话 Agent 做强化学习时，reward 应如何设计，如何避免 reward hacking、轮次变长和任务成功率虚高？

这题考的是 Agent 强化学习的目标建模和反作弊评估能力。来源只支持“字节/懂车帝 Agent 算法实习面试中问到多轮对话强化学习”，不支持任何内部 reward 细节，因此回答应给出通用、可验证的 reward 设计框架。核心是把 reward 从单句好坏扩展到完整轨迹：任务是否真的完成、工具和信息是否可靠、轮次成本是否受控、安全边界是否遵守，并用 verifier、人评和切片指标防止 reward hacking 与虚高成功率。

大语言模型 AI Agent 强化学习 RLHF 模型评估

字节跳动 / 算法