真实面经题目 · 原创解析
这题考的是候选人是否真正理解生成式解码，而不是只会背 top-k、top-p 名词。来源只支持“美团 Agent 算法面试中问到 topk/topp 实现原理”，因此回答应聚焦通用 LLM 推理机制，不扩展成任何美团内部解码策略。高质量回答要讲清 logits 处理、候选集合截断、概率重归一化、随机采样，以及这些参数如何改变尾部 token 风险、多样性、复读和事实稳定性。
我会先从一次解码步骤讲起：模型对当前上下文输出 vocab 维度的 logits，通常先应用温度、重复惩罚或禁用 token 等处理，再转成概率分布并采样下一个 token。top-k 的实现是选择概率或 logits 最大的 k 个 token，把其余 token 的 logits 置为负无穷，再对保留下来的 token 做 softmax 重归一化，然后按新分布采样。它的候选集合大小固定，优点是实现简单、能直接砍掉长尾低质量 token；缺点是不同上下文的概率分布尖锐程度不同，固定 k 可能在确定场景保留太多噪声，也可能在开放场景保留不够。top-p 又叫 nucleus sampling，实现时先按概率降序排序，累加概率直到达到阈值 p，保留这个最小候选集合，其余 token 置为负无穷，再重归一化采样。它的候选集合大小是动态的：分布尖锐时只保留少量高置信 token，分布平坦时保留更多候选，因此通常比固定 top-k 更适合适配不同上下文。参数影响上，k 越大、p 越高，多样性越强但尾部错误和跑偏风险越高；k 越小、p 越低，输出更稳定但容易保守、模板化甚至复读。工程上不能只靠主观体感，要结合任务类型评估重复率、格式遵循、事实正确、拒答稳定性、人评质量和多次采样一致性。
LLM 每一步生成不是直接输出文本，而是输出所有候选 token 的 logits。推理服务通常先做若干确定性处理，例如 temperature scaling、presence/frequency penalty、bad words mask、EOS 或格式约束，再得到可采样分布。top-k 和 top-p 都属于采样前的候选集合截断：它们不改变模型本身，只改变本次从哪些 token 里抽样。回答时先讲这条管线，能避免把采样策略误说成训练方法或模型结构。
top-k 的核心步骤是从 vocab 里找出 logits 或概率最大的 k 个 token，其他 token 直接屏蔽，常见实现是把它们的 logits 设为 -inf，然后对剩余 k 个 token 做 softmax 重归一化，最后 multinomial sample。这样可以保证每步最多只从 k 个 token 中选择，低概率长尾 token 不会被抽到。它的复杂度可通过 topk 算子或阈值筛选控制，不一定要完整排序整个词表。
top-p 的实现要先把 token 按概率从高到低排序，再计算累积概率，找到使累计概率达到 p 的最小前缀集合，保留这批 token 后重归一化采样。和 top-k 不同，top-p 的候选数会随上下文变化：如果模型对下一个 token 非常确定，少数 token 就能覆盖 0.9 的概率质量；如果场景开放、分布更平，可能需要保留更多 token。工程细节上通常至少保留一个 token，并注意排序、mask 和采样的数值稳定性。
temperature 会改变概率分布的尖锐程度，温度越低高概率 token 越集中，温度越高分布越平。实际系统里常见顺序是先对 logits 做温度和惩罚，再执行 top-k 或 top-p 截断，最后 softmax 重归一化并采样。不同库的细节可能略有差异，但候选集合必须基于最终用于采样的分布，否则参数直觉会错位。面试中可以强调：top-k/top-p 控制候选集合，temperature 控制集合内部概率形状，它们是互补而不是替代关系。
较大的 k 或较高的 p 会引入更多候选，适合创意写作、头脑风暴、多方案生成，但也更容易抽到低质量 token，导致事实漂移、格式破坏或语义跑偏。较小的 k 或较低的 p 会让输出更确定，适合代码、结构化抽取、严肃问答和需要稳定格式的场景，但过窄会让模型反复选择局部高概率模板，出现复读、套话或缺少探索。复读还和 repetition penalty、上下文、训练数据、长度惩罚有关，不能把所有重复都归因给 top-k/top-p。
线上参数不应只靠一次 demo 调出来。对于问答类任务，可以看事实正确率、引用一致性、拒答合理性、答案稳定性和多次采样一致性；对创意任务，看人评多样性、可用候选数和新颖性；对结构化任务，看 JSON 合法率、字段完整率和约束违背率。还要分场景设置默认值：高风险事实问答通常低温、较低 p 或更保守的采样；开放生成可提高 p 或 k；评测时应固定随机种子或多次采样，避免把随机波动当成模型能力变化。
可以。常见做法是先做一种截断再做另一种截断，最终候选集合是两种约束共同筛出的结果。这样能避免 top-p 在平坦分布下保留过多 token，也能避免 top-k 在尖锐分布下仍保留很多低价值候选。具体顺序要和推理框架一致，并通过任务评测确认。
因为 top-p 保留的是概率质量而不是固定数量。模型很确定时，少数 token 就覆盖大部分概率，候选集合自然变小；模型不确定时，需要更多 token 才达到阈值，候选集合变大。它能随上下文的不确定性调整探索范围。
不一定。降低 top-p 会减少随机探索，但如果模型局部最高概率就是重复模板，过低的 p 反而可能让它更频繁选择同一类 token。复读还需要结合 repetition penalty、presence penalty、解码长度、停止条件和训练数据模式一起处理。
事实问答更强调稳定、可验证和格式遵循，通常使用较低温度、较保守的 p 或 k，并配合检索证据和拒答策略。创意写作更强调新颖性和多候选探索，可以提高温度、p 或 k，但仍要监控跑题、重复和安全风险。
