标签题目
负载均衡相关面试题
RabbitMQ 如何实现消费者负载均衡？
RabbitMQ 的消费者负载均衡主要依赖同一队列上的多个竞争消费者。队列把每条消息投递给其中一个消费者，再通过 manual ack 和 prefetch 控制未确认消息数量，让处理更快的消费者获得更多后续消息。
LLM 推理中 Continuous Batching 和 Prefix Caching 如何影响请求切分、batch 维度和吞吐/延迟取舍？
这题考 LLM 推理调度中的 Continuous Batching 和 Prefix Caching，回答重点是请求在 prefill/decode 阶段如何切分、按什么维度组 batch，以及吞吐和延迟如何取舍。
LLM 推理服务如何做流量调度，兼顾模型副本、队列长度、KV 资源和延迟 SLO？
这题考 LLM 推理服务的请求路由和服务治理。回答要围绕模型副本选择、prefill/decode 队列、KV cache 资源、batching、优先级、SLO 和故障降级展开，避免泛泛而谈负载均衡。
MoE 路由中 Top-K Routing、负载均衡损失和 capacity factor 分别解决什么问题？
这题考 MoE 路由机制的核心部件：Top-K Routing 决定每个 token 激活哪些专家，负载均衡损失避免专家塌缩和热点，capacity factor 控制每个专家可接收 token 的上限。回答要把模型质量、稀疏计算、通信成本和工程稳定性连起来。