标签题目
TTFT相关面试题
什么是 TTFT，如何降低大模型首字延迟？
TTFT 是 Time To First Token，表示从请求发出或服务端接收请求到模型返回第一个 token 的时间。它直接影响用户对大模型应用是否“响应快”的感知，优化要覆盖排队、网络、鉴权、Prompt 构造、预填充计算、调度和流式返回。
LLM 服务用 vLLM 和 Streaming 输出时，如何在首 token、总延迟和吞吐之间折中？
这题考 LLM 推理服务的性能取舍，回答要把 vLLM/KV-cache、Streaming、TTFT、总延迟、吞吐和 batching 之间的矛盾讲清楚。
LLM 服务在 500 并发下如何把 TTFT P99 从 3s 优化到 1.5s？
这题考高并发 LLM 服务的首 token 长尾优化，回答要先建立可观测性，再从排队、调度、prefill/decode、批处理、KV 缓存、prompt 长度、容量和流式链路逐层处理。