企业官网建设流程全解析

1. 首字时延（TTFT）与每秒输出 Token 数（TPS）的架构权衡

面试官考察点：是否理解 LLM 推理的 Prefill 与 Decode 两阶段本质，能否在延迟、吞吐、成本之间做工程取舍，以及是否了解推测解码等前沿优化手段。

参考答案：

TTFT（Time To First Token）主要由Prefill 阶段决定，即对输入 Prompt 做并行预填充计算；TPS（Tokens Per Second）主要由Decode 阶段决定，即逐 Token 自回归生成。两者在架构上天然存在制约：

• Batch Size 越大，TPS 越高，但 TTFT 越差：连续批处理（Continuous Batching）能提升 GPU 利用率，但新请求需要等待当前批次中其他请求的 Prefill 完成，导致首字时延上升。
• KV Cache 占用与并发度矛盾：长上下文请求会占用大量显存，限制并发批大小，进而影响 TPS。
• Prefill 与 Decode 混跑：两者计算特性不同（前者是计算密集型矩阵乘，后者是访存密集型），混跑会互相干扰。

架构层面的权衡策略：