大厂大模型部门：组织结构与技术栈全解析
⚡
§3 推理效率组（Inference / Serving）
3.1 在做什么——「让用户 0.1 秒看到第一个字」
预训练和后训练解决"模型能力"问题，推理效率组解决"模型商业化"问题：如何用最低的成本、最短的延迟，服务几百万并发用户。
一个 70B 模型，朴素推理一次请求需要 4 张 A100 跑 3 秒。推理效率组的目标是让它变成 1 张 A100 跑 0.3 秒。
📊 推理效率的三个核心指标
TTFT
Time To First Token
用户发出请求到看到第一个字的时间，直接影响"响应感"
TPS
Tokens Per Second
每秒生成多少 token，决定"打字速度感"
Cost/1K
每千 Token 成本
直接决定产品能否盈利，GPT-4 从 $0.03 降到 $0.002 有 15x 优化
关键技术方向 1：KV Cache 优化
LLM 自回归生成时，每个新 token 都需要访问之前所有 token 的 Key/Value，这叫 KV Cache。随着序列变长，KV Cache 会占满显存。
PagedAttention（vLLM，把 KV Cache 像分页内存一样管理，GPU 利用率 +50%）
MLA（DeepSeek-V3，把 KV Cache 压缩到原来的 1/11）
GQA（Grouped Query Attention，多个 Query 共享 KV，减少 Cache 量）
Prefix Caching（系统 prompt 的 KV Cache 复用）
关键技术方向 2：量化（Quantization）
把模型权重从 FP32/BF16 压缩成 INT8/INT4/FP8，精度损失极小但速度提升显著。
量化方式精度损失速度提升代表工具适用场景
INT8几乎无损（<0.5%）1.5–2xbitsandbytes、GPTQ生产部署标配
INT4（GPTQ/AWQ）小（1–2%）3–4xAutoGPTQ、AutoAWQ消费级 GPU 部署
FP8几乎无损1.5–1.8xTensorRT-LLM、vLLMH100/H800 生产首选
GGUF（llama.cpp）中等CPU 可用llama.cpp边缘/本地部署
关键技术方向 3：投机解码（Speculative Decoding）
大模型每次生成一个 token，很慢。投机解码：用一个小模型先快速草稿生成 K 个 token，然后让大模型一次性验证——若草稿正确则接受（相当于大模型一次生成了 K 个 token）。
💡 举例：投机解码的实际效果
小模型（70M）草稿速度：2000 tokens/s
大模型（7B）逐步生成：60 tokens/s
小模型草稿 5 个 token，大模型一次验证接受 4.2 个（接受率 84%）
等效速度：大模型达到 ~200 tokens/s（提升 3.3x），同时输出质量与大模型完全一致
关键技术方向 4：调度系统（Continuous Batching）
传统 batch 推理等所有请求生成完才开始下一批，严重浪费 GPU。Continuous Batching 动态填充空位，新请求随到随加入当前 batch。
vLLM（PagedAttention + Continuous Batching，开源推理引擎标配）
TensorRT-LLM（NVIDIA，性能最强但复杂）
SGLang（RadixAttention，前缀复用效率更高）
TGI（Hugging Face Text Generation Inference）
关键技术方向 5：Prefill / Decode 分离
LLM 推理分两个阶段：Prefill（处理 prompt，计算密集）和 Decode（逐步生成，访存密集）。两者特性不同，放在同一台机器上互相干扰。分离部署：Prefill 用高算力 GPU，Decode 用高带宽 GPU。
3.2 核心技术栈汇总
vLLM
SGLang
TensorRT-LLM
FlashAttention-2/3
FlashInfer
CUDA / Triton（自定义算子）
INT4/INT8/FP8 量化工具链
Kubernetes + 自定义调度器
gRPC / HTTP/2（接口层）
Prometheus / Grafana（在线监控）
推理效率组 KPI
TTFT（首 token 延迟）：P50/P99，用户感知最直接
TPS（生成速度）：tokens/s/GPU，越高越好
GPU 利用率：服务期间 GPU 实际工作时间占比
成本：每百万 token 的 GPU 费用（每季度降低 20–30% 是正常预期）
SLO 达标率：TTFT < 500ms 的请求比例
工程师视角的真实感受：推理效率组是大模型部门里最接近传统系统工程的方向，需要深入理解 CUDA 编程、GPU 架构（SM 数量、内存带宽、FLOPS）、网络通信（RDMA、InfiniBand）。写一个高效的 CUDA Kernel 可能需要花几周时间，但成功后能让整个产品的成本下降 30%。