从算力基座到智能体:理解大模型产业的每一个关键环节
大模型(Large Language Model, LLM)的产业链可以类比为一座「智能工厂」:从原材料(数据与算力)进场,经过多道加工工序(预训练 → 微调 → 对齐 → 压缩),最终包装成面向用户的产品(API 服务、智能体、垂直应用)。学术界将这一生态定义为 LLM Supply Chain。以下将整条产业链拆解为 8 个细分层级,每层列出关键步骤、核心产品与代表公司。
大模型产业的物理地基,决定了「谁能训、训多大」。
| 子领域 | 关键产品 / 技术 | 代表公司 | 说明 |
|---|---|---|---|
| GPU(通用训练芯片) | A100、H100、H200、B200 | NVIDIA(全球垄断 ~90%) | 大模型训练和推理的绝对主力。NVIDIA 凭借 CUDA 生态和 NVLink 高速互联建立了难以撼动的护城河 |
| TPU(专用训练芯片) | TPU v4 / v5p / v6 | Google 自研,仅供内部和 Google Cloud 使用,训练 Gemini 系列模型 | |
| 国产 AI 芯片 | 昇腾 910B/910C、寒武纪 MLU370 | 华为、寒武纪、海光信息 | 在美国芯片禁令下的国产替代方案。华为昇腾已支撑多个国产大模型训练 |
| 云算力租赁 | GPU 集群即服务 | AWS、Azure、GCP、阿里云、火山引擎 | 大多数 AI 公司不自建机房,而是租用云厂商的 GPU 集群 |
大模型的「燃料供应链」——从原始数据到可训练数据的全流程。
| 子领域 | 关键步骤 | 代表公司 / 工具 | 说明 |
|---|---|---|---|
| 数据采集 | 网页爬取、书籍数字化、代码仓库聚合、论文收集 | Common Crawl、RedPajama、The Pile | GPT-3 用了 ~45TB 文本,LLaMA 3 用了 15T token 的训练数据 |
| 数据清洗与去重 | MinHash/SimHash 去重、毒性过滤、低质量过滤 | Dolma、RedPajama pipeline | 数据质量直接决定模型上限,高质量数据可让同等算力下效果提升 30%+ |
| 数据标注 | SFT 问答对标注、RLHF 偏好排序标注 | Scale AI、海天瑞声、整数智能、Surge AI | 人工标注是对齐阶段的核心瓶颈,标注质量和数量直接影响模型对齐效果 |
| 合成数据 | 用强模型生成训练数据给弱模型 | Self-Instruct、Evol-Instruct | 降低人工标注成本的关键方法,但也面临「模型塌缩」风险 |
| 数据脱敏与合规 | PII 去除、版权过滤、GDPR 合规 | 正则+NER 双重检测 | 法律红线——未脱敏数据训练可能导致隐私泄露和版权诉讼 |
大模型开发的「施工工具」——从模型定义到分布式训练的全套软件栈。
| 子领域 | 关键工具 | 代表公司 / 项目 | 说明 |
|---|---|---|---|
| 深度学习框架 | PyTorch、JAX、PaddlePaddle、MindSpore | Meta、Google、百度、华为 | PyTorch 占据绝对主流(~95% 的大模型使用),JAX 是 Google 系主力 |
| 分布式训练框架 | Megatron-LM、DeepSpeed、FSDP、ColossalAI | NVIDIA、Microsoft、Meta、新加坡 HPC-AI | 支撑千卡级集群训练的核心工程。DeepSpeed ZeRO 是最广泛使用的显存优化方案 |
| 实验追踪与 MLOps | Weights & Biases、MLflow、TensorBoard | W&B、Databricks、Google | 记录和对比训练实验,监控 loss 曲线和关键指标 |
| 模型仓库与分发 | HuggingFace Hub、ModelScope(魔搭) | HuggingFace、阿里达摩院 | 模型版本管理、一键下载、社区评测,大模型生态的「GitHub」 |
大模型的「制造商」——投入算力和数据,产出基座模型。
| 类型 | 代表模型 | 代表公司 | 特点 |
|---|---|---|---|
| 闭源顶级模型 | GPT-4/o/4.1、Claude 4、Gemini 2.0 | OpenAI、Anthropic、Google | 能力天花板,但只能通过 API 调用,数据不透明 |
| 开源旗舰模型 | LLaMA 3.1 405B、Qwen3 235B、DeepSeek-V3 | Meta、阿里、DeepSeek | 可自由部署和微调,是中国企业和开发者的主力选择 |
| 中国闭源模型 | 文心一言、通义千问-Max、豆包 | 百度、阿里、字节跳动 | 中文能力差异化优势,配套 API 和应用生态 |
| 垂直领域模型 | CodeLlama(代码)、StarCoder(代码)、BioMedGPT(生物医学) | Meta、BigCode、清华 | 在特定领域数据上训练,垂直任务效果优于通用模型 |
大模型的「降本增效器」——在尽量不损失效果的前提下,让推理更快更便宜。
| 子领域 | 关键方法 | 代表工具 | 效果 |
|---|---|---|---|
| 量化 | GPTQ、AWQ、SmoothQuant | AutoGPTQ、llama.cpp、vLLM | FP16→INT8 显存减半,效果损失<1%;→INT4 显存减 75%,损失 2~5% |
| 蒸馏 | Logits 蒸馏、数据蒸馏 | DistilBERT、Alpaca(数据蒸馏) | 从 70B 教师蒸馏出 7B 学生,效果接近,成本降 10 倍 |
| 推理引擎优化 | PagedAttention、连续批处理、投机解码 | vLLM、TensorRT-LLM、SGLang | 零效果损失,吞吐量提升 2~4 倍 |
大模型的「交付渠道」——把模型变成用户可用的服务。
| 部署形态 | 说明 | 代表服务 | 适用场景 |
|---|---|---|---|
| 云端 API | 按 token 计费调用 | OpenAI API、通义千问 API、百度千帆 | 大多数企业的首选,零运维 |
| 自建推理集群 | 企业自建 GPU 集群 | vLLM + K8s、Triton Inference Server | 数据敏感行业(金融/医疗/政企)、大流量场景 |
| 端侧部署 | 在终端设备上运行 | llama.cpp、MLC LLM、Apple Core ML | 隐私优先场景,如手机助手、车载 AI |
| Serverless 推理 | 按需弹性、按用量计费 | Replicate、Modal、阿里云 PAI-EAS | 流量波动大、不确定用量的场景 |
大模型的「应用工具箱」——让开发者快速构建 AI 应用。
| 子领域 | 关键能力 | 代表产品 | 说明 |
|---|---|---|---|
| LLM 编排框架 | Prompt 模板、链式调用、输出解析 | LangChain、LlamaIndex、Semantic Kernel | 将大模型能力封装为可编程的组件和流程 |
| RAG 基础设施 | 文档解析、向量检索、重排序 | 向量数据库(Milvus/Pinecone/FAISS)、Embedding 模型 | 让 AI 访问企业私有知识库的核心架构 |
| Agent 平台 | 工具调用、任务编排、记忆管理 | Dify、Coze、FastGPT、AutoGen | 低代码/无代码构建 AI Agent 的平台 |
| 评测与安全 | 模型评测、幻觉检测、红队测试 | OpenCompass、HELM、Guardrails AI | 评估模型质量、防止有害输出的保障层 |
大模型产业的「最后一公里」——直接面向终端用户和企业客户。
| 应用类型 | 代表产品 | 核心能力 | 商业模式 |
|---|---|---|---|
| AI 对话助手 | ChatGPT、Claude、通义千问、豆包、Kimi | 通用对话、写作、分析、编程 | 免费增值 + 订阅($20/月) |
| AI 编程工具 | GitHub Copilot、Cursor、通义灵码、Qoder | 代码补全、代码审查、自动修 Bug | 订阅制($10~20/月) |
| AI 搜索 | Perplexity、秘塔搜索、Google AI Overview | 带引用的智能搜索与摘要 | 广告 + 订阅 |
| 企业级 AI 平台 | Microsoft 365 Copilot、钉钉 AI、飞书智能伙伴 | 嵌入办公套件的 AI 能力 | 企业订阅(按席位) |
| 行业垂直 AI | 法律 AI(Harvey)、医疗 AI(Med-PaLM)、金融 AI | 领域知识 + 合规 + 专业工作流 | 企业 SaaS + 按效果付费 |
基础设施是大模型产业的「地基」。这一层决定了谁能训得出大模型、训得起多大的模型。
大模型训练需要大规模 GPU/TPU 集群。以 GPT-4 级别模型为例,训练一次需要数千张 A100/H100 GPU 运行数月,算力成本达数亿美元。
GPU 集群:数千张 GPU 通过高速互联(如 NVLink、InfiniBand)组成训练集群,实现模型并行与数据并行。
FLOPS:衡量算力的核心指标,即每秒浮点运算次数。训练 GPT-3 约需 3.6×10²³ FLOPS。
算力是大模型产业的「入场券」。没有足够算力,就无法训练出有竞争力的基座模型。这也是为什么目前全球只有少数公司能独立训练顶级大模型。
大模型的「燃料」是海量高质量文本数据。GPT-3 使用了约 45TB 文本数据,包括网页、书籍、代码、学术论文等。
采集 → 去重(MinHash/SimHash)→ 清洗(去毒性/去偏/去低质量)→ 配比(不同来源数据的混合比例)→ 脱敏(PII 去除)
MinHash(最小哈希):一种近似集合相似度估计算法。其原理是对每个文档生成多个哈希排列,取每轮排列中的最小值作为该文档的「指纹签名」,通过比较两个文档指纹的相同比例来估算 Jaccard 相似度。MinHash 的优势在于——无需逐对比较全部文档内容,就能在 O(n) 时间内从数十亿文档中找出近似重复项,是大规模语料去重的核心工具。Google 最早将其用于搜索引擎网页去重。
SimHash(相似哈希):一种局部敏感哈希算法,由 Charikar 提出。它将每篇文档映射为一个固定长度的二进制指纹(通常 64 bit),语义相近的文档生成的指纹在汉明距离上也相近(差异位少)。与 MinHash 相比,SimHash 更适合检测「近似重复」而非「完全重复」——例如两篇文章仅措辞略有不同,SimHash 仍能识别。工程实践中,两者经常配合使用:MinHash 做粗筛快速过滤,SimHash 做精筛确认近似度。
PII(Personally Identifiable Information,个人身份信息)去除是数据脱敏的核心步骤。PII 包括姓名、电话号码、身份证号、邮箱地址、银行卡号、住址等可直接或间接识别个人身份的信息。在大模型训练数据预处理中,PII 去除通常通过正则表达式匹配 + NER(命名实体识别)模型双重检测,将敏感信息替换为占位符(如 [NAME]、[PHONE])或直接删除。这一步至关重要——如果训练数据中包含未脱敏的 PII,模型可能在生成文本中「泄露」真实个人信息,造成隐私安全事故。欧盟 GDPR 和中国《个人信息保护法》对此有严格的合规要求。
数据质量直接决定模型能力上限。相同算力下,高质量数据训练的模型效果可以比低质量数据好 30% 以上。这也是为什么「数据飞轮」(用户反馈→数据改善→模型更好→更多用户)成为大模型公司的核心壁垒。
训练大模型不是从零写代码,而是依赖一整套成熟的工具链:
| 工具 | 用途 | 代表产品 |
|---|---|---|
| 深度学习框架 | 模型定义与训练 | PyTorch、JAX、Megatron-LM |
| 分布式训练框架 | 多GPU/多节点并行 | DeepSpeed、FSDP、ColossalAI |
| 混合精度训练 | 节省显存、加速计算 | FP16/BF16 + 梯度缩放 |
| 实验追踪 | 记录训练过程 | Weights & Biases、MLflow |
PyTorch(Meta/Facebook 开源,2016 年):基于动态计算图(Define-by-Run)的深度学习框架。其核心原理是「即时执行」(Eager Execution)——每行代码定义的操作立即执行并返回结果,调试直观,像写普通 Python 代码一样自然。PyTorch 底层通过 Autograd 引擎自动计算梯度,配合 CUDA 后端调用 GPU。它之所以成为大模型时代的绝对主流,核心在于:动态图让复杂的模型结构(如 Transformer 中的变长序列、条件分支)编写和调试极为方便,研究迭代速度快。目前 GPT、LLaMA、Qwen、DeepSeek 等几乎所有主流大模型都用 PyTorch 训练。
JAX(Google 开源,2018 年):基于函数式编程和编译时优化(XLA 编译器)的深度学习框架。其核心原理是「纯函数 + 函数变换」——将计算定义为无副作用的纯函数,然后通过 jit(即时编译)、grad(自动微分)、vmap(自动向量化)、pmap(自动并行化)四种高阶函数变换组合出高效的训练代码。JAX 的优势在于编译时全局优化——XLA 编译器能对整个计算图做算子融合、内存优化,在大规模 TPU 集群上性能通常优于 PyTorch。Google 内部(Gemini 系列)和 DeepMind(AlphaFold)主要使用 JAX。劣势是学习曲线陡峭,函数式编程范式对习惯了 PyTorch 的开发者不太友好。
Megatron-LM(NVIDIA 开源,2019 年):专为超大规模语言模型训练设计的分布式训练框架。它本身不是一个独立的深度学习框架,而是建立在 PyTorch 之上的分布式训练工具包。核心原理是「张量模型并行」(Tensor Model Parallelism)——将 Transformer 层的矩阵运算切分到多张 GPU 上并行执行,配合流水线并行(不同层分配到不同 GPU)和数据并行,实现数百亿参数模型的训练。GPT-3、PaLM 等早期超大模型的训练都依赖 Megatron-LM。其后续的 Megatron-Core 进一步集成了 Expert Parallelism(专家并行),支撑 MoE 架构模型的训练。
| 框架 | 出品方 | 特点与定位 |
|---|---|---|
| TensorFlow | Google(2015) | 最早的工业级深度学习框架,静态计算图(Define-and-Run),部署生态完善(TF Serving、TF Lite、TF.js)。曾统治学术界多年,但因 API 复杂、调试困难,在大模型时代被 PyTorch 全面超越。目前仍广泛用于推荐系统、CV 等工业部署场景。 |
| PaddlePaddle(飞桨) | 百度(2016) | 中国最早的深度学习开源框架,API 设计与 PyTorch 类似,生态覆盖 CV、NLP、推荐等。百度内部及国内中小企业使用较多,配套文心大模型的训练与推理。 |
| MindSpore(昇思) | 华为(2020) | 面向华为昇腾(Ascend)NPU 生态的深度学习框架,支持自动并行。主要服务于华为云和昇腾芯片用户,是国产算力生态的关键一环。 |
| OneFlow | 一流科技/清华(2020) | 国产分布式训练框架,以「静态调度 + 流式并行」著称,在多机多卡训练效率上有独特优势。已并入深度学习框架的国产竞争行列。 |
| MXNet | Apache(2015) | 曾是 AWS 的默认框架,支持多语言接口,但因社区活跃度下降已逐步边缘化,AWS 已转向支持 PyTorch。 |
代表:Caffe、Theano、TensorFlow 1.x。特点是「先定义计算图,再编译执行」,性能好但调试困难,研究者需要反复修改图结构。这一阶段深度学习主要用于 CV(图像识别)和简单 NLP 任务。
代表:PyTorch(2016)、TensorFlow 2.0(2019 转向动态图)。PyTorch 的「即时执行」范式让研究和调试效率大幅提升,迅速成为学术界首选。这一阶段 NLP 领域出现 BERT、GPT-1/2 等预训练模型,大模型雏形诞生。
代表:PyTorch + Megatron-LM + DeepSpeed 组合拳、JAX + XLA。核心需求从「单机训练」转向「千卡级分布式训练」,张量并行、流水线并行、ZeRO 优化成为标配。GPT-3、PaLM、LLaMA 等超大模型在此阶段诞生。
代表:PyTorch 2.0(torch.compile 编译优化)、JAX 的 Pallas 内核编程、MoE 专用框架(Megatron-Core Expert Parallelism)。趋势是「动态图的易用性 + 静态图的性能」融合,编译器自动优化计算图,同时支撑 MoE、多模态等新型架构。国产框架(飞桨、昇思)加速追赶。
预训练是大模型「出生」的核心环节。模型通过自监督学习在海量文本上学习语言规律,获得广泛的世界知识和语言理解能力。
与传统 AI 需要人工标注数据不同,大模型利用文本本身作为「答案」。核心训练任务是 Next Token Prediction(预测下一个词):给模型一段文字,让它预测下一个词,然后对比实际的下个词计算误差并更新参数。
当前所有主流大模型都基于 Transformer 架构,其核心是 自注意力机制(Self-Attention):让模型在处理每个词时,能「看到」并加权关注上下文中的所有其他词,从而理解长距离依赖关系。
| 参数 | 含义 | 典型值(70B 模型) |
|---|---|---|
| 参数量 | 模型内部可学习的数值总量 | 700 亿 |
| 层数 | Transformer 堆叠层数 | 80 层 |
| 隐藏维度 | 每层内部的向量宽度 | 8192 |
| 注意力头数 | 并行注意力计算的组数 | 64 |
| 上下文长度 | 单次输入的最大 Token 数 | 4096 ~ 128K |
参数量意味着什么? 每个参数可以理解为模型的「一个记忆单元」或「一个可调旋钮」。70B(700 亿)参数意味着模型有 700 亿个可学习的数值(通常是 32 位浮点数),这些数值在训练过程中不断调整,以捕获语言的统计规律和世界知识。参数量越大,模型理论上能记住和理解的「模式」越多。如果用显存衡量:70B 模型以 FP16 精度存储需要约 140GB 显存(70×10⁹ × 2 bytes),而 7B 模型仅需 14GB。
| 模型 | 出品方 | 参数量 | 发布时间 | 说明 |
|---|---|---|---|---|
| GPT-4 | OpenAI | 未公开(推测 1.7T,MoE 架构) | 2023.03 | 据传采用 8×220B 的 MoE 结构,总参数约 1.76 万亿 |
| GPT-4o | OpenAI | 未公开 | 2024.05 | 多模态旗舰,推理速度大幅提升 |
| Claude 3.5 Sonnet | Anthropic | 未公开 | 2024.06 | 编程能力领先,安全性突出 |
| Gemini 2.0 Ultra | 未公开(推测 1T+) | 2025.02 | 原生多模态,200 万上下文 | |
| LLaMA 3.1 405B | Meta | 405B(4050 亿) | 2024.07 | 最大开源稠密模型 |
| LLaMA 3.3 70B | Meta | 70B(700 亿) | 2024.12 | 70B 标杆,性价比之王 |
| DeepSeek-V3 | DeepSeek | 671B(MoE,激活 37B) | 2024.12 | MoE 架构,训练成本仅 $5.6M,震惊业界 |
| DeepSeek-R1 | DeepSeek | 671B(MoE) | 2025.01 | 推理能力模型,强化学习驱动 |
| Qwen3 235B | 阿里通义 | 235B(MoE,激活 22B) | 2025.04 | MoE 架构,思考模式切换 |
| Qwen2.5 72B | 阿里通义 | 72B(720 亿) | 2024.09 | 开源稠密模型旗舰 |
将训练数据切分到多张 GPU 上,每张 GPU 处理一部分数据,定期同步梯度。适合:模型能放进单卡显存的场景。
将模型本身切分到多张 GPU 上(张量并行 / 流水线并行)。必须:当模型参数太大,单卡放不下时。
DeepSpeed 提出的零冗余优化器,将优化器状态、梯度、参数分片存储,可节省 4~8 倍显存。效果:让 70B 模型在 8 卡 A100 上也能训练。
预训练完成后得到的是 基座模型(Base Model)。它有很强的语言理解能力,但还不会「好好回答问题」——它会续写文本,而不是按照指令做事。就像一个人读了很多书,但还没学会怎么当客服。这就是为什么需要下一步:微调与对齐。
基座模型像一本百科全书——知识丰富但不会按要求做事。微调与对齐的目标是把它变成一个「好用的助手」。
SFT 的全称是 Supervised Fine-Tuning,即「有监督微调」。其中 Supervised 指的是「有监督学习」——训练数据包含人工标注的正确答案(输入→期望输出),模型通过学习这些标注样本来改善表现。SFT 的具体做法是用人工标注的「问答对」继续训练基座模型。例如:给模型看大量「问题→优质回答」的范例,让它学会按照指令格式输出。成本:需要人工标注数万到数十万条高质量数据。存在意义:SFT 是微调的第一步,将基座模型的「续写文本」能力转化为「按指令回答问题」的能力,相当于给一个博学者培训了「客服话术」。
RLHF 的全称是 Reinforcement Learning from Human Feedback,拆解为三个关键词:Reinforcement Learning(强化学习,即通过奖励信号不断试错优化的机器学习范式)、Human Feedback(人类反馈,即人类标注员对模型输出的打分排序)。RLHF 的完整流程分两步:第一步,让人类对模型的多个回答打分排序,训练一个「奖励模型」(Reward Model)来学习人类偏好——什么回答更好、更安全、更有帮助;第二步,用强化学习算法(PPO,Proximal Policy Optimization)让模型在奖励模型的指导下优化生成策略。效果:让模型回答更安全、更有帮助、更符合人类期望。这是 ChatGPT 成功的核心技术——OpenAI 称其为「让 AI 与人类价值观对齐」的关键突破。缺点:需要训练额外的奖励模型,工程复杂度高;奖励模型本身可能存在偏差,导致 reward hacking(模型学会讨好奖励模型而非真正改善)。
DPO 的全称是 Direct Preference Optimization,由斯坦福大学 Rafailov 等人于 2023 年提出。Direct(直接)指的是——跳过 RLHF 中「先训奖励模型、再做强化学习」的两步流程,直接从人类偏好数据优化模型本身;Preference(偏好)指的是训练数据的形式——人类标注员对两个回答做 A/B 选择(偏好对比),而非打分。DPO 的数学本质是将 RLHF 中的奖励函数用模型自身的对数概率比重新参数化,从而将强化学习问题转化为一个简单的分类损失函数。优势:训练更稳定、超参数更少、工程实现更简单、无需维护额外的奖励模型。正在逐步取代 RLHF 成为主流方案。Meta 的 LLaMA 3、阿里的 Qwen 系列等新模型均已采用 DPO 或其变体。
用多样化的任务指令(写邮件、翻译、总结、编程…)训练模型,让它能理解和执行各种任务类型。意义:大幅提升模型的泛化能力,使其在不曾见过的任务上也能表现良好。
全量微调需要更新模型所有参数,成本极高。PEFT 技术只更新极少参数就能达到接近效果:
| 方法 | 原理 | 参数量 | 适用场景 |
|---|---|---|---|
| LoRA | 在权重矩阵旁插入两个小矩阵,只训练这两个小矩阵 | 原模型的 0.1%~1% | 最主流,适合大多数场景 |
| QLoRA | LoRA + 4-bit 量化,进一步降低显存 | 与 LoRA 相近 | 消费级 GPU 微调大模型 |
| Adapter | 在 Transformer 层间插入小型适配层 | 原模型的 1%~3% | 多任务切换 |
| Prompt Tuning | 只训练输入前的可学习「软提示」向量 | 极少量(数千参数) | 超大规模模型的轻量适配 |
大模型训好了,但直接上线成本极高——一个 70B 模型用 FP16 精度需要 140GB 显存,至少需要两张 A100。模型压缩和推理优化的目标是:在尽量不损失效果的前提下,让模型跑得更快、更便宜。
将模型权重从高精度(FP16/FP32)转换为低精度(INT8/INT4),减少显存占用和计算量。
| 精度 | 7B 模型显存 | 72B 模型显存 | 精度损失 |
|---|---|---|---|
| FP16 | 14 GB | 144 GB | 基线 |
| INT8 | 7 GB | 72 GB | <1% |
| INT4 | 4 GB | 36 GB | 2%~5% |
GPTQ:逐层量化,速度快。AWQ:识别重要权重通道保留高精度。SmoothQuant:将激活值的量化难度转移到权重上。实际部署时,INT8 是生产环境的首选(效果损失极小),INT4 适合成本敏感或消费级硬件场景。
用大模型(教师)的输出分布指导小模型(学生)训练,让小模型获得接近大模型的效果。
Logits 蒸馏:学生拟合教师的输出概率分布。
特征蒸馏:学生中间层对齐教师的隐层特征。
数据蒸馏(最易落地):教师批量生成高质量训练样本,用常规方法训练学生。
这些技术不改变模型参数,纯粹在推理引擎层面优化,是应该最先采用的优化手段:
缓存历史 Token 的键值向量避免重复计算。PagedAttention 将缓存切分为固定块按需分配,显著减少显存碎片,同等显存下并发数成倍提升。
打破静态批处理「等一批全部完成」的限制,任意请求完成后立即插入新请求,大幅提升 GPU 利用率和吞吐量。
用小模型快速草拟候选 Token,大模型并行验证。在输出确定的场景下,速度提升 1~2 倍且结果完全一致。
模型训好、压缩好之后,需要部署到生产环境让用户能用。这一层关注的是如何高并发、低延迟、低成本地提供推理服务。
| 形态 | 说明 | 优势 | 劣势 |
|---|---|---|---|
| 云端 API | 通过 OpenAI/通义千问等 API 调用 | 零运维、弹性扩缩 | 数据外传、延迟受网络影响 |
| 自建推理集群 | 企业自建 GPU 集群部署 | 数据可控、可深度优化 | 前期投入大、需运维能力 |
| 边缘/端侧部署 | 在手机、PC、IoT 设备上运行 | 零延迟、完全隐私 | 模型大小受限、能力有限 |
目前最流行的开源推理引擎,由 UC Berkeley 的 Kwon 等人于 2023 年发布。理解 vLLM,需要先理解 KV Cache 的本质。
KV Cache 是什么? 在 Transformer 生成文本时,每生成一个新词都需要对所有已有词做自注意力计算。但历史词的 Key(键向量)和 Value(值向量)在之前的步骤中已经计算过了——KV Cache 就是把这些中间结果缓存起来,生成新词时只计算新词的 K/V,历史的直接从缓存读取。这样将每步计算量从 O(n²) 降到 O(n),是自回归生成的标配优化。但问题在于:KV Cache 占用大量显存且大小动态变化(不同请求的序列长度不同),传统方案要么预分配大块显存造成严重浪费(内部碎片),要么按需分配导致频繁碎片化。传统方案的显存利用率仅 20%~40%。
vLLM 的核心贡献是 PagedAttention——受操作系统虚拟内存管理的启发,将 KV Cache 切分为固定大小的「页」(类似操作系统的内存页),以页为单位按需分配和回收。这彻底解决了显存碎片问题,将显存利用率提升至 95%+。同等显存下,vLLM 可服务的并发请求数比传统方案多 2~4 倍,吞吐量相应提升。vLLM 同时支持连续批处理(Continuous Batching)和张量并行(Tensor Parallelism),是目前自建推理服务的首选引擎。
NVIDIA 官方优化框架,深度利用 CUDA 和 Tensor Core。在 NVIDIA GPU 上通常比 vLLM 快 10%~30%,但仅支持 NVIDIA 硬件。
| 指标 | 含义 | 典型要求 |
|---|---|---|
| 首 Token 延迟(TTFT) | 用户发出请求到收到第一个字的时间 | <500ms |
| 生成速度(TPS) | 每秒生成的 Token 数 | >30 tokens/s |
| 并发吞吐 | 单位时间处理的请求数 | 视业务规模 |
| 单请求成本 | 每次推理的 GPU 时间成本 | 越低越好 |
这是离用户最近的一层。大模型本身是一个「通用语言引擎」,但要真正解决业务问题,需要在上面叠加检索增强、工具调用、智能体编排等能力。
应用核心 解决大模型「幻觉」和「知识过时」两大问题的关键架构。
将企业文档、知识库切分为小块,通过 Embedding 模型转化为向量,存入向量数据库(如 Milvus、Pinecone、FAISS)。
用户提问时,先将问题转为向量,在向量数据库中检索最相关的文档片段。常用方法:向量相似度(cosine)+ BM25 混合检索 + 交叉编码器重排序。
将检索到的相关文档片段作为上下文,与用户问题一起喂给大模型,让模型基于真实资料生成回答,而非「凭空编造」。
应用核心 让大模型从「只能说」进化到「能做事」的关键技术。
原理:大模型并不能真正执行外部代码,它的本质是像「写代码」一样输出被调用的函数名和参数。外部程序接收这些参数去真正执行,再把结果返回给模型生成最终回复。
开发者用 JSON Schema 描述可用工具列表(如查天气、查库存、发邮件),每个工具包含名称、描述和参数定义。
用户提问后,模型判断是否需要调用工具。如果需要,输出工具名和参数(如 {"tool": "get_weather", "city": "杭州"})。
外部程序执行工具调用,获取结果(如「杭州,晴,28°C」),将结果返回给模型,模型据此生成最终的自然语言回答。
前沿方向 Agent 是大模型应用的最高形态——让 AI 不仅能回答问题,还能自主规划、分步执行复杂任务。
将复杂任务分解为多个子步骤。核心技术:思维链(CoT)、ReAct(推理+行动交替)、任务树分解。
通过 Function Calling 调用外部工具——搜索引擎、数据库、API、代码执行器等,突破纯文本限制。
短期记忆(对话上下文)+ 长期记忆(向量存储历史交互),让 Agent 在长对话和多轮任务中保持一致。
| 场景 | Agent 做什么 | 调用的工具 |
|---|---|---|
| 数据分析 Agent | 理解分析需求 → 写 SQL → 执行查询 → 生成报告 | 数据库、Python、可视化工具 |
| 客服 Agent | 理解问题 → 查知识库 → 判断能否回答 → 转人工 | RAG 检索、工单系统、CRM |
| 编程 Agent | 理解需求 → 写代码 → 运行测试 → 修复 Bug | 代码编辑器、终端、Git |
| 办公 Agent | 理解指令 → 查日历 → 创建会议 → 发邮件通知 | 日历 API、邮件 API、IM |
基础技能 不修改模型,通过设计输入提示来引导模型输出期望结果。这是使用大模型最低成本、最高频的优化手段。
| 技巧 | 原理 | 适用场景 |
|---|---|---|
| Zero-shot | 直接提问,不给示例 | 简单分类、翻译 |
| Few-shot | 给 2~5 个示例,让模型学习模式 | 格式一致性要求高的任务 |
| 思维链(CoT) | 要求模型「一步步思考」再给答案 | 数学、逻辑推理、复杂分析 |
| 角色设定 | 给模型指定角色身份和行为约束 | 客服、顾问、特定风格生成 |
| 结构化输出 | 要求模型输出 JSON/XML 等格式 | 数据提取、结构化信息生成 |
| 层级 | 角色 | 代表公司 | 商业模式 |
|---|---|---|---|
| 基础设施 | 芯片/算力提供商 | NVIDIA、AMD、华为昇腾 | 卖 GPU / 云算力租赁 |
| 基座模型 | 大模型研发者 | OpenAI、Anthropic、阿里通义、DeepSeek | API 调用收费 + 企业定制 |
| 中间层 | 工具/平台服务商 | LangChain、LlamaIndex、Dify、FastGPT | SaaS 订阅 / 开源增值 |
| 应用层 | 垂直应用开发者 | 各行业的 AI SaaS 公司 | 终端用户订阅 / 按效果付费 |
| 数据层 | 数据标注/治理 | Scale AI、海天瑞声、整数智能 | 按标注量计费 |
| 成本项 | 占比 | 估算金额 |
|---|---|---|
| GPU 算力(训练) | ~50% | $50M ~ $100M |
| 数据采购与标注 | ~15% | $10M ~ $30M |
| 人才(研究员+工程师) | ~20% | $20M ~ $40M |
| GPU 算力(推理运营) | ~10% | 持续支出,按月计 |
| 其他(电力、网络、运维) | ~5% | $5M ~ $10M |
以下时间线回溯近 5 年全球主要大模型的关键发布节点,按时间排列。不同国家/地区用标签区分:美国 中国 欧洲 日韩