大模型从开发到应用
产业链全景研报

从算力基座到智能体:理解大模型产业的每一个关键环节

2026 年 11 月 综合多源研报与技术文献 阅读约 30 分钟

目录

  1. 产业全景:一张图看懂大模型产业链
  2. 第一层:基础设施 — 算力、数据与工具链
  3. 第二层:预训练 — 从数据到基座模型
  4. 第三层:微调与对齐 — 让模型「听话」
  5. 第四层:模型压缩与推理优化 — 降本增效
  6. 第五层:部署与推理 — 从实验室到生产环境
  7. 第六层:应用层 — RAG、Function Calling 与 Agent
  8. 产业生态与商业模式
  9. 全球大模型进化时间线(2020~2026)
  10. 参考来源
1

产业全景:一张图看懂大模型产业链

大模型(Large Language Model, LLM)的产业链可以类比为一座「智能工厂」:从原材料(数据与算力)进场,经过多道加工工序(预训练 → 微调 → 对齐 → 压缩),最终包装成面向用户的产品(API 服务、智能体、垂直应用)。学术界将这一生态定义为 LLM Supply Chain。以下将整条产业链拆解为 8 个细分层级,每层列出关键步骤、核心产品与代表公司。

基础设施
算力 · 数据 · 工具链
→
预训练
基座模型诞生
→
微调与对齐
SFT · RLHF · DPO
→
压缩与优化
量化 · 蒸馏 · 剪枝
→
部署推理
vLLM · PagedAttention
→
应用层
RAG · Agent · 垂直SaaS

第 1 层:算力硬件与芯片

大模型产业的物理地基,决定了「谁能训、训多大」。

子领域关键产品 / 技术代表公司说明
GPU(通用训练芯片)A100、H100、H200、B200NVIDIA(全球垄断 ~90%)大模型训练和推理的绝对主力。NVIDIA 凭借 CUDA 生态和 NVLink 高速互联建立了难以撼动的护城河
TPU(专用训练芯片)TPU v4 / v5p / v6GoogleGoogle 自研,仅供内部和 Google Cloud 使用,训练 Gemini 系列模型
国产 AI 芯片昇腾 910B/910C、寒武纪 MLU370华为、寒武纪、海光信息在美国芯片禁令下的国产替代方案。华为昇腾已支撑多个国产大模型训练
云算力租赁GPU 集群即服务AWS、Azure、GCP、阿里云、火山引擎大多数 AI 公司不自建机房,而是租用云厂商的 GPU 集群

第 2 层:数据工程与治理

大模型的「燃料供应链」——从原始数据到可训练数据的全流程。

子领域关键步骤代表公司 / 工具说明
数据采集网页爬取、书籍数字化、代码仓库聚合、论文收集Common Crawl、RedPajama、The PileGPT-3 用了 ~45TB 文本,LLaMA 3 用了 15T token 的训练数据
数据清洗与去重MinHash/SimHash 去重、毒性过滤、低质量过滤Dolma、RedPajama pipeline数据质量直接决定模型上限,高质量数据可让同等算力下效果提升 30%+
数据标注SFT 问答对标注、RLHF 偏好排序标注Scale AI、海天瑞声、整数智能、Surge AI人工标注是对齐阶段的核心瓶颈,标注质量和数量直接影响模型对齐效果
合成数据用强模型生成训练数据给弱模型Self-Instruct、Evol-Instruct降低人工标注成本的关键方法,但也面临「模型塌缩」风险
数据脱敏与合规PII 去除、版权过滤、GDPR 合规正则+NER 双重检测法律红线——未脱敏数据训练可能导致隐私泄露和版权诉讼

第 3 层:开发工具链与框架

大模型开发的「施工工具」——从模型定义到分布式训练的全套软件栈。

子领域关键工具代表公司 / 项目说明
深度学习框架PyTorch、JAX、PaddlePaddle、MindSporeMeta、Google、百度、华为PyTorch 占据绝对主流(~95% 的大模型使用),JAX 是 Google 系主力
分布式训练框架Megatron-LM、DeepSpeed、FSDP、ColossalAINVIDIA、Microsoft、Meta、新加坡 HPC-AI支撑千卡级集群训练的核心工程。DeepSpeed ZeRO 是最广泛使用的显存优化方案
实验追踪与 MLOpsWeights & Biases、MLflow、TensorBoardW&B、Databricks、Google记录和对比训练实验,监控 loss 曲线和关键指标
模型仓库与分发HuggingFace Hub、ModelScope(魔搭)HuggingFace、阿里达摩院模型版本管理、一键下载、社区评测,大模型生态的「GitHub」

第 4 层:基座模型研发(预训练 + 对齐)

大模型的「制造商」——投入算力和数据,产出基座模型。

类型代表模型代表公司特点
闭源顶级模型GPT-4/o/4.1、Claude 4、Gemini 2.0OpenAI、Anthropic、Google能力天花板,但只能通过 API 调用,数据不透明
开源旗舰模型LLaMA 3.1 405B、Qwen3 235B、DeepSeek-V3Meta、阿里、DeepSeek可自由部署和微调,是中国企业和开发者的主力选择
中国闭源模型文心一言、通义千问-Max、豆包百度、阿里、字节跳动中文能力差异化优势,配套 API 和应用生态
垂直领域模型CodeLlama(代码)、StarCoder(代码)、BioMedGPT(生物医学)Meta、BigCode、清华在特定领域数据上训练,垂直任务效果优于通用模型

第 5 层:模型压缩与推理优化

大模型的「降本增效器」——在尽量不损失效果的前提下,让推理更快更便宜。

子领域关键方法代表工具效果
量化GPTQ、AWQ、SmoothQuantAutoGPTQ、llama.cpp、vLLMFP16→INT8 显存减半,效果损失<1%;→INT4 显存减 75%,损失 2~5%
蒸馏Logits 蒸馏、数据蒸馏DistilBERT、Alpaca(数据蒸馏)从 70B 教师蒸馏出 7B 学生,效果接近,成本降 10 倍
推理引擎优化PagedAttention、连续批处理、投机解码vLLM、TensorRT-LLM、SGLang零效果损失,吞吐量提升 2~4 倍

第 6 层:部署与推理服务

大模型的「交付渠道」——把模型变成用户可用的服务。

部署形态说明代表服务适用场景
云端 API按 token 计费调用OpenAI API、通义千问 API、百度千帆大多数企业的首选,零运维
自建推理集群企业自建 GPU 集群vLLM + K8s、Triton Inference Server数据敏感行业(金融/医疗/政企)、大流量场景
端侧部署在终端设备上运行llama.cpp、MLC LLM、Apple Core ML隐私优先场景,如手机助手、车载 AI
Serverless 推理按需弹性、按用量计费Replicate、Modal、阿里云 PAI-EAS流量波动大、不确定用量的场景

第 7 层:应用开发与中间件

大模型的「应用工具箱」——让开发者快速构建 AI 应用。

子领域关键能力代表产品说明
LLM 编排框架Prompt 模板、链式调用、输出解析LangChain、LlamaIndex、Semantic Kernel将大模型能力封装为可编程的组件和流程
RAG 基础设施文档解析、向量检索、重排序向量数据库(Milvus/Pinecone/FAISS)、Embedding 模型让 AI 访问企业私有知识库的核心架构
Agent 平台工具调用、任务编排、记忆管理Dify、Coze、FastGPT、AutoGen低代码/无代码构建 AI Agent 的平台
评测与安全模型评测、幻觉检测、红队测试OpenCompass、HELM、Guardrails AI评估模型质量、防止有害输出的保障层

第 8 层:终端应用与垂直解决方案

大模型产业的「最后一公里」——直接面向终端用户和企业客户。

应用类型代表产品核心能力商业模式
AI 对话助手ChatGPT、Claude、通义千问、豆包、Kimi通用对话、写作、分析、编程免费增值 + 订阅($20/月)
AI 编程工具GitHub Copilot、Cursor、通义灵码、Qoder代码补全、代码审查、自动修 Bug订阅制($10~20/月)
AI 搜索Perplexity、秘塔搜索、Google AI Overview带引用的智能搜索与摘要广告 + 订阅
企业级 AI 平台Microsoft 365 Copilot、钉钉 AI、飞书智能伙伴嵌入办公套件的 AI 能力企业订阅(按席位)
行业垂直 AI法律 AI(Harvey)、医疗 AI(Med-PaLM)、金融 AI领域知识 + 合规 + 专业工作流企业 SaaS + 按效果付费
为什么要理解全链路? 大模型产业的 8 个层级环环相扣:上层的芯片供应直接影响中层的训练成本,中层的模型能力决定下层的应用可能性,下层的用户需求又反馈驱动中层的迭代方向。理解每个环节的能力边界和成本结构,能帮你更准确地评估 AI 项目可行性、识别供应商宣传中的水分、设计出合理的应用方案。
2

第一层:基础设施 — 算力、数据与工具链

基础设施是大模型产业的「地基」。这一层决定了谁能训得出大模型、训得起多大的模型。

算力基座

大模型训练需要大规模 GPU/TPU 集群。以 GPT-4 级别模型为例,训练一次需要数千张 A100/H100 GPU 运行数月,算力成本达数亿美元。

关键概念

GPU 集群:数千张 GPU 通过高速互联(如 NVLink、InfiniBand)组成训练集群,实现模型并行与数据并行。

FLOPS:衡量算力的核心指标,即每秒浮点运算次数。训练 GPT-3 约需 3.6×10²³ FLOPS。

存在意义

算力是大模型产业的「入场券」。没有足够算力,就无法训练出有竞争力的基座模型。这也是为什么目前全球只有少数公司能独立训练顶级大模型。

数据资产

大模型的「燃料」是海量高质量文本数据。GPT-3 使用了约 45TB 文本数据,包括网页、书籍、代码、学术论文等。

数据处理流水线

采集 → 去重(MinHash/SimHash)→ 清洗(去毒性/去偏/去低质量)→ 配比(不同来源数据的混合比例)→ 脱敏(PII 去除)

关键概念:MinHash 与 SimHash

MinHash(最小哈希):一种近似集合相似度估计算法。其原理是对每个文档生成多个哈希排列,取每轮排列中的最小值作为该文档的「指纹签名」,通过比较两个文档指纹的相同比例来估算 Jaccard 相似度。MinHash 的优势在于——无需逐对比较全部文档内容,就能在 O(n) 时间内从数十亿文档中找出近似重复项,是大规模语料去重的核心工具。Google 最早将其用于搜索引擎网页去重。

SimHash(相似哈希):一种局部敏感哈希算法,由 Charikar 提出。它将每篇文档映射为一个固定长度的二进制指纹(通常 64 bit),语义相近的文档生成的指纹在汉明距离上也相近(差异位少)。与 MinHash 相比,SimHash 更适合检测「近似重复」而非「完全重复」——例如两篇文章仅措辞略有不同,SimHash 仍能识别。工程实践中,两者经常配合使用:MinHash 做粗筛快速过滤,SimHash 做精筛确认近似度。

关键概念:PII 去除

PII(Personally Identifiable Information,个人身份信息)去除是数据脱敏的核心步骤。PII 包括姓名、电话号码、身份证号、邮箱地址、银行卡号、住址等可直接或间接识别个人身份的信息。在大模型训练数据预处理中,PII 去除通常通过正则表达式匹配 + NER(命名实体识别)模型双重检测,将敏感信息替换为占位符(如 [NAME]、[PHONE])或直接删除。这一步至关重要——如果训练数据中包含未脱敏的 PII,模型可能在生成文本中「泄露」真实个人信息,造成隐私安全事故。欧盟 GDPR 和中国《个人信息保护法》对此有严格的合规要求。

存在意义

数据质量直接决定模型能力上限。相同算力下,高质量数据训练的模型效果可以比低质量数据好 30% 以上。这也是为什么「数据飞轮」(用户反馈→数据改善→模型更好→更多用户)成为大模型公司的核心壁垒。

工具链与框架

训练大模型不是从零写代码,而是依赖一整套成熟的工具链:

工具用途代表产品
深度学习框架模型定义与训练PyTorch、JAX、Megatron-LM
分布式训练框架多GPU/多节点并行DeepSpeed、FSDP、ColossalAI
混合精度训练节省显存、加速计算FP16/BF16 + 梯度缩放
实验追踪记录训练过程Weights & Biases、MLflow

三大核心框架的原理与定位

PyTorch(Meta/Facebook 开源,2016 年):基于动态计算图(Define-by-Run)的深度学习框架。其核心原理是「即时执行」(Eager Execution)——每行代码定义的操作立即执行并返回结果,调试直观,像写普通 Python 代码一样自然。PyTorch 底层通过 Autograd 引擎自动计算梯度,配合 CUDA 后端调用 GPU。它之所以成为大模型时代的绝对主流,核心在于:动态图让复杂的模型结构(如 Transformer 中的变长序列、条件分支)编写和调试极为方便,研究迭代速度快。目前 GPT、LLaMA、Qwen、DeepSeek 等几乎所有主流大模型都用 PyTorch 训练。

JAX(Google 开源,2018 年):基于函数式编程和编译时优化(XLA 编译器)的深度学习框架。其核心原理是「纯函数 + 函数变换」——将计算定义为无副作用的纯函数,然后通过 jit(即时编译)、grad(自动微分)、vmap(自动向量化)、pmap(自动并行化)四种高阶函数变换组合出高效的训练代码。JAX 的优势在于编译时全局优化——XLA 编译器能对整个计算图做算子融合、内存优化,在大规模 TPU 集群上性能通常优于 PyTorch。Google 内部(Gemini 系列)和 DeepMind(AlphaFold)主要使用 JAX。劣势是学习曲线陡峭,函数式编程范式对习惯了 PyTorch 的开发者不太友好。

Megatron-LM(NVIDIA 开源,2019 年):专为超大规模语言模型训练设计的分布式训练框架。它本身不是一个独立的深度学习框架,而是建立在 PyTorch 之上的分布式训练工具包。核心原理是「张量模型并行」(Tensor Model Parallelism)——将 Transformer 层的矩阵运算切分到多张 GPU 上并行执行,配合流水线并行(不同层分配到不同 GPU)和数据并行,实现数百亿参数模型的训练。GPT-3、PaLM 等早期超大模型的训练都依赖 Megatron-LM。其后续的 Megatron-Core 进一步集成了 Expert Parallelism(专家并行),支撑 MoE 架构模型的训练。

其他重要深度学习框架

框架出品方特点与定位
TensorFlowGoogle(2015)最早的工业级深度学习框架,静态计算图(Define-and-Run),部署生态完善(TF Serving、TF Lite、TF.js)。曾统治学术界多年,但因 API 复杂、调试困难,在大模型时代被 PyTorch 全面超越。目前仍广泛用于推荐系统、CV 等工业部署场景。
PaddlePaddle(飞桨)百度(2016)中国最早的深度学习开源框架,API 设计与 PyTorch 类似,生态覆盖 CV、NLP、推荐等。百度内部及国内中小企业使用较多,配套文心大模型的训练与推理。
MindSpore(昇思)华为(2020)面向华为昇腾(Ascend)NPU 生态的深度学习框架,支持自动并行。主要服务于华为云和昇腾芯片用户,是国产算力生态的关键一环。
OneFlow一流科技/清华(2020)国产分布式训练框架,以「静态调度 + 流式并行」著称,在多机多卡训练效率上有独特优势。已并入深度学习框架的国产竞争行列。
MXNetApache(2015)曾是 AWS 的默认框架,支持多语言接口,但因社区活跃度下降已逐步边缘化,AWS 已转向支持 PyTorch。

深度学习框架的发展演进

1

第一代:静态图时代(2012~2016)

代表:Caffe、Theano、TensorFlow 1.x。特点是「先定义计算图,再编译执行」,性能好但调试困难,研究者需要反复修改图结构。这一阶段深度学习主要用于 CV(图像识别)和简单 NLP 任务。

2

第二代:动态图革命(2016~2020)

代表:PyTorch(2016)、TensorFlow 2.0(2019 转向动态图)。PyTorch 的「即时执行」范式让研究和调试效率大幅提升,迅速成为学术界首选。这一阶段 NLP 领域出现 BERT、GPT-1/2 等预训练模型,大模型雏形诞生。

3

第三代:大模型规模化时代(2020~2023)

代表:PyTorch + Megatron-LM + DeepSpeed 组合拳、JAX + XLA。核心需求从「单机训练」转向「千卡级分布式训练」,张量并行、流水线并行、ZeRO 优化成为标配。GPT-3、PaLM、LLaMA 等超大模型在此阶段诞生。

4

第四代:编译优化 + 生态融合(2023~至今)

代表:PyTorch 2.0(torch.compile 编译优化)、JAX 的 Pallas 内核编程、MoE 专用框架(Megatron-Core Expert Parallelism)。趋势是「动态图的易用性 + 静态图的性能」融合,编译器自动优化计算图,同时支撑 MoE、多模态等新型架构。国产框架(飞桨、昇思)加速追赶。

为什么工具链重要? 训练大模型的工程复杂度极高——需要在数千张 GPU 上协调计算、处理故障恢复、优化显存利用率。成熟的工具链能将训练效率提升数倍,也是区分「能训」和「训得好」的关键。
3

第二层:预训练 — 从数据到基座模型

预训练是大模型「出生」的核心环节。模型通过自监督学习在海量文本上学习语言规律,获得广泛的世界知识和语言理解能力。

核心原理:自监督学习

与传统 AI 需要人工标注数据不同,大模型利用文本本身作为「答案」。核心训练任务是 Next Token Prediction(预测下一个词):给模型一段文字,让它预测下一个词,然后对比实际的下个词计算误差并更新参数。

为什么用自监督? 互联网上有无穷无尽的文本,但不可能全部人工标注。自监督学习让模型能从无标注数据中学习,这是大模型能扩展到数千亿参数的根本原因——数据瓶颈被打破了。

Transformer 架构

当前所有主流大模型都基于 Transformer 架构,其核心是 自注意力机制(Self-Attention):让模型在处理每个词时,能「看到」并加权关注上下文中的所有其他词,从而理解长距离依赖关系。

关键超参数

参数含义典型值(70B 模型)
参数量模型内部可学习的数值总量700 亿
层数Transformer 堆叠层数80 层
隐藏维度每层内部的向量宽度8192
注意力头数并行注意力计算的组数64
上下文长度单次输入的最大 Token 数4096 ~ 128K

参数量的现实含义与主流模型对比

参数量意味着什么? 每个参数可以理解为模型的「一个记忆单元」或「一个可调旋钮」。70B(700 亿)参数意味着模型有 700 亿个可学习的数值(通常是 32 位浮点数),这些数值在训练过程中不断调整,以捕获语言的统计规律和世界知识。参数量越大,模型理论上能记住和理解的「模式」越多。如果用显存衡量:70B 模型以 FP16 精度存储需要约 140GB 显存(70×10⁹ × 2 bytes),而 7B 模型仅需 14GB。

模型出品方参数量发布时间说明
GPT-4OpenAI未公开(推测 1.7T,MoE 架构)2023.03据传采用 8×220B 的 MoE 结构,总参数约 1.76 万亿
GPT-4oOpenAI未公开2024.05多模态旗舰,推理速度大幅提升
Claude 3.5 SonnetAnthropic未公开2024.06编程能力领先,安全性突出
Gemini 2.0 UltraGoogle未公开(推测 1T+)2025.02原生多模态,200 万上下文
LLaMA 3.1 405BMeta405B(4050 亿)2024.07最大开源稠密模型
LLaMA 3.3 70BMeta70B(700 亿)2024.1270B 标杆,性价比之王
DeepSeek-V3DeepSeek671B(MoE,激活 37B)2024.12MoE 架构,训练成本仅 $5.6M,震惊业界
DeepSeek-R1DeepSeek671B(MoE)2025.01推理能力模型,强化学习驱动
Qwen3 235B阿里通义235B(MoE,激活 22B)2025.04MoE 架构,思考模式切换
Qwen2.5 72B阿里通义72B(720 亿)2024.09开源稠密模型旗舰
参数量越大越好吗?不是。 参数量是模型能力的必要条件,但远非充分条件。决定模型效果的因素有多个:第一,数据质量——Llama 2 用 2T token 训练,Llama 3 用 15T token 训练,相同参数量下效果差距巨大;第二,训练方法——DPO/RLHF 对齐技术能让 7B 模型在特定任务上超过 70B 基座模型;第三,架构创新——MoE(混合专家)架构让模型总参数很大但每次推理只激活一小部分(如 DeepSeek-V3 总参数 671B 但每次只激活 37B),实现了「大参数、小计算」;第四,推理优化——量化到 INT4 的 70B 模型,效果损失通常不到 2%,但推理成本降低 4 倍。因此,选型时应该看「在目标场景下的 benchmark 表现 + 推理成本」,而非单纯追求参数量。70B 模型是当前「性价比甜蜜点」——单卡可部署、能力全面、推理成本可控。

训练工程的核心挑战

数据并行

将训练数据切分到多张 GPU 上,每张 GPU 处理一部分数据,定期同步梯度。适合:模型能放进单卡显存的场景。

模型并行

将模型本身切分到多张 GPU 上(张量并行 / 流水线并行)。必须:当模型参数太大,单卡放不下时。

ZeRO 优化

DeepSpeed 提出的零冗余优化器,将优化器状态、梯度、参数分片存储,可节省 4~8 倍显存。效果:让 70B 模型在 8 卡 A100 上也能训练。

预训练的产出物

预训练完成后得到的是 基座模型(Base Model)。它有很强的语言理解能力,但还不会「好好回答问题」——它会续写文本,而不是按照指令做事。就像一个人读了很多书,但还没学会怎么当客服。这就是为什么需要下一步:微调与对齐。

4

第三层:微调与对齐 — 让模型「听话」

基座模型像一本百科全书——知识丰富但不会按要求做事。微调与对齐的目标是把它变成一个「好用的助手」。

1

SFT — Supervised Fine-Tuning(监督微调)

SFT 的全称是 Supervised Fine-Tuning,即「有监督微调」。其中 Supervised 指的是「有监督学习」——训练数据包含人工标注的正确答案(输入→期望输出),模型通过学习这些标注样本来改善表现。SFT 的具体做法是用人工标注的「问答对」继续训练基座模型。例如:给模型看大量「问题→优质回答」的范例,让它学会按照指令格式输出。成本:需要人工标注数万到数十万条高质量数据。存在意义:SFT 是微调的第一步,将基座模型的「续写文本」能力转化为「按指令回答问题」的能力,相当于给一个博学者培训了「客服话术」。

2

RLHF — Reinforcement Learning from Human Feedback(基于人类反馈的强化学习)

RLHF 的全称是 Reinforcement Learning from Human Feedback,拆解为三个关键词:Reinforcement Learning(强化学习,即通过奖励信号不断试错优化的机器学习范式)、Human Feedback(人类反馈,即人类标注员对模型输出的打分排序)。RLHF 的完整流程分两步:第一步,让人类对模型的多个回答打分排序,训练一个「奖励模型」(Reward Model)来学习人类偏好——什么回答更好、更安全、更有帮助;第二步,用强化学习算法(PPO,Proximal Policy Optimization)让模型在奖励模型的指导下优化生成策略。效果:让模型回答更安全、更有帮助、更符合人类期望。这是 ChatGPT 成功的核心技术——OpenAI 称其为「让 AI 与人类价值观对齐」的关键突破。缺点:需要训练额外的奖励模型,工程复杂度高;奖励模型本身可能存在偏差,导致 reward hacking(模型学会讨好奖励模型而非真正改善)。

3

DPO — Direct Preference Optimization(直接偏好优化)

DPO 的全称是 Direct Preference Optimization,由斯坦福大学 Rafailov 等人于 2023 年提出。Direct(直接)指的是——跳过 RLHF 中「先训奖励模型、再做强化学习」的两步流程,直接从人类偏好数据优化模型本身;Preference(偏好)指的是训练数据的形式——人类标注员对两个回答做 A/B 选择(偏好对比),而非打分。DPO 的数学本质是将 RLHF 中的奖励函数用模型自身的对数概率比重新参数化,从而将强化学习问题转化为一个简单的分类损失函数。优势:训练更稳定、超参数更少、工程实现更简单、无需维护额外的奖励模型。正在逐步取代 RLHF 成为主流方案。Meta 的 LLaMA 3、阿里的 Qwen 系列等新模型均已采用 DPO 或其变体。

4

指令微调(Instruction Tuning)

用多样化的任务指令(写邮件、翻译、总结、编程…)训练模型,让它能理解和执行各种任务类型。意义:大幅提升模型的泛化能力,使其在不曾见过的任务上也能表现良好。

参数高效微调(PEFT)

全量微调需要更新模型所有参数,成本极高。PEFT 技术只更新极少参数就能达到接近效果:

方法原理参数量适用场景
LoRA在权重矩阵旁插入两个小矩阵,只训练这两个小矩阵原模型的 0.1%~1%最主流,适合大多数场景
QLoRALoRA + 4-bit 量化,进一步降低显存与 LoRA 相近消费级 GPU 微调大模型
Adapter在 Transformer 层间插入小型适配层原模型的 1%~3%多任务切换
Prompt Tuning只训练输入前的可学习「软提示」向量极少量(数千参数)超大规模模型的轻量适配
对业务的意义:PEFT 让中小企业也能用一张消费级 GPU(如 RTX 4090)微调出适配自身业务的模型,大幅降低了大模型应用的门槛。
5

第四层:模型压缩与推理优化 — 降本增效

大模型训好了,但直接上线成本极高——一个 70B 模型用 FP16 精度需要 140GB 显存,至少需要两张 A100。模型压缩和推理优化的目标是:在尽量不损失效果的前提下,让模型跑得更快、更便宜。

量化(Quantization)

将模型权重从高精度(FP16/FP32)转换为低精度(INT8/INT4),减少显存占用和计算量。

精度7B 模型显存72B 模型显存精度损失
FP1614 GB144 GB基线
INT87 GB72 GB<1%
INT44 GB36 GB2%~5%

主流算法

GPTQ:逐层量化,速度快。AWQ:识别重要权重通道保留高精度。SmoothQuant:将激活值的量化难度转移到权重上。实际部署时,INT8 是生产环境的首选(效果损失极小),INT4 适合成本敏感或消费级硬件场景。

知识蒸馏(Distillation)

用大模型(教师)的输出分布指导小模型(学生)训练,让小模型获得接近大模型的效果。

三种蒸馏方式

Logits 蒸馏:学生拟合教师的输出概率分布。

特征蒸馏:学生中间层对齐教师的隐层特征。

数据蒸馏(最易落地):教师批量生成高质量训练样本,用常规方法训练学生。

为什么蒸馏重要? 它可以从 70B 教师模型蒸馏出 7B 学生模型,效果接近但推理成本降低 10 倍。对于任务固定的场景(如客服、审核),蒸馏是性价比最高的方案。

推理加速技术(零效果损失)

这些技术不改变模型参数,纯粹在推理引擎层面优化,是应该最先采用的优化手段:

KV Cache + PagedAttention

缓存历史 Token 的键值向量避免重复计算。PagedAttention 将缓存切分为固定块按需分配,显著减少显存碎片,同等显存下并发数成倍提升。

连续批处理

打破静态批处理「等一批全部完成」的限制,任意请求完成后立即插入新请求,大幅提升 GPU 利用率和吞吐量。

投机解码

用小模型快速草拟候选 Token,大模型并行验证。在输出确定的场景下,速度提升 1~2 倍且结果完全一致。

优化策略优先级:推理加速(零损失,立竿见影)→ 量化(小幅损失换大幅降本,核心业务选 INT8)→ 蒸馏(任务固定时最后考虑训练专用小模型)
6

第五层:部署与推理 — 从实验室到生产环境

模型训好、压缩好之后,需要部署到生产环境让用户能用。这一层关注的是如何高并发、低延迟、低成本地提供推理服务。

部署形态对比

形态说明优势劣势
云端 API通过 OpenAI/通义千问等 API 调用零运维、弹性扩缩数据外传、延迟受网络影响
自建推理集群企业自建 GPU 集群部署数据可控、可深度优化前期投入大、需运维能力
边缘/端侧部署在手机、PC、IoT 设备上运行零延迟、完全隐私模型大小受限、能力有限

主流推理框架

vLLM 与 KV Cache 的关系

目前最流行的开源推理引擎,由 UC Berkeley 的 Kwon 等人于 2023 年发布。理解 vLLM,需要先理解 KV Cache 的本质。

KV Cache 是什么? 在 Transformer 生成文本时,每生成一个新词都需要对所有已有词做自注意力计算。但历史词的 Key(键向量)和 Value(值向量)在之前的步骤中已经计算过了——KV Cache 就是把这些中间结果缓存起来,生成新词时只计算新词的 K/V,历史的直接从缓存读取。这样将每步计算量从 O(n²) 降到 O(n),是自回归生成的标配优化。但问题在于:KV Cache 占用大量显存且大小动态变化(不同请求的序列长度不同),传统方案要么预分配大块显存造成严重浪费(内部碎片),要么按需分配导致频繁碎片化。传统方案的显存利用率仅 20%~40%。

vLLM 的核心贡献是 PagedAttention——受操作系统虚拟内存管理的启发,将 KV Cache 切分为固定大小的「页」(类似操作系统的内存页),以页为单位按需分配和回收。这彻底解决了显存碎片问题,将显存利用率提升至 95%+。同等显存下,vLLM 可服务的并发请求数比传统方案多 2~4 倍,吞吐量相应提升。vLLM 同时支持连续批处理(Continuous Batching)和张量并行(Tensor Parallelism),是目前自建推理服务的首选引擎。

TensorRT-LLM

NVIDIA 官方优化框架,深度利用 CUDA 和 Tensor Core。在 NVIDIA GPU 上通常比 vLLM 快 10%~30%,但仅支持 NVIDIA 硬件。

关键指标

指标含义典型要求
首 Token 延迟(TTFT)用户发出请求到收到第一个字的时间<500ms
生成速度(TPS)每秒生成的 Token 数>30 tokens/s
并发吞吐单位时间处理的请求数视业务规模
单请求成本每次推理的 GPU 时间成本越低越好
7

第六层:应用层 — RAG、Function Calling 与 Agent

这是离用户最近的一层。大模型本身是一个「通用语言引擎」,但要真正解决业务问题,需要在上面叠加检索增强、工具调用、智能体编排等能力。

RAG(检索增强生成)

应用核心 解决大模型「幻觉」和「知识过时」两大问题的关键架构。

1

知识入库

将企业文档、知识库切分为小块,通过 Embedding 模型转化为向量,存入向量数据库(如 Milvus、Pinecone、FAISS)。

2

检索

用户提问时,先将问题转为向量,在向量数据库中检索最相关的文档片段。常用方法:向量相似度(cosine)+ BM25 混合检索 + 交叉编码器重排序。

3

增强生成

将检索到的相关文档片段作为上下文,与用户问题一起喂给大模型,让模型基于真实资料生成回答,而非「凭空编造」。

RAG 的业务价值:让企业可以用自己的私有知识库驱动 AI,无需重新训练模型。例如:用公司制度文档做一个内部问答机器人、用产品手册做智能客服。这是目前企业 AI 应用落地最主流的方案。

Function Calling(工具调用)

应用核心 让大模型从「只能说」进化到「能做事」的关键技术。

原理:大模型并不能真正执行外部代码,它的本质是像「写代码」一样输出被调用的函数名和参数。外部程序接收这些参数去真正执行,再把结果返回给模型生成最终回复。

工作流程

1

定义工具

开发者用 JSON Schema 描述可用工具列表(如查天气、查库存、发邮件),每个工具包含名称、描述和参数定义。

2

模型决策

用户提问后,模型判断是否需要调用工具。如果需要,输出工具名和参数(如 {"tool": "get_weather", "city": "杭州"})。

3

执行与反馈

外部程序执行工具调用,获取结果(如「杭州,晴,28°C」),将结果返回给模型,模型据此生成最终的自然语言回答。

Agent(智能体)

前沿方向 Agent 是大模型应用的最高形态——让 AI 不仅能回答问题,还能自主规划、分步执行复杂任务。

Agent 的核心能力

规划(Planning)

将复杂任务分解为多个子步骤。核心技术:思维链(CoT)、ReAct(推理+行动交替)、任务树分解。

工具使用(Tool Use)

通过 Function Calling 调用外部工具——搜索引擎、数据库、API、代码执行器等,突破纯文本限制。

记忆(Memory)

短期记忆(对话上下文)+ 长期记忆(向量存储历史交互),让 Agent 在长对话和多轮任务中保持一致。

典型 Agent 应用

场景Agent 做什么调用的工具
数据分析 Agent理解分析需求 → 写 SQL → 执行查询 → 生成报告数据库、Python、可视化工具
客服 Agent理解问题 → 查知识库 → 判断能否回答 → 转人工RAG 检索、工单系统、CRM
编程 Agent理解需求 → 写代码 → 运行测试 → 修复 Bug代码编辑器、终端、Git
办公 Agent理解指令 → 查日历 → 创建会议 → 发邮件通知日历 API、邮件 API、IM

提示工程(Prompt Engineering)

基础技能 不修改模型,通过设计输入提示来引导模型输出期望结果。这是使用大模型最低成本、最高频的优化手段。

技巧原理适用场景
Zero-shot直接提问,不给示例简单分类、翻译
Few-shot给 2~5 个示例,让模型学习模式格式一致性要求高的任务
思维链(CoT)要求模型「一步步思考」再给答案数学、逻辑推理、复杂分析
角色设定给模型指定角色身份和行为约束客服、顾问、特定风格生成
结构化输出要求模型输出 JSON/XML 等格式数据提取、结构化信息生成
8

产业生态与商业模式

产业链角色图谱

层级角色代表公司商业模式
基础设施芯片/算力提供商NVIDIA、AMD、华为昇腾卖 GPU / 云算力租赁
基座模型大模型研发者OpenAI、Anthropic、阿里通义、DeepSeekAPI 调用收费 + 企业定制
中间层工具/平台服务商LangChain、LlamaIndex、Dify、FastGPTSaaS 订阅 / 开源增值
应用层垂直应用开发者各行业的 AI SaaS 公司终端用户订阅 / 按效果付费
数据层数据标注/治理Scale AI、海天瑞声、整数智能按标注量计费

成本结构(以一次 GPT-4 级别模型训练为例)

成本项占比估算金额
GPU 算力(训练)~50%$50M ~ $100M
数据采购与标注~15%$10M ~ $30M
人才(研究员+工程师)~20%$20M ~ $40M
GPU 算力(推理运营)~10%持续支出,按月计
其他(电力、网络、运维)~5%$5M ~ $10M
注意:以上为前沿模型成本。对于应用层企业,使用 API 调用的成本远低于自训模型——一次 API 调用成本通常在 $0.001~$0.05 之间。绝大多数企业不需要自己训基座模型。
9

全球大模型进化时间线(2020~2026)

以下时间线回溯近 5 年全球主要大模型的关键发布节点,按时间排列。不同国家/地区用标签区分:美国 中国 欧洲 日韩

2020 年 5 月
GPT-3 美国 · OpenAI
175B 参数,首次展示「大规模语言模型 + In-context Learning」的涌现能力。无需微调即可通过提示词完成翻译、问答、代码生成等任务。标志着大模型时代的真正开端。
2021 年 1 月
DALL·E 美国 · OpenAI
首个大规模文本到图像生成模型,基于 GPT 架构 + VQ-VAE,展示了多模态生成的可能性。
2021 年 10 月
文心大模型 ERNIE 3.0 中国 · 百度
百度发布千亿参数级中文大模型,融合知识图谱预训练,在中文 NLP 任务上达到领先水平。标志中国大厂全面入局大模型赛道。
2022 年 3 月
PaLM 美国 · Google
540B 参数,使用 JAX + TPU v4 训练。在推理、代码生成和常识问答上超越 GPT-3,展示 Google 在大规模训练工程上的实力。
2022 年 11 月
ChatGPT(基于 GPT-3.5 + RLHF)美国 · OpenAI
大模型产业的「iPhone 时刻」。通过 RLHF 对齐技术让模型输出符合人类对话习惯,上线 5 天用户破百万,2 个月破亿,成为历史上增长最快的消费级应用。彻底引爆全球 AI 热潮。
2023 年 3 月
通义千问 Qwen / 文心一言 / 天工 / 星火中国 · 阿里/百度/昆仑万维/科大讯飞
中国「百模大战」序幕拉开。阿里发布通义千问、百度文心一言正式版、科大讯飞星火等相继开放。中国大模型在中文理解和文化知识上展现差异化优势。
2023 年 3 月
GPT-4 美国 · OpenAI
多模态旗舰(文本+图像输入),推理能力大幅跃升。在律师资格考试中位列前 10%,SAT 数学满分。确立了大模型能力的「天花板标杆」。
2023 年 7 月
LLaMA 2 开源 美国 · Meta / 中国生态跟进
Meta 开源 7B/13B/70B 三档模型并允许商用,引爆开源大模型生态。中国团队迅速在此基础上做中文增量训练,催生了 Chinese-LLaMA、Baichuan 等开源项目。
2023 年 11 月
Qwen-72B 开源 / DeepSeek-Coder 中国 · 阿里 / DeepSeek
阿里开源 72B 稠密模型,多项 benchmark 超越 LLaMA 2。DeepSeek 发布代码专用模型,编程能力接近 GPT-3.5。中国开源模型开始进入全球第一梯队。
2023 年 12 月
Gemini 1.0 美国 · Google
Google 发布原生多模态大模型(Ultra/Pro/Nano 三档),首次实现文本、图像、音频、视频的统一编码与理解,直接对标 GPT-4。
2024 年 1 月
Mistral 7B / Mixtral 8x7B 欧洲 · Mistral AI(法国)
法国初创 Mistral AI 开源 7B 模型(超越 LLaMA 2 13B)和首个开源 MoE 模型 Mixtral 8x7B。以极少团队和资金做出顶级模型,震动业界。欧洲大模型的旗帜。
2024 年 3 月
Claude 3(Opus/Sonnet/Haiku)美国 · Anthropic
Anthropic 发布 Claude 3 系列,Opus 在多项测试中超越 GPT-4。首创 Constitutional AI 安全对齐方法,安全性成为差异化竞争力。
2024 年 5 月
GPT-4o 美国 · OpenAI
「o」代表「omni」(全能)。原生多模态模型,支持文本、图像、音频实时交互。推理速度比 GPT-4 Turbo 快 2 倍,成本降低 50%。
2024 年 6 月
Qwen2 系列 中国 · 阿里
阿里发布 Qwen2 全尺寸系列(0.5B~72B),多语言能力和代码能力大幅提升。在 HuggingFace 开源榜单上多次登顶,成为中国开源大模型的标杆。
2024 年 7 月
LLaMA 3.1 405B 美国 · Meta
Meta 发布 405B 参数开源模型,首个开源模型在综合能力上接近 GPT-4 水平。128K 上下文,8/16 语种支持。开源社区的里程碑。
2024 年 9 月
Qwen2.5 全系列 中国 · 阿里
涵盖 0.5B 到 72B 的完整尺寸矩阵,配套代码模型 Qwen2.5-Coder 和数学模型 Qwen2.5-Math,在垂直领域达到开源最优。
2024 年 12 月
DeepSeek-V3 中国 · DeepSeek
671B MoE 架构(每次激活 37B),训练成本仅 $5.6M(2048 块 H800),效果比肩 GPT-4o 和 Claude 3.5 Sonnet。以极低成本实现顶级性能,震动全球 AI 产业,引发美股科技股大跌。
2025 年 1 月
DeepSeek-R1 中国 · DeepSeek
推理能力模型,通过强化学习(非 SFT)训练出「思考链」能力。在数学和编程推理上达到 o1 水平。开源发布,推动全球「推理模型」热潮。
2025 年 2 月
Sakana AI / Preferred Networks 日本 / 韩国 · Naver
日本 Sakana AI(由前 Google 研究员创办)发布「进化模型优化」方法,用 AI 自动优化 AI 模型架构。韩国 Naver 的 HyperCLOVA X 持续迭代,在韩语任务上保持领先。日韩在大模型赛道上更聚焦垂直场景和效率优化。
2025 年 2 月
Gemini 2.0 / Claude 3.7 Sonnet 美国 · Google / Anthropic
Google Gemini 2.0 支持 200 万 token 上下文、原生 Agent 能力。Anthropic Claude 3.7 Sonnet 首创「扩展思考」模式,用户可控制思考深度。推理模型成为主流方向。
2025 年 4 月
Qwen3 / Kimi k1.5 中国 · 阿里 / 月之暗面
Qwen3 235B(MoE,激活 22B)支持「思考/直答」双模式切换。月之暗面 Kimi k1.5 在长文本推理上取得突破。中国模型在推理能力上快速追赶。
2025 年 4~5 月
o3 / GPT-4.1 / Claude 4 美国 · OpenAI / Anthropic
OpenAI 发布 o3 推理模型和 GPT-4.1(代码能力大幅提升)。Anthropic 发布 Claude 4(Opus/Sonnet),在编程和长任务执行上实现新突破。大模型能力持续攀升。
2025 年 7~10 月
DeepSeek-V3.1 / Qwen3-Max / GLM-5 中国 · DeepSeek / 阿里 / 智谱
DeepSeek 迭代 V3.1 版本,强化代码和工具调用能力。阿里发布 Qwen3-Max 闭源旗舰模型。智谱 GLM-5 在多模态和 Agent 能力上大幅升级。中国模型生态日趋成熟。
2025~2026 年
Mistral Large / Aleph Alpha 欧洲 · Mistral AI / Aleph Alpha(德国)
Mistral 持续迭代闭源旗舰模型 Mistral Large,主攻欧洲企业市场。德国 Aleph Alpha 聚焦政企私有化部署。欧盟《AI 法案》生效,成为全球首个全面监管 AI 的法律框架。
2026 年
Agent 生态爆发与多模态融合 全球
大模型竞争焦点从「参数规模」转向「Agent 能力」「工具调用精度」和「多模态融合」。主流模型均支持文本/图像/音频/视频统一理解和生成。端侧部署(Apple Intelligence、高通骁龙 NPU)成为新战场。开源与闭源生态并行发展。
关键趋势总结:2020~2023 年是「参数军备赛」阶段,模型越来越大;2024 年起进入「效率革命」阶段,MoE 架构和训练优化让低成本训出顶级模型成为可能(DeepSeek 为代表);2025~2026 年进入「推理+Agent」阶段,模型能力重心从「知识记忆」转向「深度推理」和「自主执行」。中国模型在开源生态中快速追赶,中美差距持续缩小。

参考来源

Large Language Model Supply Chain: A Research Agenda (ACM / arXiv, 2024) 从理论到实践:大模型开发全流程指南 (百度智能云) 大模型部署与推理优化全解析:量化、蒸馏与加速技术深度解读 (阿里云开发者社区) Function Call 讲解:AI 大模型走向实用化的关键一步 什么是 RLHF?基于人类反馈的强化学习简介 (AWS) ChatGPT 背后的「功臣」—— RLHF 技术详解 (HuggingFace) Industrial applications of large language models (Nature, 2025) Large Language Model Market Size, Share, Forecast 2034 (Fortune Business Insights) 如何通过 Function Calling 实现工具调用 (阿里云文档) LLM 模型压缩:如何降低大模型推理成本