本文是《扩散模式 VS 推理模式》系列的技术纯享篇。上一篇做了全景对比，这篇把两套引擎从数学、架构、训练、采样到性能工程的底层原理逐层剥开，面向已有 AI 基础、想真正动手或搞懂机理的读者。文中包含可运行的代码示例。
壹 · 先立坐标：两套引擎在解决同一个问题
生成模型与推理模型看似风马牛不相及，可它们的本质是同一个问题：如何让一个参数化的函数逼近一个复杂的（高维）分布，并从中高效地采样出"新样本"。
- 扩散（生成）模式逼近的是数据分布 $p(x)$ ——它想知道"合理的图像、合理的音频长什么样"，从而能从纯噪声里还原出从未见过的 $x$。它押注的是结构涌现：极深的网络、海量的数据、逐格往返的去噪扰动，让隐含在天量样本里的结构自己浮现出来。它关心的是"像不像真"。
- 推理（思考）模式逼近的是一个条件映射 $p(y \mid q)$ ——给定一个问题 $q$，它想知道"通往正确答案 $y$ 的那条路径"。它押注的是链式演绎：把复杂的、不能一步到位的目标，拆成一个个小步，逐步推进、随时自检、必要时回溯换路。它关心的是"对不对、怎么来的"。
技术路线于是分岔成两条完全不同的工程路径：前者用随机微分方程（如何扩散、如何逆扩散）在连续空间里画曲线；后者用自回归解码 + 增量扩展（如何把愈多的思考时间兑换为愈高的正确率）在离散 token 上走链条。理解这一对"像不像真"与"对不对"的分野，就是读懂后面一切技术细节的钥匙。
贰 · 基础理论：从"噪声分布"到"token 序列"
2.1 扩散的理论骨架：变分下界与分数匹配
扩散模型（DDPM，Ho et al., 2020）把生成写成两个可学习的马尔可夫过程：
- 前向过程（加噪）：每一步 $q(x_t\mid x_{t-1})=\mathcal{N}(x_t;\,\sqrt{1-\beta_t}\,x_{t-1},\,\beta_t I)$，逐步把干净数据 $x_0$ 加噪到近乎纯噪声 $x_T$。得益于高斯的可加性，我们无需逐帧模拟，一步即可写出任意时刻的状态： $q(x_t \mid x_0)=\mathcal{N}(x_t;\, \sqrt{\bar\alpha_t}\,x_0,\,(1-\bar\alpha_t)I)$，其中 $\bar\alpha_t=\prod_{s\le t}(1-\beta_s)$。
- 反向过程（去噪）：若已知"第 $t$ 步的噪声图"，训练网络 $p_\theta$ 去预测"上一步更干净的那张图"，或等价地直接预测"这一格到底加了什么噪声"。
训练目标来自**变分下界（ELBO）**的简化。Ho 等人的关键洞察是：对 KL 散度逐项展开后，那些与参数无关、或对噪声尺度不敏感的权重项可以忽略，最后收敛成一个非常干净的均方误差形式： $$ L=\mathbb{E}_{t,\epsilon}\left[\big\|\epsilon-\epsilon_\theta\big(\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\;t\big)\big\|^2\right] $$
它的工程含义极其优雅：在随机的 $t$ 上加一个已知的高斯噪声 $\epsilon$，让网络去预测"我加了什么噪声"。把"学习整个分布"变成了"学习噪声残差"，训练天然稳定、可并行，还能对全体时间步同时做监督。这看似简单，却是扩散之所以碾压 GAN 的根：GAN 需要对抗性的纳什均衡，容易不收敛；扩散只要做回归。
展开看，这个"简化后"的损失其实隐藏了三层直觉：
- 时间均匀采样。$t$ 从 $1..T$ 均匀抽取，每个时间步都得到同样的监督权重，网络被迫学会"从任一噪声程度都能推断出该去掉的残差"，这让它对"中途接手"极其鲁棒——你永远可以把一个已经噪声了一半的图丢给它继续去噪。
- 方差计价。$t$ 越大，$(1-\bar\alpha_t)$ 越大、信噪比越低，任务越"难"；等价地重加权后可解释为学习在不同的 SNR 档位上都做好"信噪分离"。这构成了扩散与图片超分（SR）、高斯去噪（denoising）等经典任务的直接血脉关系。
- 与 score 的等价。预测噪声 $\epsilon_\theta$、预测 score $s_\theta$、预测速度 $v_\theta$ 在数学推导上只差一个系数，训练目标本质同一。这也解释了为什么不同实现（DDPM 官方的噪声预测、流匹配的速度预测）可以共享几乎相同的工程框架——它们是在解同一个 ODE 的"不同坐标".
关于"到底预测什么"的取舍，三者在数值上并不完全等价：预测噪声对**小噪声（高 SNR）**区域误差更敏感，预测速度 $v$ 在中高 SNR 更平稳，而 ODE 求解器（如 DPM-Solver、Euler）对"越线性越好的路径"更友好。工程上没有一个绝对最优，常常是"按任务调损失权重 + 配一个求解器"来折衷——这给"调参星人"留下了巨大的发挥空间，也解释了为什么同一套扩散代码在不同工程师手里质量能差出一大截。
Score-based 视角（Song & Ermon, 2019）则揭示了更深的本质：网络在拟合的其实是对数概率的梯度场 $\nabla_x \log p_t(x)$（即 score）。生成 = 沿着这个分数场的方向，用朗之万动力学或求解反向 SDE，从噪声自发地游回数据流形。它把 DDPM 与 score model 统一进同一个随机微分方程框架： $$ dx = -\tfrac12\,g(t)^2\,\nabla_x\log p_t(x)\,dt + g(t)\,d\bar W $$ 这个统一框架的价值在于：采样被看作"顺着概率的山坡往下走"，而所有加速技巧（预测噪声、预测速度、学习 ODE）都只是给这场"下坡"找一条更短、更稳的路。
流匹配 / 整流流（Flow Matching / Rectified Flow，2023–2024） 再迈一步：不再执着于"逐帧去噪"，而是直接定义一条直线插值路径 $x_t=(1-t)\,x_0+t\,\epsilon$，用一个网络去拟合连接两端的速度场 $v_\theta$，然后求解 ODE $\frac{dx}{dt}=v_\theta(x_t,t)$ 完成采样。直线路径比扩散的曲线路径更短、更平滑、更利于大规模扩展到十亿级以上的参数（FLUX 12B 级、Sora 均受益于此）。流匹配还把"生成"与"输运"（optimal transport、直通配准）联系起来，让训练目标更规整。
一处常常被忽略、却决定训练质量的细节：噪声计划（noise schedule）与信噪比（SNR）。 扩散里 $t$ 不是一个抽象时刻，而是具体对应一个"信噪比"。定义 $\mathrm{SNR}(t)=\bar\alpha_t/(1-\bar\alpha_t)$，它随 $t$ 单调下降，从 $t=0$（干净图、SNR→∞）降到 $t=T$（纯噪声、SNR→0）。模型本质上是在每个 SNR 档位上都学会"信噪分离"。最早的 DDPM 用线性 $\beta_t$ 计划，但它在两端（$t$ 很小时 SNR 高的干净区、$t$ 很大时噪声饱和区）分配的监督过密；后来被广泛采用的 cosine 计划把 $\bar\alpha_t$ 做成余弦衰减，让中间 SNR 区得到更充分的训练权重，常见的"画质提升但不失前端细节"往往就来自这个小改动。新一代模型（SD3、FLUX）更进一步，直接用 logit-normal 分布去采样噪声水平（训练时 $t$ 不再均匀抽，而是偏向"中等难度"的样本），让网络把精力花在最能区分"好看与不好看"的区间上。理解了 SNR，也就理解了为什么"采样步数前段多、后段少"能省时不掉质——前面几步在降 SNR、定"骨架"，后面几步在高 SNR 区抠"细节"，后者每一步的边际收益本来就低。这也是高低阶求解器（DPM-Solver、EDM 的 Euler）能在同等步数下显著提升质量的本质：它们是在对这条 SNR 轨迹做更聪明的数值积分，而不是简单地"多走几步"。
统一视角：ELBO、score 与 flow 在拟合同一个量。 把三种范式放在同一张底图上，会撞见它们共享的"配分函数算不出来，就绕开它"的共识：score 匹配与朗之万动力学不必算出 $\log p(x)$ 的归一化常数，只要它的梯度；ELBO 用变分近似替代真实似然；flow 干脆只学一条速度场。一句话概括三者关系——score 是"移动的梯度场"，flow 是"连接端点的速度场"，ELBO 是这些场必须满足的最小作用量泛函。在连续时间极限 $T\to\infty$、积分步长 $\to0$ 下，DDPM 的逐帧去噪、score 的朗之万步、flow 的 Euler 步，最终都收敛到同一条概率路径 ODE/SDE 的离散近似。这个抛开实现的等价关系，是理解"一篇论文为何能一劳永逸地拔高另一个框架"的方法论根基。
再补一层"几何"直觉：流匹配把生成看成 optimal transport 问题——在噪声分布与数据分布之间找成本最低的搬运方案。线性插值路径之所以被偏爱，是因为它同时是平移加缩放，噪声与数据在特征空间几乎天然对齐；而更激进的 reflow（重整流） 让上一条轨迹展开出数据对、再学习"拉直"后的路径，把弯曲曲线逐步掰直，使单步采样逼近多步质量——这正是 FLUX 能在 1–2 步出图还不糊的数学支撑，也是"少步数生成"这条赛道的根。
2.2 推理的理论骨架：自回归 + 测试时扩展
推理模型（o1、DeepSeek-R1 等）的底座仍是 Transformer 自回归解码：
$\log p(y\mid q)=\sum_t\log p(y_t\mid y_{ 把"会想"拆成三笔账，是看推理模型厂商时更通透的框架。预训练给的底子：基础模型在万亿级语料上学会语言、常识与近似"直觉"，但此时只是"会接话的程序性直觉"，并不会主动多想；后训练给的功法：通过 SFT + RL，把"先想后答"的行为策略固化进权重——这是 2024 年后模型真正的分水岭，o1/R1 的训练重点不是"知道更多"，而是"想不想、想到何时、如何验证"；测试时给的算力：同样的权重，此刻把它思考预算调大，正确率就平滑抬升——这是测试时扩展律的实践含义。三者串成一个闭环：策略不变，靠时间换正确率。理解这笔账，就能理解为什么参数、知识量相近的模型，是不是"推理模型"能差出整整一个时代。 一句话收束：扩散学的是"分布的形状"，推理学的是"解序列的分布"；前者在连续空间里走曲线，后者在离散 token 上走链条。 分岔的起点是连续 ↔ 离散，分岔的终点是成本与正确率的完全不同的曲线。 数据：一个靠天养、一个靠人造。 扩散模型的数据是"免费"的——图像、视频、音频本身就是标签，网络要学的"合理长什么样"就藏在原始素材里，洗干净就是监督信号。推理模型却不同：它需要**"问题 + 可验证的答案"这种稀缺组合。数学题要真值、代码要能跑通的测试、科研推理要可引证的推导，对人类来说费尽心力标注的这部分数据，恰恰是推理能力的地基。这也解释了为什么"合成数据 / 蒸馏"对推理如此重要——R1 用 seed 模型自回放生成"带 reward 的思考轨迹"，再把这些轨迹蒸馏进小模型（R1-Distill），等于让数据像滚雪球一样自我增殖**，绕开了"真人标注昂贵"的死结。 评估：一个看"像不像"，一个看"对不对"，测不了也要硬测。 生成质量用无参考指标 + 人评来衡量：FID（分布距离，衡量"像不像整体统计"）、明确的 prompt-following 指标（对齐度）、以及大量的人类偏好（哪张图更好看/更像）——因为它们本质上没有"唯一正确答案"。推理质量则用有标准答案的基准来考：数学（MATH、AIME）、科学（GPQA）、代码（HumanEval、LiveCodeBench）、通用智力（MMLU 等）。推理还有一个生成没有的特殊现象：AI 可以用"低样本数 + 高度乐观"在考卷上取得虚高成绩——所以社区的共识是"考卷要藏起来、要动态换题"，防的就是模型在基准上被"背题式过拟合"。理解了"食谱与考卷"的差异，你就明白为什么一个大模型能"画得好但算不清"，另一个能"算得准但画得糙"——它们从数据到验收的全链路，本来就不是一个物种。 再往"测"这层钻一层，会看到两把尺子各自的刻度问题。生成侧的"好看"没有绝对基准：FID 只量两张分布的统计距离，高 FID 并不等于观感好，于是工业线普遍"机器指标筛初选 + 人类打 A/B"两级评审；人评成本高，常被压成"锚定一张参考图的相对打分"，这就引入了评审者偏好噪音——为什么商用图文模型总在"有人惊艳、有人油腻"之间摇摆，根源正在这里。推理侧的"高正确"也未必可信：模型可能"背题式过拟合"（题面已在预训练语料里见过，即 benchmark contamination），也可能在分布外题目上过度自信（校准差：报了 95% 置信、实际只有 60% 正确）。严肃的推理评测因此在做三件事：动态换题/藏库（防污染）、报告校准曲线而非单一准确率、用"分步正确率"定位错误来源。读得懂这些"刻度陷阱"，才不会被一张漂亮的评测表冲昏头脑。 采样时我们从 $x_T\sim\mathcal{N}(0,I)$ 出发，沿着网络预测的反向步反复推进。DDIM 的贡献是发现：能用"确定性的跳步"在更少的步数里逼近同样的边缘分布，把原来上千步压缩到 20–50 步，质量损失可控。真正让一线工程师天天在用、效果差异巨大的三个技巧： CFG 的数学要再抠一下，因为它藏着生成质量的分水岭。设条件预测为 $\epsilon_c$、无条件为 $\epsilon_u$，外插强度 $w$ 通常取 3~7：
$\tilde{\epsilon}=\epsilon_u+w\,(\epsilon_c-\epsilon_u)$。从 score 视角看，这等价于把"给条件信息让出来的那份梯度额外放大" $w$ 倍，即 $\tilde \nabla=(1-w)\nabla_u+w\nabla_c$。当 $w$ 过界（如 >10），模型会过度自信地"臆想"提示词里其实没有的细节，出现"提示词有的部分被缝合成不可能的物体"这种典型崩塌；当 $w$ 太接近 1，又贴不住语义。所以 CFG 是一种"用可控的失真换服从"的显式偏差——它的存在本身就说明扩散模型从来没有真正学会"严格理解语义"，只是会在"像分布"与"像提示"之间走钢丝。理解这一点，就能理解为什么扩散在纯逻辑问答上一向弱，而推理模型恰好补上这块短板。 把几十步压成一两步的极致：一致性模型与蒸馏。 步数一直是扩散最大的时延痛点。一致性模型（Consistency Models, 2023） 的核心思想是：让网络对"同一条采样轨迹上的任意两点"产生一致的输出——谁都能看出"这一步该长什么样"，从而把多步教师蒸馏成几乎单步的学生。工业界的 DTM（Direct ∞/Few-Step Distillation）、LCM（Latent Consistency Model） 走的是同一条路：保留大模型质量，却把这延迟从秒级降到亚秒级。这对"实时/交互式生成"是决定性的：没有少步化，文生图永远只能是"等待出片"，而不是"边画边聊"。 把"步数"翻译成"数值积分"，采样器的黑盒就打开了。 主流采样器都可以理解为用不同阶数的数值方法去解同一条"概率路径 ODE"。DDIM 是这条 ODE 的一阶（Euler）近似——用确定性的离散递推去逼近原来上千步的加噪-去噪马尔可夫链，等于"用 50 个积分段代表 1000 个"。DPM-Solver 更进一步：它抓住扩散 ODE 里"线性系数 + 归一化系数"的解析结构，把一大段积分提前解析掉，只对非线性残差做校正，于是能以高阶精度在 20 步内逼近上千步的结果。EDM 则跳到重参数化之后的坐标系里，用二阶 Heun 步收敛得更稳。把这些串起来是一条清晰的技术脉络：换更聪明的 ODE 求解器，往往比加采样步更划算——步数×体量是随步数线性增长的硬成本，而求解器只是把你已知的路径积分得更聪明，边际成本近乎为零。这也是扩散性能工程的第一课：先换求解器，再谈加步数。 采样步表（timesteps/sigmas 的分布）同样左右观感：对超高噪声区（定骨架）给太多步，会挤占高信噪区（抠细节）的预算。工业线普遍用"karras 步表（低噪声段更密）+ 二阶求解器"的组合来同时讨好观感与迭代成本。理解信噪比的分配，就理解了为什么同样的模型、同样的步数，不同采样器出图的观感能差出两个档次。 推理模型推理时依然自回归，但多了两套功力： 把"验证"这个环节拆深一点，是理解推理工程的分水岭。验证器有两个层次：**结果奖励模型（ORM）**只看最终答案对不对，训练简单、监督弱；过程奖励模型（PRM）逐步给"这一步思考合不合理"打分，监督更细，能在思考尚早时就把跑偏的分支剪掉——这正是 o1 系在数学/代码难题上胜过纯波动采样的关键之一。到了推理（采样）阶段，两种主要搜索派别浮出水面：左偏/贪心式束搜索（每次保留 top-k 分支继续）适合"路径稀疏、走错难回"的问题；类 MCTS 的随机回溯型搜索（允许扩充分支-仿真-评估-回溯）适合"探索空间庞大、奖励稀疏"的谜题。工程上最大的坑是评估函数本身要靠另一个模型，评估越不准，搜索增益越会被噪声吃掉——所以"训练一个好的过程验证器"往往比"把搜索树建得更大"更值钱。这也是为什么推理模型军备竞赛，本质上在比"谁会验证"。 投票与搜索到底在花多少钱？ 正确率的提升本质是"多数表决"的统计效应：当单样本正确率 $p>0.5$ 时，$N$ 次独立采样取众数，失败概率随 $N$ 指数衰减，但代价是 GPU 时长的线性增长——"花 4 倍算力把错误率从两成压到百分之一"正是 Best-of-N 的真实写照。树搜索把这笔账写得更细：它在分支（探索）与深度（精进）之间显式分配预算，用一个前沿节点优先级（优先队列 / 驳回启发）决定该在哪个岔路口多花一步。真正决定成败的不是"树有多大"，而是价值函数的信噪比——评估器的一点点偏差，会被树的反复评估放大成系统性漂移。这也是工程里"宁可少卷一半的树宽，也要把验证器分数训得更准"的共识来源。 还有更反直觉的现象值得记录：存在"临界思考预算"。对复杂题，思考预算不足时正确率反而可能低于直接作答——因为浅思考替模型种下了"半途的、看似合理实则错误的"前提。曲线呈"先跌后涨"，提示精确分配预算（该想的想够、不该想的不硬想）比"无条件往长里想"更关键，这也直接导出了"自适应 effort / 确定性预算分配"这条产品方向。 训练端的地基是强化学习。 DeepSeek-R1-Zero 的做法最有代表性：不给任何标准答案与步骤示范，只给最终的正确/错误奖励信号，用 GRPO（Group Relative Policy Optimization） 在"组内相对优势"上做策略更新，省掉了传统 PPO 里庞大的 Critic 价值模型。模型在海量自回放试错里涌现出可解释的长思维链——训练曲线上正确率的突然跳升，被社区戏称为模型的"顿悟时刻"。OpenAI 的路线也大致如此：大规模 RL + verifier + 多轮任务，把"会推理"写进权重，而不是靠提示词魔法。 RL 训练的两个"暗坑"，决定了你看到的推理模型是"稳"还是"歪"：一是PPO vs GRPO 的取舍。PPO（OpenAI 常用）用一个独立的 Critic 估计"当前这一步有多好"，方差低但对显存与调参极度敏感；GRPO（R1）不用 Critic，改为在同一问题内让多个采样互相比较取组内优势，省了价值网络、训练更稳，但要求一次能开出足够多样性的样本，"靠并列分出好坏"。二是奖励黑客（reward hacking）——模型在无限试探里会找到"把得分刷高但不真正解决问题"的捷径（比如把答案写得很长诱导判分、或发现判分逻辑的漏洞）。为此工业界在奖励端做三层防御：用规则判分（数学/代码天然可机检）压住最基础的作弊；用过程/结果奖励模型（PRM/ORM）把"答对了"和"答对了且路径对"分开衡量；再对"过度化简推广"设绊，防止模型靠牺牲泛化来讨好奖励。推理能力的前沿竞争，很大程度上就是在比"谁能造出更难被 hack 的验证器"。 另外要注意推理 RL 的数据飞轮与蒸馏：R1 并不只在训练大模型，它把"带思考轨迹的偏好数据"二次利用，蒸馏成 R1-Distill 等小模型，让"推理能力"被压进更便宜的参数里——这是"推理民主化"的引擎，也解释了为什么开源推理小模型能很快接近闭源前列。 扩散侧还有一个常被忽略的工程要点——VAE 到底在做什么。它把 512×512 的图像压成 64×64×4 的潜表征，真正的"扩散"发生在很小的潜空间里；生成完之后再由 VAE 解码器还原成高清图。所以"扩散模型的质量上限"其实一半握在 VAE 手里：VAE 的重建质量决定画质的底色，扩散只负责在潜空间里"编曲"。这也是为什么新一代模型总是伴生更强的 VAE。 架构细节里还藏着两个"魔鬼"：位置编码与 KL 正则。 MMDiT 在把图像 patch 展平进注意力时，必须叠加精细的 2D 位置编码（RoPE）+ 条件注入，否则模型分不清"谁是左上角、谁是右下角"，构图会废；而 VAE 训练里那个常被忽略的 KL 项在潜空间和"紧凑够用"之间做折中——KL 权重太小，潜空间太散、生成时容易"放飞"；太大，潜空间太挤、细节被压没。新一代模型多对 KL 项做动态权衡，这也是"画质"之争里最容易被忽略的一环。 再往 DiT 底层钻一层，会发现"让 Transformer 吃像素"并不便宜，成画出色的背后是几处精心设计。图像先按 $p\times p$ 切成 patch 再投影成 token（patchify，把 256px 折叠成 4×4 网格），每个残差块用 adaLN-zero（自适应 LayerNorm + 零初始化调制）把时间步 $t$ 与文本条件"调制"进各层——零初始化保证训练早期不偏离恒等残差，是大规模自举得以稳定的关键。长序列/长视频则由窗口注意力 + 2D/时间混合 RoPE 控制平方成本。这些"没什么了不起、藏得却很深"的细节，往往决定了同样架构的口碑复现能做到官方几成画质。 扩散的疆域远不止"画一张图"。 把它搬到视频上，就是可灵、Sora 的底气——在 MMDiT 之上加时空因子化：每一层拆成"帧内空间注意力 + 跨帧时间注意力"，让长视频在可控显存里训完；再靠"首帧/尾帧条件"与"续写上下文"把叙事续接起来。搬到音频上（如 AudioLDM），它生成的是对数梅尔谱的潜表征，再用声码器还原成波形，就能做配乐、音效、语音克隆。而3D 与世界模型是 2026 年最热的延伸：让扩散不只生成一帧画面，而是生成"可交互的、物理一致的世界"——这既是游戏/影视资产生成的生产力革命，也是通向"视频本身能作为推理介质"的第一块砖。 推理模型重装的是"能装下更大脑子"的工程： 自回归里唯一恒定主导吞吐的是注意力，它有两张账单：算力（每 token 对历史全部 KV 做点积）与显存（KV 随序列线性膨胀）。系统工程把注意力从"平方的算力问题"拆成"可近似、可并行、可分页的访存问题"： 训练成本的口径差异大得惊人：Stable Diffusion 公开训练约 15 万 GPU·小时（约 60 万美元、256 台 A100）；有人把训练压到 1890 美元、37M 张图、1.16B 参数、8 卡 H100 约 2.6 天；而训练一个前沿推理大模型的算力门槛要高几个量级——这就是"画图能人人玩、思考只有巨头玩"的本质原因。之所以差距如此大，除了模型体量差异，还因为推理模型要反复生成 rollouts（一次推理 = 一次完整的生成 + 奖励评估），训练时的大头反而在"让它自己打无数遍草稿"。 可控性与适配是生成侧训练的另一片战场，也是它最接地气的工程： 推理侧的训练则完全是另一副面孔：测量与奖励的稀缺。做生成模型，全世界都是你的训练数据（图、视频本身就说"合理长这样"）；做推理模型，你得先造出"好问题 + 正确/可验证答案"，还要设计奖励函数（规则判分、单元测试、真值比对、人类偏好）。高质量推理数据远比原始图文稀缺，这决定了推理模型的迭代速度受"数据工程 + 验证器质量"双重钳制，也是整个推理赛道壁垒最深、最不容易被开源快速追赶的一环。 现代大模型无一不靠一套成熟的分布式训练脚手架拖着走，这也是"训练成本"数字背后更隐蔽的工程师成本： 扩散与推理在这一片工地的差别主要还是"模式"：扩散大批数据、逐 batch 回归，天然好并行；而推理 RL 的 rollout 是"一个 prompt 开出很多条轨迹、各走到底再统一判分"，通信与判分逻辑更重——这也是为什么 RL 训练比纯预训练更吃"稳定的万卡集群"。 下面的代码演示扩散训练的全部骨架——forward 一步加噪 + 网络学残差。真正的工业实现会换成 DiT/MMDiT、加 CFG、加 VAE 潜空间，但骨架就是这段： 这一节是"能不能落地"的关键。两张图看完真相： 推理侧还有一套专门对抗"顺序依赖"的系统工程，值得单独点透： 扩散侧的性能工程同样细腻：潜空间并行 + 步数蒸馏 + 姿态一致性三位一体。在潜空间做扩散已经省了量级算力；再配合"把条件与噪声做加权调度"和"低精度量化（FP8 潜空间）"，能让一台 4090 把 SDXL/FLUX 从"分钟级"压到"秒级"；视频侧则靠"时空因子化 + 并行出帧"对抗长序列的显存与延迟。一句话：两套引擎真正的性能分水岭，不在"谁模型更大"，而在"谁更懂自己的瓶颈在带宽还是算力"。 理性选择也因此清晰：创意批量、低延迟、本地部署 → 扩散；高正确率、可审计、难题攻坚 → 推理。 绝大多数真实系统是"扩散出稿、推理审稿"的混编。 把"显存账"算清楚，很多选型就自动明白了。 一个约 70B 参数的模型，权重的显存占用随精度变化是教科书级的关系：FP16/BF16 约 140GB、INT8 约 70GB、INT4 约 35GB——这也直观解释了为什么同代模型"更小的精度 = 更小的卡就能跑"。但权重只是显存账单的一半，另一半是 KV 缓存：它随"序列长度 × 层数 × 注意力头×量化页"线性膨胀，正是它决定了"能塞下多长的思考链"。 把模型"卖"成服务，是另一笔独立的账。 一个推理 API 的毛利率，往往由三处"看不见"的工程决定：**连续批处理（continuous batching）**不让 GPU 等最慢的请求，每当一批 token 完成立即填进新槽位，把利用率从"吞吐式"拉成"流式"；KV 分页 + 前缀缓存让长上下文的重复部分被复用，测试时扩展的长思考链请求因此能共享绝大部分记忆；**KV 缓存量化（FP8/INT4）**把单卡可并发的请求数再翻几倍。做这行的人会直白告诉你：同样的模型，服务层做对了能省 5–10 倍成本——这条经验同时适用于扩散（批量出片、潜空间复用）与推理（KV/批处理），也是"大模型便宜到白菜价"背后的真实杠杆。 能耗是另一本被低估的账。 训练是"一次性"的大额支出（单次前沿预训练动辄上亿千瓦时级），但推理是"每天每个请求都在烧"的水龙头式支出——尤其"深度思考"把每次回答的算力放大一个数量级。当推理负载占总数据中心能耗的份额持续抬升时，"省 token"和"引导浅思考"就从锦上添花变成了真金白银的利润项。有估算指出，一旦思考类工作负载规模化，其单位能耗甚至可能赶超训练——这解释了为什么头部厂商都在抢着把"想多久"做成可控开关（即努力分层），而不是无条件对每个请求"火力全开"。 开源生态：扩散"平民兵器"，推理"门槛在算力"。 扩散侧是最"开源"的：Stable Diffusion 把"自己的显卡上生成"推向普通人，LoRA、ControlNet、ComfyUI 垒出一个巨大的个人民宿生态——开源让你能玩，且玩得很好。推理侧的开源（如 R1）则是另一回事：代码开给你，但算力与数据不开给你——模型是 MIT 协议开源，可它的训练要海量高保真思考数据与大规模 RL rollout，普通团队无从复现。所以"推理开源"的意义更多是提供可蒸馏的教学信号（把思考轨迹蒸馏进小模型），而不是"人人皆可训练"。一句话：扩散的开源是普惠，推理的开源是示范。 人才格局：生成靠"手艺人"，推理靠"稀有人才"。 扩散侧的工程人才密集在"会用 + 会调 + 会搭流水线"——ComfyUI 玩得溜、LoRA 调得好、能搭出批量出片管线的人，量产价值很高且供给相对充足。推理侧则是另一套曲线：真正能做"RL 配方 + 验证器设计 + 思考预算调度"的工程师极稀缺——因为这条路每一步都要面对奖励稀疏、不收敛、黑客式作弊这些"没有标准答案"的问题。这也让推理方向的人才议价能力和估值天花板，天然高于扩散方向的"熟练工种"。 安全与可信：两套引擎各有各的雷。 扩散的雷在内容侧：版权（模型会不会生成接近他人作品的画面）、深度伪造（AI 脸/换声被滥用）、以及"图生图是否构成侵权"这类悬而未决的法律问题。推理的雷在行为侧：越狱与"推理式攻击"（模型被诱导走出一条绕过对齐的思考路径）、奖励黑客、以及最硬的对齐问题——一个会"想得很深"的模型，一旦想歪，危害也更深。正因为如此，推理模型的对齐评估往往比生成模型更严格，也更容易成为监管与争议的焦点。这两类风险，决定了扩散与推理在"合规成本"上走的是完全不同的财务曲线。 回看这两年最值得标记的技术信号：2025 年扩散第一次"开口说人话"（DiffusionGemma 并行生成文本并快 4 倍），推理第一次"摊开给人看"（R1 把思考链开源）。两者都在向对方的地盘渗透。 如果说上面是"机器怎么算"，这一层是"机器像谁"。发散（diffuse）与聚焦（focused） 是认知科学对大脑两套工作模式的经典划分：发散时注意力摊开、关联自由，灵感潜行，顿悟常在此发生；聚焦时注意拧成一条线、逐寸验证，严谨可靠但容易卡在同一个思路里出不来。 扩散模型正是机器版的发散——让信息在高维噪声空间自由重组、统计收敛、结构涌现，不保证逻辑，但能创造出之前不存在的像素组合；推理模型正是机器版的聚焦——锚定目标、拆小步、可验证、可回溯，贵且慢但可靠。真正的创造力与真正的智能，都来自两者的切换，而非二选一。这也是为什么越来越多的产品开始做"先生成多种方案（发散），再推理择优校验（聚焦）"。发散负责制造可能性，聚焦负责收敛正确性——两套引擎合在一起，才构成一个完整心智。 工程上的经典误区是"用推理做生成"或"用扩散做推理"——前者把简单成图拖到又贵又慢，后者把严格求解做成开盲盒。真正的系统通常两者串联：先生成多种可能性（发散/扩散，快而广），再推理择优与校验（聚焦/推理，慢而准），把大脑的认知回路整体照搬进流水线。判断标准只有一个：**这条链路里，"像不像真"更重要，还是"对不对"更重要。 把选型落成一次具体的"通盘推演"，能把这些原则钉进直觉。设想你做一个 AI 电商图"造物间"：用户输入"莫兰迪色系、午后窗边的帆布鞋，给我 8 个构图"。请别让推理模型"慢慢想"去画——调度扩散引擎并行刷出 8 张候选（发散，快而便宜），同时推理引擎并行做两件审稿：一是用视觉-语言模型做 prompt 对齐打分，二是用规则过滤（水印、违规品类、肢体异常）。只在"风格一致性担保"这类高成本决策时才切深度思考。再看 AI 编程助手：补全交给快速自回归走直觉路径，遇到跨文件重构这种高成本决策才切换深度思考做规划与验证。两套引擎的分工原则高度一致——探索阶段人海宽松并行（发散），抉择阶段一把梭地严谨（聚焦），而衔接两者的"调度官"，正是这类系统的护城河。** 在这里补充三个值得技术圈交换信息的技术信号，它们共同指向"统一引擎"的三种可能实现： 无论哪条路线,需要注意 :统一不意味着"每一种模式都能对付所有问题",而更像是在成本与质量的 XY 平面上找更优的前沿:把两个各有边界的引擎接起来,能覆盖更大的操作空间(既快又准、既可复现又可创造)。对工程师而言,与其问"谁替代谁",不如问"在我的延迟与成本预算里,两个引擎怎么拼最划算"——这才是下一阶段真正会因为微观选择而拉开收益差异的地方。 扩散模式与推理模式，一个是收敛到分布的"逆热力学"，一个是收敛到答案的"链式推导"。它们共享同一个终极目标——逼近分布并高效采样；而技术分岔造就了完全不同的成本结构、硬件形态与生态位。理解其一已算难得，能自如切换二者的人更稀缺。 对技术人而言，真正的护城河不是在某个具体模型上死磕参数，而是握紧那把在"发散生成"与"聚焦推理"之间来回切换的丝线——知道何时让机器像画家一样涂抹，何时让它像数学家一样证明。 本文为技术科普，数据以发布时间为准。
2.3 数据与评估：两套引擎的"食谱"与"考卷"
叁 · 核心机制逐层拆解
3.1 扩散：如何"可控地"从噪声生成
3.2 推理：如何把"思考时间"变成"正确率"
肆 · 架构与骨干：谁在跑这两套引擎
扩散侧：从 U-Net 到 DiT / MMDiT
推理侧：MoE、长上下文与稀疏注意力
推理侧补刀：注意力经济化与 KV 缓存密码
伍 · 训练方法论对照
环节
扩散（生成）
推理（思考）
目标函数
噪声/速度残差 MSE
自回归交叉熵 + RL 奖励
监督来源
无监督（数据自身即标签）
部分监督 + 强化学习
主要算力
前向加噪 + 反向去噪模拟
海量 rollout + 梯度回传
数据需求
图像/视频海量原始数据
高质量问题 + 奖励信号
修炼难点
采样慢、可控性弱
思考链不收敛、奖励稀疏
代表性 loss
$\|\epsilon-\epsilon_\theta\|^2$ 或流匹配向量场
$\log p_\theta + R$，GRPO 相对优势
训练侧的基础设施：把亿级参数装进一个集群
陆 · 解码与采样：跑起来才见真章
6.1 一份能跑的 DDPM 训练最小样例
import torch, torch.nn as nn, torch.nn.functional as F
def q_sample(x0, t, noise, alpha_bar):
# 一步到位：x_t = sqrt(alpha_bar)*x0 + sqrt(1-alpha_bar)*noise
return torch.sqrt(alpha_bar[t]) * x0 + torch.sqrt(1 - alpha_bar[t]) * noise
model = nn.Sequential( # 只是占位；真实用 U-Net / DiT
nn.Linear(64 + 1, 256), nn.GELU(), nn.Linear(256, 64))
alphas = 1 - torch.linspace(0.0001, 0.02, 1000) # 噪声计划 β_t
alpha_bar = torch.cumprod(alphas, 0)
def train_step(x0): # x0: (B,64)
B = x0.shape[0]; t = torch.randint(0, 1000, (B,))
noise = torch.randn_like(x0)
x_t = q_sample(x0, t, noise, alpha_bar)
t_in = (t / 999.0).unsqueeze(1) # 把 t 喂进网络
pred = model(torch.cat([x_t, t_in], dim=1))
return F.mse_loss(pred, noise) # 学残差 → 这就是全部
6.2 扩散采样 + 推理思考循环
# 扩散采样：从纯噪声沿网络预测的反向小步走（示意 20 步）
x = torch.randn(1, 64)
for i in reversed(range(20)):
t = torch.full((1,), i * 50)
eps = model(torch.cat([x, (t/999).unsqueeze(1)], 1)).detach()
x = (x - (alphas[t]/(1-alphas[t])).unsqueeze(1) * eps) / alphas[t].sqrt()
# 推理：思考预算推进 + Best-of-N 自洽投票
def reason_once(model, prompt, budget=2048):
think, used = "", 0
while used < budget:
seg = model.generate(context=prompt + "\n" + think, stop="\n", max_tokens=128)
think += seg; used += len(seg.split())
if seg.startswith("【答案】"): break
return model.complete(think + "\n【答案】")
results = [reason_once(model, q, budget) for _ in range(5)]
final = max(set(results), key=results.count) # self-consistency 投票取众数
柒 · 硬件与性能工程：两套账本
维度
扩散
推理
单位成本
一次生成（张/秒/分辨率）
token + 思考预算
本地可玩性
★★★★★（4090 畅玩）
★★★☆（可本地，思考贵）
并行度
高（批量生成）
低（顺序依赖）
吞吐瓶颈
采样步数 × 体量
KV 缓存 + 思考 token
性能加速路径
DDIM/蒸馏/一致性/FP8
稀疏注意力/量化/努力分层
主战场
消费级本地 + 云批量
云端 + 高并发 API
精度
约 70B 权重显存
典型代价
适合场景
FP16/BF16
≈140GB
显存大、精度最高
训练、高质量推理
INT8
≈70GB
轻微精度损失
80GB 卡跑大型模型
INT4
≈35GB
精度有一定损失
本地部署、边缘端侧
捌 · 横切面：开源生态、人才格局与安全可信
玖 · 演进时间线：纯技术视角
年份
扩散（生成）技术
推理（思考）技术
2015
Sohl-Dickstein 非平衡热力学扩散
—
2017
—
Transformer 提出
2019
Score-based：拟合对数概率梯度
—
2020
DDPM、DDIM（确定性跳步采样）
GPT-3 少样本涌现
2021
扩散图像质量超过 GAN
CoT 逐步推理萌芽
2022
Latent Diffusion、Stable Diffusion（8 月开源）、CFG
Wei 等正式提出 Chain-of-Thought
2023
DiT、一致性模型、ControlNet
GPT-4 综合推理；RLHF 大规模化
2024
Sora、MMDiT、FLUX、Rectified Flow 大规模化
o1 显式思考（9 月）、QwQ、Gemini Thinking
2025
DiffusionGemma（并行生成文本）、Mercury 千 token/s
DeepSeek-R1 开源 + GRPO + 蒸馏；测试时扩展律成热词
2026
流匹配 + 世界模型、多模态音视频一体
adaptive thinking、确定性预算分配、稀疏注意力
拾 · 在"思维方式"层的同构（附一张图）
拾壹 · 工程选型指南：什么场景用哪套引擎
你的需求
首选引擎
理由
生成新画面/视频/音频
扩散
忠实于分布，成本低、可本地
求解数学/代码/逻辑难题
推理
链式推导 + 自检，正确率高
需要可审计的过程
推理
思考链可见、可解释
追求最快出批量的创意出片
扩散
一次生成即可，无需长推理
复杂 Agent 决策
推理为主
需规划、回溯、工具调用
首稿灵感 + 人审精修
发散生成 → 聚焦校验
首稿要广，定稿要严
拾贰 · 未来：走向统一
结语
附 · 数据来源与参考
评论 (0)
还没有评论，来抢沙发。