LAYER 02 · 模型层

模型层：
从「用模型」到「养模型」

底模决定能力上限，LoRA 决定个性，VAE 决定颜色和质感，Flux 决定新一代自然语言工作流，融合决定品牌资产的厚度。商业项目不能只会下载模型，还要会筛选、训练、验证和版本管理。

10 节 · 约 8 小时6 个核心知识点进阶

00本层目标

  • 能按题材和商业需求选择合适的 Checkpoint。
  • 跑通一次完整的 LoRA 训练：数据、打标、训练、触发词、权重。
  • 理解 VAE 的作用，能判断灰、糊、偏色是不是 VAE 问题。
  • 能区分 SDXL 的 Tag 堆砌与 Flux 的自然语言长句提示词，并知道 fp8 量化版如何降低显存门槛。
  • 知道模型融合的使用场景和风险。
一句话原则：模型层不是收藏夹，而是资产库。每个模型都要有用途、来源和测试记录。

01Checkpoint 选型：底模决定上限

Checkpoint 是整套生成能力的基础。选错底模，再好的提示词也很难救；先用对底模，再谈风格和细节。

类型特点适合注意
SDXL 写实系肤质、材质、布光更真实，细节密度高商业人像、产品、摄影感画面显存要求较高，先确认底模许可证
二次元 / 插画底模扁平色块、线条强，风格化明显插画、角色、海报不适合直接做写实商业图
风格底模胶片、编辑感、品牌调性突出品牌视觉、lookbook、海报风格是否匹配品牌，比「好不好看」更重要
通用底模兼容性好，容易训练和叠加 LoRALoRA 训练、实验基线作为对比基线，不要一开始就追风格

建议建立「底模测试表」：同一提示词、同一种子、同一 LoRA 权重，在 3 个底模上出图，记录肤质、材质、构图稳定性和风格倾向。

02LoRA 训练全流程：从素材到触发词

LoRA 用少量素材把某个主体、产品或风格「记」进模型。商业项目里，它比堆提示词更稳定，也更适合系列化交付。

数据集清洗：15–30 张同主体素材，多角度、多光线、背景干净；去掉重复图、模糊图、带水印图。
裁剪与统一：统一分辨率（如 1024），主体占比稳定；不要混入完全不同的风格。
打标：给每张图写描述，保留一个唯一触发词（如 ohwx product）；不要把希望模型学习的主体特征全部写进 caption。
训练：用 kohya_ss 或在线训练平台；先保守设置学习率和 epoch，跑小步数看 loss 和样图。
触发词：测试触发词的可控性；固定随机种子，观察不同权重下的相似度。
权重调法：常用 0.6–0.9；0.4 以下容易不明显，1.0 以上可能过拟合、画面僵硬。

常见问题

  • 过拟合：背景、道具、姿势被一起记住，换场景就崩。减少训练步数、清理素材、提高 caption 质量。
  • 欠拟合：主体不像。增加优质素材、提高权重、检查触发词是否被正确写入。
  • 泛化差：只在训练底模上有效。用三个不同底模做交叉测试。

03VAE：颜色和质感的地基

VAE 负责把潜空间解码成最终图像。VAE 不匹配或缺失时，常见表现是画面发灰、颜色发闷、细节糊、对比度异常。

  • SDXL 底模通常已内置 VAE，不要重复外挂。
  • SD1.5 常用外部 VAE（如 vae-ft-mse-840000），但要与底模匹配。
  • VAE 不是画质万能药：结构错了，换 VAE 也救不回来。
  • 在 ComfyUI 中检查 Load Checkpoint 的 VAE 输出，确认实际使用的 VAE 名称。
排查顺序：先确认底模和 VAE 是否匹配，再检查颜色管理，最后才怀疑提示词。

04Flux：新一代自然语言模型

Flux 是 Black Forest Labs 推出的新一代文生图模型系列，常见版本有 FLUX.1 [pro]（仅 API）、[dev]（开放权重、质量高）和 [schnell]（速度快、许可证更宽松）。它和 SDXL 最大的差别不只是「更大」，而是底层架构和提示词逻辑都换了：Flux 用约 12B 参数的多模态扩散 Transformer（MMDiT）配合 Rectified Flow 训练，文本侧用 T5-XXL + CLIP 双编码器；SDXL 则是 UNet + 双 CLIP 编码器。前者更擅长理解长句和画面关系，后者生态成熟、显存门槛低。商用前务必确认版本许可证：dev 默认非商用，schnell 为 Apache 2.0，pro 走 API 授权。

对比项SDXLFlux
核心架构UNet + 双 CLIP 文本编码器MMDiT 扩散 Transformer + T5-XXL / CLIP，Rectified Flow
参数量级约 2.6B（UNet）约 12B（dev / schnell）
提示词单位Tag / 关键词堆叠自然语言长句、完整场景描述
关系理解较弱，需要拆成短标签较强，能处理方位、动作、材质和因果
文字渲染较弱，容易糊字较强，适合海报和包装上的短文案
显存门槛较低，SDXL fp16 约 8GB 级别较高，dev fp16 约 23GB；fp8 约 11–12GB
生态Checkpoint / LoRA / ControlNet 极成熟增长快，LoRA 与 ControlNet 逐步完善

SDXL：Tag 堆砌的「关键词思维」

SDXL 的提示词像贴标签：主体、材质、光线、镜头、风格各写几个词，用逗号隔开。模型对词与词之间的关系理解有限，所以顺序和权重很重要。常用写法是「主体 + 属性 + 环境 + 光线 + 镜头 + 风格」，把最重要的词放前面，再用 (word:1.2) 微调权重。负面提示词也不可少，用来压掉多余手指、文字、畸形和低质量。

Positive: commercial photography, amber glass skincare bottle, on wet dark stone, water droplets, soft strip light, macro shot, 85mm lens, clean grey background, luxury product ad, high detail, (label sharp:1.2) Negative: text, watermark, extra fingers, blurry, low quality

Flux：像跟摄影师说话一样写长句

Flux 更适合「一段完整描述」：先说画面的主体和动作，再补环境、光线、材质、构图和镜头，最后给整体氛围。它不需要把每个词都拆成 tag，也不建议堆 masterpiece, best quality, 8k 这类空泛质量词；把「你想要的画面」讲清楚，比堆形容词更有效。空间关系尽量用完整句子表达，例如「瓶子立在左侧，水面倒影向右延伸」。

A close-up commercial photograph of an amber glass skincare bottle standing on wet dark stone. Water droplets cling to the glass, a soft strip light runs along the left edge of the bottle, and the background falls into a clean cool-grey gradient. Shot on an 85mm macro lens with shallow depth of field, crisp label details, restrained luxury mood.
一句话记忆：SDXL 是「给模型递关键词清单」，Flux 是「给模型讲一个画面」。从 SDXL 换到 Flux，先删掉堆砌的质量词和多余括号，再把提示词改写成 2–4 句连贯描述。

低显存怎么跑 Flux

  • fp8 量化版：把模型权重压到 8-bit，dev 版体积从约 23GB 降到 11–12GB 左右，8–12GB 显存配合低显存加载就能跑；画质接近 fp16，但极细纹理和稳定性会略降。
  • T5 文本编码器也要量化：T5-XXL 单独加载很吃显存，用 fp8 版本并在编码完成后卸载，能显著降低峰值占用。
  • 更低显存：6–8GB 可尝试 GGUF Q4 / Q8 量化版，配合 ComfyUI 的 lowvram / 分块加载；速度会慢一些，但能出图。
  • 商用终稿：先用 fp8 快速试稿，定稿后尽量用 fp16 或更高精度复跑，避免量化带来的细节损失。

选型建议：需要成熟 LoRA、ControlNet 生态和低显存批量生产，继续用 SDXL；需要更强的长句理解、画面关系和文字渲染，用 Flux。两者不是替代关系，商业工作流里经常是 SDXL 打底、Flux 出关键帧，再回到 Photoshop 精修。

05模型融合：merge 出品牌专属底模

模型融合（merge）把两个或多个 Checkpoint 的权重按比例混合，得到兼具两者特征的新底模。它是「调品牌调性」的手段，不是训练的替代品。

  • 先做小比例测试（如 0.2–0.4），观察风格、肤质、材质和稳定性的变化。
  • 记录融合配方和版本号，否则下一次无法复现。
  • 检查每个底模的许可证，确认商用和再分发权限。
  • 融合后要在人像、产品、场景三类任务上做回归测试，不要只看一张好看的图。

06数据集：15–20 张到底怎么选

做产品/人物 LoRA，15–20 张是起步量，但「够不够」取决于一致性，不是数量。素材要覆盖不同角度、不同光线和不同景别，同时保持同一主体、同一材质、同一身份。全是同一个角度的 50 张，效果可能不如角度分散的 15 张。

项目建议原因
分辨率1024×1024 或统一长边 1024避免训练时反复拉伸，保持细节和比例一致。
角度正面、侧面、背面、细节各若干让模型学到立体结构，而不是单一视角。
背景以干净背景为主，保留少量真实场景背景太杂会把场景一起学进去；全白又容易失去泛化。
数量15–20 张起步，质量优先重复、模糊、带水印的图会直接污染训练。

去背景不是必须，但要控制比例。产品 LoRA 建议 70% 干净背景 + 30% 真实场景；人物 LoRA 则要避免同一套衣服、同一个背景反复出现，否则换场景就崩。所有素材先去重、裁掉水印和无关文字。

07打标：WD14 / BLIP + 人工修正

自动打标可以省时间，但不能直接拿来训练。WD14 tagger 适合动漫/插画标签，BLIP 更适合自然语言描述；无论用哪个，最后都要人工检查。 caption 的目标是描述「画面里有什么」，同时给触发词留出学习空间。

操作顺序：先用 WD14 或 BLIP 生成基础描述，再统一加上唯一触发词（如 ohwx product），然后人工删掉不希望模型记住的背景、道具和品牌文字。触发词放在开头或结尾都可以，但要全数据集一致。不要把所有细节都写进 caption，否则模型没有东西可学。

过拟合常见来源：同一背景、同一构图、同一段 caption 反复出现。训练集里多加入不同场景，并在 caption 中描述背景，模型才会把「主体」和「环境」分开学。

08训练参数与过拟合判断

LoRA 的常用起点：学习率 1e-4 量级、batch size 1–4、epoch 10–20、network dim 16–64、alpha 取 dim 的一半。具体值取决于底模、素材和训练器；不要一次把所有参数拉满，先跑一个保守版本，看样图再调。

参数常用起点调整方向
Learning rate1e-4过拟合就降低；学不动再小幅提高。
Batch size1–4显存允许再加大；小 batch 更敏感。
Epoch10–20看样图早停，不要盲目跑满。
Network dim / alpha16–64 / 一半主体复杂可提高；风格简单可降低。

过拟合不要只看 loss 曲线。每 N 步保存样图，观察背景、姿势和道具是否被一起复制。出现「换个场景就崩」「画面僵硬」「背景原样复现」时，通常该早停、减 epoch 或清理数据。最终用 3 个底模 × 3 个权重（0.6 / 0.8 / 1.0）做测试矩阵，同一提示词、同一种子，记录哪个组合最稳定。

09跟着做：训练一个产品 LoRA

收集 15–20 张同一产品的清晰素材，统一背景和光线风格，保留不同角度。
清洗、裁剪到统一分辨率，写 caption，设定唯一触发词。
用 kohya_ss 或在线平台训练；先跑一个保守版本，保存训练日志。
在三个不同底模上测试同一触发词，权重分别试 0.6、0.7、0.9。
记录哪一组最稳定，形成自己的模型测试表。

本层验收

用自己的 15–20 张素材训一个产品/人物 LoRA，在三个不同底模上稳定复现同一主体。

交付物：LoRA 文件 + 训练参数记录 + 三个底模 × 三个权重的对比图 + 一份过拟合判断记录（loss 曲线、样图、早停理由）+ 触发词与推荐权重。
自检清单0 / 5 已完成

10本层自测

LoRA 权重是不是越高越像？
不一定。权重过高容易过拟合、画面僵硬、背景被一起复制。商业项目常用 0.6–0.9，并通过多底模测试找稳定值。
画面发灰、颜色发闷，先查什么？
先检查 VAE 是否匹配或缺失，再看颜色管理和模型本身的色彩倾向；不要一上来就改提示词。
merge 模型能替代 LoRA 训练吗？
不能。merge 是已有能力的混合，适合调品牌调性；需要新的主体/风格能力时，还是要靠训练或 LoRA。