“选用适当的模型,随随便便出个图,都要比打上一堆提示词的效果要好。”
事实如此,高质量的模型,能够成倍提升出图质量。目前 CivitAI(俗称 C 站, https://civitai.com/ )是业内比较成熟的一个 Stable Diffusion 模型社区,上面汇集了上千个模型,以及上万张附带提示词的图像,这大大降低了 Stable Diffusion 的入门学习成本。
SD 相关插件:
以下简要介绍 C 站的一些优秀模型,并在文末结合示例进行应用说明。
CivitAI 上的模型主要分为四类:Checkpoint、LoRA、Textual Inversion、Hypernetwork,分别对应 4 种不同的训练方式。
- Checkpoint:通过 Dreambooth 训练方式得到的大模型, 特点是出图效果好,但由于训练的是一个完整的新模型,所以训练速度普遍较慢,生成模型文件较大,一般几个 G,文件格式为 safetensors 或 ckpt。
- LoRA:一种轻量化的模型微调训练方法,是在原有大模型的基础上,对该模型进行微调,用于输出固定特征的人或事物。特点是对于特定风格特征的出图效果好,训练速度快,模型文件小,一般几十到一百多 MB,需要搭配大模型使用。
- Textual Inversion:一种使用文本提示来训练模型的方法,可以简单理解为一组打包的提示词,用于生成固定特征的人或事物。特点是对于特定风格特征的出图效果好,模型文件非常小,一般几十 K,但是训练速度较慢,需要搭配大模型使用。
- Hypernetwork:类似 LoRA,但模型效果不如 LoRA,需要搭配大模型使用。
模型推荐:Checkpoint > LoRA > Textual Inversion > Hypernetwork
通常情况 Checkpoint 模型搭配 LoRA 或 Textual Inversion 模型使用,可以获得更好的出图效果。
补充:还有一类 VAE 模型,简单理解它的作用就是提升图像色彩效果,让画面看上去不会那么灰蒙蒙,此外对图像细节进行细微调整。
CivitAI 上可以根据不同分类和排序方式,对模型进行筛选和搜索。
打开单个模型页面后,可以查看模型说明和下载模型。
1. Checkpoint
模型存放路径:/stabl-diffusio-webui/models/Stabl-diffusion
①DreamShaper
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/4384/dreamshaper
模型说明:胜任多种风格(写实、原画、2.5D 等),能生成很棒的人像和风景图。
②Lyriel
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/22922/lyriel
模型说明:胜任多种风格,能实现顶级的光影效果和人物风景细节。
参数推荐:DPM++2M Karras,Clip skip 2 Sampler,Step25-35+
③Protogen
模型类别:Checkpoint 模型
下载地址:
- https://civitai.com/models/3627/protgenv22-aime-offiial-release
- https://civitai.com/models/3666/protgenx34-photoreaism-offiial-release
模型说明:Protogen 由多个不同的优秀模型融合而来,胜任多种风格。Protogen v2.2 偏向数字绘画(触发词:modelshoot style);Protogen x3.4 更偏向真人(触发词:modelshoot style,analog style,mdrny-v4 style,nousr robot)。
在 Protogen 模型中,可以通过提示词精确控制相机位置和人物动作来生成不同角度和动作的人物图片,例如:侧面(from_side:1.3),上面(from_above:1.3),后面(from_behind:1.3),下面(from_below:1.3),手放头部(hand_on_head:1.2),坐着(sitting:1.2)
④Dreamlike
模型类别:Checkpoint 模型
下载地址:
- https://civitai.com/models/1274/drealike-diffsion-10
- https://civitai.com/models/3811/drealike-photreal-20
模型说明:Dreamlike diffusion 1.0 偏向插画(触发词:dreamlikeart);Dreamlike photoreal 2.0 偏向真实照片。
⑤Realistic vision
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/4201/reaistic-ision-v20
模型说明:能很好的实现极具真实感的人物和环境塑造,还原真实世界风格。
触发词:analog style、modelshoot style
⑥Counterfeit
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/4468/counerfeit-v25
模型说明:高质量二次元、人物、风景模型。需要额外加载 VAE 模型,提升色彩表现。 https://huggingface.co/gsdf/Couterfeit-V2.5/blob/main/Couterfeit-V2.5.vae.pt (与模型放同一文件夹)
⑦MeinaMix
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/7240/meinamix
模型说明:高质量二次元、人物模型。
⑧DDicon
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/38511/ddicon?modelVersionId=44447
模型说明:一款生成 B 端风格元素的模型,需要结合对应版本的 DDicon lora 使用。V1 版本细节多,v2 版本更简洁,使用时搭配 LoRA 模型 DDICON_lora( https://civitai.com/models/38558/ddiconlora )。
触发词:DDicon
⑨Product Design
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/23893/product-design-minimalism-eddiemauro
模型说明:一个工业产品设计模型。触发词:3d product render、product render
⑩Isometric Future
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/10063/isometric-future
模型说明:一个等距微缩模型。
触发词:isometricfuture
⑪Vectorartz Diffusion
模型类别:Checkpoint 模型
下载地址: https://civitai.com/model/95/vectorartz-diffusion
模型说明:矢量风格模型。
触发词:vectorartz
⑫Samdoesarts Ultmerge
模型类别:Checkpoint 模型
下载地址: https://civitai.com/model/68/samdoesarts-ultmerge
模型说明:Samdoesarts 艺术风格模型。
触发词:samdoesarts style
⑬Flonix MJ Style
模型类别:Checkpoint 模型
下载地址:https://civitai.com/models/6488/flonix-mj-style
模型说明:Flonix MJ 插画风格。
⑭ReV Animated
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/7371?modelVersionId=46846
模型说明:适用于动漫人物或场景的 2.5D 或 3D 绘制模型 。
⑮architectural design sketches with markers
模型类别:Checkpoint 模型
下载地址: https://civitai.com/models/34384/architectural-design-sketches-with-markers
模型说明:建筑设计草图模型 。触发词:marker painting、handsketch
⑯XSarchitectral-InteriorDesign-ForXSLora
模型类别:Checkpoint 模型
下载地址:https://civitai.com/models/28112/xsarchitectural-interiordesign-forxslora
模型说明:室内设计模型,建议配合 LoRA 使用: https://civitai.com/models/25383/xsarchitectural-7modern-interior。
触发词:verrieres、daylight、indirect lighting、ad magazine、8k、mies van der rohe、encompassing the entire building、cinematic lighting、volumetric lighting、epic composition、photorealism
2. LoRA
模型存放径:/stable-diffusion-webui/models/Lora
①blindbox
模型类别:LoRA 模型
下载地址: https://civitai.com/models/25995/blindbox?modelVersionId=32988
模型说明:可生成盲盒风格的模型,使用时主模型建议选 ReV Animated。
触发词:full body, chibi
②DDicon_lora
模型类别:LoRA 模型
下载地址: https://civitai.com/models/38558/ddiconlora
模型说明:v1 和 v2 版本建议对应使用,v1 版本细节丰富复杂,v2 版本细节简化。
使用时搭配 DDicon 主模型 https://civitai.com/models/38511/ddicon?modelVersionId=44447
触发词:DDicon
③Bilgewater
模型类别:LoRA 模型
下载地址: https://civitai.com/models/23344?modelVersionId=27879
模型说明:场景风格模型。
触发词:bilgewater
③剪纸
模型类别:LoRA 模型
下载地址: https://civitai.com/models/14892
模型说明:剪纸风格模型。
④Anime Lineart
模型类别:LoRA 模型
下载地址: https://civtai.commodels/16014/anime-lineart-style
模型说明:线稿画风模型。
触发词:lineart, monochrome
⑤Concept Scenery Scene
模型类别:LoRA 模型
下载地址: https://civitai.com/models/23682/conceptsceneryscenev2
模型说明:风景场景模型。
⑥Howls Moving Castle
模型类别:LoRA 模型
下载地址: https://civitai.com/models/14605?modelVersionId=19998
模型说明:风景场景模型。
⑦Makoto Shinkai
模型类别:LoRA 模型
下载地址:https://civitai.com/models/10626/makoto-shinkai-substyles-style-lora
模型说明:新海诚画风模型。
⑧Studio Ghibli Style
模型类别:LoRA 模型
下载地址: https:/civita.com/odels/6526/studio-ghibli-style-lora
模型说明:吉卜力风格模型。
⑨Airconditioner
模型类别:LoRA 模型
下载地址: https://civitai.com/models/22607/loconlora-airconditioner-style
模型说明:适合画城镇,荒野,鲜花,小清新质感。
⑩Stamp_v1
模型类别:LoRA 模型
下载地址: https://civitai.com/models/15629/stampv1
模型说明:图标 logo 风格。
⑪Vecor Graphics Art Style
模型类别:LoRA - LYCORIS 模型(LYCORIS 安装方式可参考 https://mnya.tw/cc/word/1990.html )
下载地址:https://civitai.com/models/34321/vector-graphics-art-style-no-lineart
模型说明:矢量图形风格。
触发词:flat color
⑫Miniture world style 微缩世界风格
模型类别:LoRA - LYCORIS 模型
下载地址: https:/civiai.com/models/28531/miniature-world-style
模型说明:微缩世界风格模型。
触发词:mini\(ttp\)、miniature、isometric、landscape
⑬ligne claire style
模型类别:LoRA 模型
下载地址:https://civitai.com/models/5406/ligne-claire-stylecogecha
模型说明:焦茶画风。
⑭Gacha splash LORA
模型类别:LoRA 模型
下载地址: https://civitai.com/models/13090/gacha-splash-lora
模型说明:带背景的立绘风格。
⑮沁彩 Colorwater
模型类别:LoRA 模型
下载地址: https://civitai.com/models/16055/colorwater
模型说明:水彩风格模型。
⑯moffmachi_style
模型类别:LoRA 模型
下载地址: https://civitai.com/models/23563/lohamoffmachi-style
模型说明:卡通格。
3. Tetual Inversion
模型存放路径:/stable-diffusion-webui/embeddings
①SamDoesArts
模型类别:TEXTUAL INVERSION
下载地址: https://civitai.com/models/1247/samdoesarts-embedding-1
模型说明:SamDoesArt 画风。触发词:SamDoesArt1
②RFKTR's Plastic Style
模型类别:TEXTUAL INVERSION
下载址: http://civitai.com/models/4512/rfktrs-plastic-style
模型说明:塑料风格。触发词:RFKTR_plastic
③Adventure Diffusion
模型类别:TEXTUAL INVERSION
下载地址 https://civitai.com/models/6841/adventure-diffusion
模型说明:原神风格。
触发词:advntr
④Neon Diffusion
模型类别:TEXTUAL INVERSIO
下载地址: https://civitai.com/models/6016/neon-diffusion
模型说明:赛博朋克风格。
触发词:eonn
⑤Inkpunk768
模型类别:TEXTUAL INVERSION
下载地址: https://civitai.com/models/1288/inkpunk768
模型说明:墨水朋克风格。
触发词:InkPunk768
⑥evreka
模型类别:TEXTUAL INVERSION
下载地址: https://civitai.com/models/3966/evreka1-5
模型说明:平面插画风格。
触发词:evreka15
⑦Coloring Book Style
模型类别:TEXTUAL INVERSION
下载地址: https://civitai.com/models/49040/coloring-book-style
模型说明:黑白稿风格。
触发词:coloring-book-style
⑧PlanIt! a documentation
模型类别:TEXTUAL INVERSO
下载地址:https://civitai.com/models/4775/planit-a-documentation-embedding
模型说明:说明书风格。
触发词:PlanIt
⑨Style of HOPA Games
模型类别:TEXTUAL INVERIO
模型说明:游戏场景风格。
触发词:hoppagames
⑩Autumn Style
模型类别:TEXTUAL INVESION
下载地址:https://civitai.com/models/1998/autumn-style
模型说明:晚秋风格。
触发词:Style-Autumn、Style-Autumn-neg
⑪Glorious Style
模型类别:TEXTUAL INVERION
下载地址: https://civitai.com/models/2110/glorious-style
模型说明:宏伟场景风格。
触发词:Style-Glorious、Style-Glorious-neg
⑫21charturnerv2
模型类别:TEXTUAL INVERSION
下载地址:https://civitai.com/models/3036?modelVersionId=9857
模型说明:三视图风格。
触发词:21charturnerv2
⑬Style Paint Magic
模型类别:TEXTUAL IVERSIN
下载地址:https://civitai.com/models/18052/style-paint-magic
模型说明:油漆画风格。
触发词:style-paintmagic
⑭Double Exposure for SD 2.x
模型类别:TEXTUAL NVERSION
下载地:https://civitai.com/models/2386/double-exposure-for-sd-2x
模型说明:图像重叠风格。
触发词:dblx
⑮cartoonish_doll
模型类别:TEXTUAL INVERSION
下载地址:https://civitai.com/models/1618/cartoonishdoll
模型说明:卡通娃娃风格。
触发词:cartoonish_doll
⑯Style-Info: An embedding for infographic style art
模型类别:TEXTUL INERION
下载地址:https://civitai.com/models/5271/style-info-an-embedding-for-infographic-style-art
模型说明:信息图风格。
触发词:Style-Info
示例 1:制作一个卡通小公仔形象
1. 模型下载与装载
所需模型:Checkpoint 模型(ReV Animated),Lora 模型(Blindbox)
模型下载方式一:下载至本地(适合本地部署)
下载 LoRA 模型: https://civitai.com/models/25995/blindbox?modelVersionId=32988(存放至本地 Lora 模型文件夹 /stable-diffusion-webui/models/Lora)
下载 Checkpoint 模型: https://civitai.com/models/7371?modelVersionId=46846(放至本地 Checkpoint 模型文件夹 /stable-diffusion-webui/models/Stable-diffusion)
模型下载方式二:下载至云盘(适合云端部署)
一些云端 Stable Diffusion WebUI 服务已经整合了一些优秀大模型,可以直接选择相应模型版本运行,在此基础上再加载其它模型。
1)运行所需大模型版本
例如本次实例中,我们要选 Rev animted 作配套大模型:进入 https://github.com/camenduru/stable-diffusion-webui-colab ,选择:rev_animated_webui_colab 模型版本,连接启动 WebUI。
2)云端下载模型
进入 WebUI 界面后,打开 CivitAI 面板,选择要查找的模型类型,搜索需要的模型,并选择相应模型版本,点击下载模型。
切换至 Colab 界面,检查模型是否下载成功,并存放至相应目录。
模型装载:模型文件下载存放至相应目录后,回到 WebUI 界面,点击刷新按钮,加载相应模型。
2. 设置参数与提示词
除了手动输入提示词,设置参数外,还有一个比较简便的方式:直接从 CivitiAI 作品图中一键复制参数至 WebUI 中,再进行调整。
提示词与参数设置:
Pompt:, (masterpiece), (best quality), (ultra-detailed), (full body:1.2), (simple background, white background:1.3), chibi, simple body, melting heart, purple leaves, purple hat, vivid color
Negative Prompt:(worst quality, low quality:1.4), lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7.5, Size: 512x768
3. 设置 ControlNet,定制专属公仔形象
在这个实例中,我们要把一个平面卡通形象制作成一个 3D 公仔形象,因此需要通过 ControlNet 的 lineart 和 depth 模型,构建公仔轮廓,再叠加盲盒模型定制出专属公仔形象。ControlNet 教程可查看:
Stable Diffusion进阶教程!超详细的 ControlNet 实用入门指南
ControlNet 的作用是通过添加额外控制条件,来引导 Stable Diffusion 按照创作者的创作思路生成图像,从而提升 AI 图像生成的可控性和精度。
阅读文章 >
示例 2:制作一张小清新海报
1. 模型下载与装载
所需模型:Checkpoint 模型(mix-pro-v3-non-ema-bf16),Lora 模型(Airconditioner、SamDoesArts,本次示例加载两个 Lora 模型,以提画面和人物效果)
下载 LRA 模型:
- https://civitai.com/models/22607/loconlora-airconditioner-style
- https://civitai.com/models/6638?modelVersionId=7804
下载 Checkpoint 模型:https://huggingface.co/swl-models/mix-pro-v3/tree/main (如果 CivitAI 上没有所需模型,可以去 huggingface 上看看 https://huggingface.co/ )
2. 海报画面预设
这里我简单在白纸上对海报主体内容打一个草稿,拍照并导入 ControlNet 中用 Scribble 涂鸦模型进行轮廓提取。
3. 设置参数与提示词,生成主体画面
在这个示例中,我加载了两个 Lora 模型,其中 Airconditioner 模型权重设置的大些,用来控制整体画面的小清新风格,SamDoesArts 模型权重小些,用来提升人物效果。
提示词与参数设置:
Prompt:(masterpiece), best quality, a female doctor standing along the flowers, white lab coat, short sleeves, stethoscope, beautiful face, short hair, smile, outdoors, sky, cloud, day, black hair, scenery, flower, grass, blue sky, scenery, leaf, wide shot, <lora:[LoRA] Airconditioner Style:0.7>,
Negative Prompt:nsfw,(watermark),sketch, duplicate, ugly, huge eyes, text, logo, monochrome, worst face, (bad and mutated hands:1.3), (worst quality:2.0), (low quality:2.0), (blurry:2.0), horror, geometry, bad_prompt_v2, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), cron brai, ((2girl)) (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 512x768
4. 高清化,并导入 PS 进行后期处理
生成后的图片,导入高清化模块进行等比高清放大,再进行 PS 处理后输出海报。
最后总结下创作思路:
- 确定想要生成图像的风格,并在 C 站上下载对应风格模型;
- 确定想要生成图像的内容,并用 ControlNet 精准控制画面构图;
- 设置提示词和参数,叠加风格模型出图,并做等比高清放大。