AI探索研究/SoulZone

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用

魂Soul · 23-02-20 · 1,171

AI绘画作品预览

首先,观赏一下AI绘画能生成什么样的画作水平:

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

1、硬件需求

显卡:4g显存以上的n卡,没有n卡用cpu可以渲染出图,只是会很慢很慢。显存大小只影响出图分辨率和一次性出图的个数。渲染速度可以参考英伟达的cuda算力榜。同代速度差别不大

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

2、软件需求及配置应用

第一步

下载分享自秋葉aaaki大佬的stable webui(可以视为模型的集成平台和启动器)

链接:[https://pan.baidu.com/s/1eCqmNvAvVRzGlz2t_Eu2TA?pwd=1111] 提取码:1111
lora文件夹为非必要安装 必要下载的文件只有

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

第二步

解压 【novelai-webui-aki-v2.zip】 到自定义文件夹 (我的文件夹名字是novelai)
安装 【python-3.10.8-amd64.exe】 选中加入path

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

安装 【启动器运行依赖-dotnet-6.0.11.exe】
解压 【webui启动器.zip】 到之前自定义的文件夹

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

第三步

运行 【A启动器.exe】 会检测硬件并配置环境
在版本管理中升级到最新版

第四步

下载 【chilloutmix-Ni.safetensors】 (自带的模型版本大多数用来生成手绘风格的图像,现在下载的模型用来生成真人风格的图像)
(有些硬件不支持半精度,求稳下载7g版本)

大佬不涉及真人模型了,可以去百度链接里下载,下载好了之后放在这 novelai\models\Stable-diffusion (大模型都放在这)

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

点击:一键启动

第五步

等待几分钟后,会自动打开stable网页
在后侧选择拓展、可用、加载自选项

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

安装Kohya-ss AdditionalNetworks

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

等待安装完毕后关闭网页,退出控制台,再次打开“一键启动”

3、渲染出图

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

提示词指正向词汇,模型会像这些词汇靠近,真人渲染的推荐词汇(realistic,photo,real,huge_filesize,best,best quality, masterpiece),(xx:1.1)这样的格式可以微调词条的强度。
反向提示词指反向词汇,模型会远离这些词汇,((worst quality:2),( low quality:2), (normal quality:2), jpeg artifacts, )这些反向提示词很好用。
推荐网址 [https://civitai.com/] 其中的图片会显示词条,可以借鉴学习。也可以下载下面会说到的lora模型。
采样方法推荐DPM++ 2S a Karras、DPM++2M Karras、DPM++ SDE Karras,这些采样方法步数少,效果好
Sampling steps指出图时迭代的次数,可以先开大,并设置模型每几步显示一次

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务
当渲染的图像不怎么继续变化时,就是比较合适的steps数
随机种子
当你想要渲染和别人的作品相类似或微调你的想要的结果时,可以选择相同的种子数

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

Additional Networks
可以加载接下来的要用到的lora模型
Stable Diffusion模型(ckpt)
可以选择不同的模型,
anything-V2.1.ckpt 比较通用
chilloutmix-Ni 可以用来生成真人图像
final-prune、latest和sd-v1-5-inpainting则更倾向于生产手绘风格的图像

4、lora模型

之前下载的7g或3g模型是大模型,决定出图时的大方向,lora模型可以理解成微调大模型的小模型或滤镜
可以到 [https://civitai.com/] 中下载lora模型,现在已有的原神lora模型有——雷电将军,凝光,八重神子,申鹤,安伯等
安装的方式为:把下载的文件放在指定路径中 novelai\extensions\sd-webui-additional-networks\models\lora (注意,此路径只能存放lora模型)
也可以去[https://www.123114514.xyz/models/LoRA/%E6%B8%B8%E6%88%8F%E6%A8%A1%E5%9E%8B/%E5%8E%9F%E7%A5%9E]这里看看有没有自己心仪的角色
不同的模型适合不同的权重weight,请根据目标进行调整。并且,低权重时,会比较容易改变角色的衣着,但仍会受到角色衣着配色的影响。

5、安装使用 lora

解压文件 【lora-scripts.zip】
安装【Notepad3_6.23.118.1_x64_Setup.exe】
运行 【强制更新.bat】
使用Windows PowerShell 运行 install-cn.ps1

使用预处理功能处理素材

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

5_eula中的5代表训练是重复的次数,推荐使用3-8次 eula代表lora模型的激活tag,可以在渲染时调整提示词强度来微调lora模型的强度。
推荐大部分的素材选用二次元或手绘画风,并在写实风格的大模型中运行。这样训练出来的人物会更接近真实世界中的原神老公老婆(或女儿)。并且当你调整lora模型的强度时,你会得到从手绘风格到写实风格的丝滑转变。
真人cos的素材可以放在realistic文件夹中,这样训练会让写实风格和手绘风格的转变更丝滑,但影响不大。

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

使用【notepad】 或 【sublime】等程序打开 【train.ps1】 文件:

[AI绘画教程]Stable Diffusion全过程教学_硬件要求+软件下载配置应用-魂之网务

保存文件,并用PowerShell运行 train.ps1 文件
训练结束后把output中的文件复制到 novelai\extensions\sd-webui-additional-networks\models\lora 并在网页用选用此模型

总结附录

1、本文章搬运自运自b站up主 【秋葉aaaki 】的视频和 【勘云工造】 的经验分享,拾人牙慧的部分居多,推荐关注两位大佬并且给两位大佬三连支持。
2、为了避免可能到来的法律纠纷,请不要利用此技术侵权或犯罪。

相关文推荐

0 条回应