Lora模型是一种高效的风格迁移模型,可以轻松地控制所需的风格和效果。由于其体积小且对计算要求低,无需租用云端服务器,仅需在个人电脑上进行训练即可。这种简便性极大地降低了自主训练模型的难度,使得stable diffusion+controlnet+lora成为建筑师们探索概念和创作出想要效果图的非常便利快捷的方法。
那么,如何配置和训练Lora模型呢?下面的教学内容就将以建筑手工模型为例来进行介绍。
Stable diffusion建筑效果图Lora模型训练(图1)
Stable diffusion建筑效果图Lora模型训练(图2)
配置kohya Gui
在本地部署好stable diffusion和controlnet之后,需要先配置Kohya GUI:
打开github网址https://github.com/bmaltais/kohya_ss
Stable diffusion建筑效果图Lora模型训练(图3)
在配置之前,需要先设置执行策略。用管理员模式打开windows powershell,输入
Set-ExecutionPolicy Unrestricted,回车
Stable diffusion建筑效果图Lora模型训练(图4)
输入a,回车。关闭powershell
Stable diffusion建筑效果图Lora模型训练(图5)
在电脑随便一个地方新建一个文件夹用来安装Kohya GUI,命名为kohya
 
Stable diffusion建筑效果图Lora模型训练(图6)
点进新建的文件夹,复制路径
Stable diffusion建筑效果图Lora模型训练(图7) 
Stable diffusion建筑效果图Lora模型训练(图8)
再打开power shell,输入cd +刚才复制的路径,回车
Stable diffusion建筑效果图Lora模型训练(图9)
回到之前GitHub的网址,下拉点击复制这行代码
 
Stable diffusion建筑效果图Lora模型训练(图10)
粘贴到powershell,等待一会儿
Stable diffusion建筑效果图Lora模型训练(图11)
接下来会出现一些问题,回答按照图示即可
Stable diffusion建筑效果图Lora模型训练(图12)
Stable diffusion建筑效果图Lora模型训练(图13)
回答如图所示
Stable diffusion建筑效果图Lora模型训练(图14)
Stable diffusion建筑效果图Lora模型训练(图15)
出现如图所示,表明安装成功啦!
Stable diffusion建筑效果图Lora模型训练(图16)
点进安装的kohya文件夹就可以看到一系列文件了,双击gui(.bat)文件打开
Stable diffusion建筑效果图Lora模型训练(图17)
复制这一行url到浏览器,就可以运行gui了
Stable diffusion建筑效果图Lora模型训练(图18)
Stable diffusion建筑效果图Lora模型训练(图19)
Stable diffusion建筑效果图Lora模型训练(图20)
准备并处理图片
在网站上找到自己想要的图片素材,准备大概8-20张喜欢的意向图片,下载好并放在一个新建的文件夹里面
Stable diffusion建筑效果图Lora模型训练(图21)
Stable diffusion建筑效果图Lora模型训练(图22)
新建一个空文件夹用来放处理好的图片
打开stable diffusion
Stable diffusion建筑效果图Lora模型训练(图23)
打开文件夹就能看到处理好的图片和对应的文本啦!
Stable diffusion建筑效果图Lora模型训练(图24)
注意这里的文本是根据每张图片内容自动生成的对应的提示词,比如这张图的文本就是a model of a house with a lot of windows and a lot of lights on the outside of it。这个文本是可以自行打开添加删改文字的。
Stable diffusion建筑效果图Lora模型训练(图25)
新建一个文件夹命名为模型名称,我这里是handmodel
注意这里的格式比较讲究,需要严格按照执行。打开之后再新建三个文件夹,分别命名为image,log,model
 
Stable diffusion建筑效果图Lora模型训练(图26)
打开image文件夹,再新建一个文件夹。
特别注意这里的格式!!命名为【数字_模型名称】
 
这里的数字关乎到训练步数,和想要训练的图片数量相关。
简单来讲可以用1500➗图片数量
比如我这里用到了10张图片,1500➗10=150,那么文件夹名称就是150_handmodel
(注意这个数字不要低于100,如果除的结果小于100就直接写100)
Stable diffusion建筑效果图Lora模型训练(图27)
再把刚刚预处理好的图片和文本都复制到这个文件夹里面
Stable diffusion建筑效果图Lora模型训练(图28)
至此所有的准备工作都完成了,可以开始训练模型啦!
Stable diffusion建筑效果图Lora模型训练(图29)
开始训练模型
打开之前配置好的kohya gui,依次选择
Stable diffusion建筑效果图Lora模型训练(图30)
继续点folders
 
Stable diffusion建筑效果图Lora模型训练(图31)
Training settings要设置的内容比较多,可以直接用已经设置好的文件
链接:https://pan.baidu.com/s/1qrTov-kSykDTPKzLOrWziQ提取码:sd9w
Stable diffusion建筑效果图Lora模型训练(图32)
Stable diffusion建筑效果图Lora模型训练(图33)
等待模型训练中ing,大概20分钟到一个多小时不等,取决于电脑配置
Stable diffusion建筑效果图Lora模型训练(图34)
最后打开model文件夹就有了我们训练好的文件啦
Stable diffusion建筑效果图Lora模型训练(图35)
Stable diffusion建筑效果图Lora模型训练(图36)
生成图片
复制刚才训练好的模型文件到stable diffusion目录下的models\lora
Stable diffusion建筑效果图Lora模型训练(图37)
打开stable diffusion,
Stable diffusion建筑效果图Lora模型训练(图38)
按照常规步骤输入prompt,打开controlnet拖入想要生成的草图草模等等
Stable diffusion建筑效果图Lora模型训练(图39)
下面就是见证奇迹的时刻了!
原图
Stable diffusion建筑效果图Lora模型训练(图40)
生成后
Stable diffusion建筑效果图Lora模型训练(图41)
Stable diffusion建筑效果图Lora模型训练(图42)
Stable diffusion建筑效果图Lora模型训练(图43)

图文转载于 LAC 空间学社,版权归原作者所有,仅供分享学习参考之用。如有异议,请及时联系客服删除。

原文链接:https://mp.weixin.qq.com/s/V7kONoVqtNBGwp1UzGEahA

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。