[StaD] 模型融合 model merge教學

[andyleeyuan (元哥)]

大家好，stable diffusion有很多model模型可以使用，

之前有人來信表示對這部分有興趣，小弟我就我知道的部分分享給大家

模型可以在下面找到

1.https://huggingface.co/

2.https://rentry.co/sdmodels

網路大大整理出來的清單

---------------------------------------------------------------
★注意 使用他人的model請進行pickle-scan確認沒有問題再使用
https://github.com/zxix/stable-diffusion-pickle-scanner
相關說明
https://huggingface.co/docs/hub/security-pickle
---------------------------------------------------------------


以下皆使用stable diffusion webui進行操作
https://github.com/AUTOMATIC1111/stable-diffusion-webui



今天主要示範anything3.0 加入sd1.4豐富模型內容 以及f222加強人體表現

A.使用模型:

https://huggingface.co/Linaqruf/anything-v3.0
Anything-V3.0-pruned-fp16.ckpt

https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/tree/main
sd-v1-4.ckpt

https://huggingface.co/m4gnett/zeipher-f222
f222.ckpt


B.融合前範例展示

prompt:  https://rentry.org/e6ko3
參數設定:
Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 0,
Size: 512x512, Model hash: 38c1ebe3, Model: Anything-V3.0-pruned-fp16,
Clip skip: 2, ENSD: 31337


1.anything fp16
https://i.imgur.com/4roOSS0.png

2.sd 1.4
https://i.imgur.com/FfW1Rvj.png

3.f222
https://i.imgur.com/81OCPtF.png


C.開始融合 merge

webui內建功能 Checkpoint Merger，也可使用merge board 需要另外安裝extensions
https://i.imgur.com/IyRYndv.jpg

這邊使用內建Checkpoint Merger
https://i.imgur.com/8ii6RyF.jpg

公式說明如下:
Weighted Sum: Result = ( A * (1 - M) ) + ( B * M )
Add Difference: Result = A + ( (B - C) * M )

A選擇anything fp16 主要要加強的模型
B選擇sd 1.5
方法選擇Weighted Sum  M設定0.05，表示我們會有0.95的A和0.05的B進行融合
這邊可以依喜好調整不同數值 看你想要偏哪邊的model

完成後我們得到了O1 anything_sd14_0.05

來試試看效果
https://imgur.com/llYutvz.png


接下來融合f222

https://i.imgur.com/F52EhIA.jpg

A 剛融出來的anything_sd14_0.05
B f222
C sd 1.4

選擇 Add Difference
M設定1

複習一下公式 Add Difference: Result = A + ( (B - C) * M )

我們會用A模型加上  (B模型減掉C模型)乘M

f222是用sd1.4 訓練的(我也不知道為什麼 看別人都這樣用)
，因為O1已經有sd1.4了，我們只需要f222新增的內容

融合後得到了O2 anything_f222_sd14


再來試試看效果
https://i.imgur.com/n19L5wA.png



三個一起比較
https://i.imgur.com/4roOSS0.png
https://i.imgur.com/llYutvz.png
https://i.imgur.com/n19L5wA.png


如果有其他模型還可以繼續用同樣方式融合，
調整不同比例也會影響，看你喜歡什麼風格就自己融合進去，

可以打造出屬於自己的model



昨天參考了其他群組用了10個模型融出來的
和上面相同prompt
https://i.imgur.com/ZP8x4Kb.png

調整過的prompt
https://i.imgur.com/6Kcx3CI.png
https://i.imgur.com/ZRJcQTr.png
https://i.imgur.com/PuZdLCS.png
https://i.imgur.com/m6XydpH.png




最近開始把作品丟到P網，請大家多多支持
https://www.pixiv.net/users/913621

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.34.61.35 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1671850708.A.351.html
→ cybermeow: 還是不懂能訓練的東西為什麼要東合西合
訓練和融合我覺得是不一樣的
訓練出來的模型可以再跟其他模型融合
訓練對硬體技術要求相對較高，融合較輕鬆就能辦到，
根據你想要達到的目標，選擇適合自己的方式
推 Vulpix: 因為不是大家的卡都那麼頂？
※ 編輯: andyleeyuan (114.34.61.35 臺灣), 12/24/2022 16:08:49
推 cybermeow: 是沒錯 只是想要某種畫風的話開colab dreambooth個一
→ cybermeow: 小時就完事了 如果對某些模型的風格有愛用合成的也不
→ cybermeow: 是全沒道理 只是個人覺得結果就比較沒有保障
→ cybermeow: 尤其是我這種專注於角色的一合角色就崩了www
推 clothg34569: 推 感謝分享
推 zemill: 超推 感謝分享