[分享] 用SD穩定生產MJ畫風的嘗試

[saces (saces)]

看到有人在問MJ怎麼維持畫風或角色
所以分享一下我的實驗
不過我對Stable diffusion 也沒有很熟

首先找一張想複製畫風的圖
建議最好是1:1的圖 或是你要把它裁成1:1
理由後面說

這裡使用這張
https://i.imgur.com/VqeVLOP.jpg

我在Upscale 的時候 會upscale 3-4次
然後用photoshop 把它合成一張
留下每張的優點

因為我不想要把它裁小 所以是用Dalle2的outpainting 把它變成1:1 （不建議這樣做）

https://i.imgur.com/p5VPLjX.jpg


接著把想複製的圖傳到Discord 當作image prompt, 加上你原本用來產這張圖的prompt,
文字可以稍微修改一些地方

我用2:3的比例 選了五張畫風相似的圖
也是都upscale 好幾次 再PS結合 調色 讓圖更一致
再用Dalle2 outpating變成1:1 （不建議這樣，最好一開始就是1:1的圖）

https://i.imgur.com/b2cJEim.jpg
https://i.imgur.com/R4ot4f9.jpg
https://i.imgur.com/SdZ69t6.jpg
https://i.imgur.com/6B2j75L.jpg
https://i.imgur.com/5IQE9TA.jpg

這五張加上原本那張 就是要用來訓練的圖
如果可以有更多圖 或是更多同畫風不同主題的圖
應該會更好

接著就是用Stable diffusion
我是用Reddit上找的automatic 1111 webui簡易安裝



因為要複製MJ畫風所以我是用openjourney模型去訓練
訓練方式可以參考這個YouTube 影片

https://youtu.be/HahKXY7AQ8c

六張圖本地訓練大概十分鐘
我的顯卡是3080

結果
https://i.imgur.com/LOFdQPm.jpg
可以發現雖然經過Dalle2 outpainting
肉眼看不出明顯破綻 但訓練出的模型
有些圖還是會看的出切痕
所以建議直接找1:1的圖

不過我覺得訓練結果還是蠻成功的
甚至雖然訓練的資料只有年輕男性
但出來的模型也可以適用其他物體

https://i.imgur.com/ke8FWoE.jpg
https://i.imgur.com/Eoq0qf4.jpg
https://i.imgur.com/pkOPr9X.jpg
https://i.imgur.com/jUUPwiF.jpg
https://i.imgur.com/9PTdmJl.jpg
https://i.imgur.com/fPCEzdB.jpg
https://i.imgur.com/J92nuCN.jpg


明星名字也適用
https://i.imgur.com/LmnmzDM.jpg


為了證明模型訓練的確有影響
這張和花那張是使用同樣的關鍵字
但模型是用來訓練的open journey
https://i.imgur.com/O9dhdab.jpg

差別還是蠻明顯的

這是我第一次實驗 MJ 結合 SD
感覺還有蠻多改善空間的
如果有擅長dreambooth 的大大
也希望可以分享一下心得











--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.117.203 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1672530812.A.28D.html
推 ZMTL: 這個想法太有創意了！
推 ZMTL: PS的部分會很難學嗎XDDDDD
應該是不會，因為我PS也只看過兩三小時的網課而已。但我還學過substance painter 邏
輯有點像
其實用免費的GIMP也可以達到差不多的效果，就是兩張圖以圖層疊在一起，其中一個用ma
sk隱藏，接著選擇mask用 白色畫筆在想要讓他顯現的部分畫 就會顯現出來


其實這也不是必須的 只是我Dataset 太小 所以希望圖的品質好一點 MJ現在的Upscaler
又還不夠好 有時候眼睛漂亮但鼻子歪了之類，直接合成就會比一直重複Upscale來的快
※ 編輯: saces (1.169.117.203 臺灣), 01/01/2023 08:15:56
推 ryu55ryu55: 好多肌肉帥哥 好愛<3
推 ZMTL: 我真的沒想過可以up好幾張來合成，我昨天(上面那個)up到崩潰
→ ZMTL: 好幾張都這邊差一點那邊差一點XD
→ ZMTL: 突然有點後悔我生完大圖習慣把四格清掉啊啊啊
推 ZMTL: 有機會的話可以來一段Ps x Upsalce的影片教學XD
推 Vulpix: 花那兩張seed也一樣嗎？
推 mayasoo: 其實也可以訓練embanding或者hypernetwork,效果比較微妙

Seed不一樣
用同樣的seed的測試
1
訓練模型
https://i.imgur.com/FQERxeJ.jpg
Open journey
https://i.imgur.com/SFY1it2.jpg

2
訓練模型
https://i.imgur.com/LtAziyg.jpg
Open journey
https://i.imgur.com/eqwikEq.jpg
※ 編輯: saces (1.169.117.203 臺灣), 01/01/2023 18:45:51
推 Vulpix: 訓練模型花那個粉嫩的感覺真的不錯。
→ Vulpix: 只是人臉率怎麼差那麼多XD
推 zemill: 厲害
推 zemill: 厲害！