Re: [閒聊] FANZA上「特定畫風」的AI作品越來越多了

[Satoman (沙陀曼)]

→ guogu: 不過我也不知道它怎麼練的 只有約100張圖的角色
→ guogu: 它也可以畫的很精準 只知道v3是基於sdxl
昨天本來想講，只不過用推文講有點麻煩 ==

其實這也算是一個常見的誤解：
就是AI要將一個人物「學得像」需要大量、精緻的圖片作為資料。



但是實際上，如果只是要「學得像」那其實只要不到10張圖片就能辦到了。
而且圖片不用特別精緻，或者說某些特別精緻的圖片反而會有反效果。



對AI來說，要學習一個人物比較需要的是能精確呈現角色特徵，
用色和線條分明的圖片。

最符合以上需求的圖片是什麼？


對，動畫的截圖。






我舉個比較極端的例子來講：

https://i.imgur.com/RUAphDb.jpg

這是我自己練出來的早坂媽LORA產出來的圖。
這個角色在動畫裡出場只有5分鐘左右，當然也沒有什麼同人圖。

可是LORA模型一樣可以把這個角色給練出來。




我的給它學習的基本學習資料就長這樣：
(搞了好幾個不同的版本，可能不是這個資料夾 ==)

https://i.imgur.com/AGDXoGV.jpg
https://i.imgur.com/hpiG4TO.jpg

除了兩張我預先學習的AI圖，其他就是那5分鐘的動畫截圖 ==




LORA模型的原理是汙染干涉原本底模的生圖結果，
所以「學得像」為前提的話它只要動畫截圖就夠了。


但是大部分玩AI的人不會滿足於學得像，而是希望這個角色能擺一些原本看不到的姿勢，
做一些原本看不到的動作。

講白一點就是10個玩AI的有9個會拿來搞色色的東西，
最起碼也要能換一些色色的衣服。





這樣問題就來了，AI在只有少數幾張圖的情況下學習不到，
因為它的資料只被限制在那幾張圖中，所以也只會做那幾個動作。

用比較專業的術語來講叫做「過擬合」，白話文就是「學太像」。




這個時候大量圖片學習的優勢就出來了。

如果有50張圖片，並且風格沒有過於牴觸的話，
那AI就會知道你想訓練的東西不是一個站挺挺的人物，
而是一個人物能根據TAG擺出不同的姿勢，甚至是換成不同的衣服。


甚至在超過200張圖片的情況下，我的經驗是也不太需要擔心風格牴觸的問題，
因為這問題會被大量的資料本身淡化至可以忽略的程度。





那冷門角色是不是就真的沒救？

也不是。

https://i.imgur.com/KmkMk7r.jpg

https://i.imgur.com/zWmq9AS.jpg

我這個早坂媽就練出了可以讓角色回頭張望或坐下平躺之類的基本動作。




因為AI學習中有個方法叫「正則化」可以給AI補習，讓它學習到其他的概念。
簡單來講，就是在訓練時丟一些其他圖片給它一起學習。




現在開源的LORA訓練腳本都有正則化的選項可以勾選。
但是那個正則化用起來怪怪的，現在很多人其實是手動處理。



以這個早坂媽的LORA來講，我正則化是先加上了一堆無頭裸女的圖片一起學習。
像是這種：
https://iili.io/JoN1Cnj.png



這個方法我是從一個中國人那邊抄來的。

我本來是用學習衣服的方法，添加各種衣服的去頭圖片來學習，
但是後來才發現這種裸女去頭法更簡單粗暴。


因為我把頭塗黑了，人物又是裸體，所以AI就只會學習動作而不會汙染我原本學習資料。






然後我又感覺長裙的頭身比例經常出錯，
因為原本資料幾乎都上半身，缺少全身圖讓AI認識正確的頭身比例。




所以我想了一下，又很簡單粗暴的加上了一組資料給它學習：
https://i.imgur.com/r2ZR5qS.jpg

對，我把早坂愛的頭砍了下來，只留穿長裙的身體給AI學習身體比例。




如此一來AI大概知道角色的頭身比例，
還有個附加優點是這個LORA的早坂媽可以換穿她女兒的衣服。

https://i.imgur.com/ufyeZq4.jpg



當然，要換一些色色的衣服也不成問題。

https://iili.io/JoNwUJf.jpg





簡單來講，要讓LORA模型學習角色圖片的數量其實本身不是必要條件，
而動畫截圖其實是學習人物最優秀的原料 ==


所以現在模型網站CIV上最多的就是各類動畫人物，新番人物也是一堆人搶著練 ==


譬如說這季的福利蓮製作精良、用色分明、線條簡潔，學習起來效果就很好。
所以幾乎每個女角都是一堆模型。



像是屍骨未寒的阿烏拉和莉妮耶，掛掉後她們馬上就被分屍練成LORA了 ==


https://i.imgur.com/jRkyASl.jpg
https://i.imgur.com/z2LAG2I.jpg







所以回到正題，NovelAI的人物和畫風模型是哪來的？


最直接的想法就是他們內部有人在專門練各類畫風和角色LORA讓使用者使用。

另一種想法就是他們也幹了其他公開的LORA來用，
只不過這些LORA本來就是基於他們前洩漏模型來訓練的，也算是鮭魚回鄉。




但是不管是哪種，圖片數量其實都不是大問題。

100張圖片對於練成人物LORA來講完全是綽綽有餘，
對我這個專門截圖練冷門人物自爽的人來講是甚至有點奢侈。







至於營利問題嗎，目前基本上無解。


因為除了ADOBE我相信他的圖庫是相對沒問題的之外，
其他的AI模型應該都有用非正當手法取得學習資料的問題。


以最流行的開源的stable diffusion底模來講，他使用的圖庫來源本身就並非正當授權。
更別提構成現在宅圖根基的NovelAI模型，那是直接拿盜圖網站在作訓練的。




換句話說扣除ADOBE之外，AI圖和模型本身大多沒有一張是清白的，
基本上都是盜圖產物。






要說這是引發產業革命的蒸汽機？
以目前來看來比較像是比較像是引發混亂的產業廢棄物 ==

只是這廢棄物目前對我來講還有玩樂的用途，偶爾想「用」某個角色時可以不求人罷了 ==




--
(と・てノ)  翼龍欸

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.137.204.56 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1700923581.A.AA0.html
→ as3366700: 斷頭台的翼龍4ni?
→ Sessyoin: 請給我更多AI色圖 我要做研究
推 SunnyBrian: 請問收現金袋嗎？
推 Lisanity: 太認真了吧 XD 推
→ spfy: 早坂愛：????????
推 weiyilan: 然後發現自己喜歡的冷門角有人做AI色圖是蠻開心的XDD
推 lsd25968: 翼龍你data set太小的話有試過data argument嗎?
→ Satoman: 我通常是手動處理去轉轉翻翻，讓他圖片看起來是不同張
推 lsd25968: 有很多可以弄 DL的時候水平翻轉 旋轉 alpha值 伸縮 剪裁
→ lsd25968: 啥的
→ Satoman: 我沒試過，主要還是dataset每幾張的話自己手動調就好了
→ Satoman: 像是全身圖我通常會順手裁成三到四張圖
推 lsd25968: 哦哦 數量少所以乾脆手動就是了
→ Satoman: 對啊，本來就沒幾張整理的時候順便調一下就好
推 lsd25968: 畢竟資料集太小造成的overfitting 最直觀解法就是擴大資
→ lsd25968: 料集(`・ω・′)
→ Satoman: 斷頭法其實很好用，看到服裝類似但是用TAG區分的也可以用
→ lsd25968: 只是湊一腳談談 沒實際玩過AI產圖就是
→ Satoman: stable diffusion的webui有內建一個翻轉功能
→ Satoman: 我自己是沒用直接用過，因為還是有人物左右不對稱的問題
推 lsd25968: 原來如此(′・ω・`)
推 lolicat: 難怪最近阿烏拉的圖大量發生...
推 jeff666: 斷頭學習法
推 AirForce00: 推講解
推 tim19131: 人為了色色，其利斷金
推 JohnShao: 斷頭法學習的身體如果畫風差異仍然偏大不會污染嗎
→ bluejark: LORA就是把大模型沒有的東西加上去啊
→ g9591410: 這不是接頭霸王嗎XD
→ bluejark: 但所謂學得像還是蠻主觀的 圖提供的資訊少姿勢一變就歪
→ bluejark: 衣服到現在訓練有完整重現的嗎 好像還是會是微妙的不同
→ Satoman: 嚴格來講不是加，是在過程中汙染就是了
→ Satoman: 完整重現就看本身衣服複雜度和抽卡數量
推 guogu: 我的意思是如果只有100張的圖他們都特地練出來
→ guogu: 那樣總共需要的工程量未免也太大了
→ Satoman: 現在一堆人用腳本和AI再練AI，其實還好
→ Satoman: CIV上也有一堆用AI練AI產生的模型，人類從頭到尾不用介入
推 roseritter: 真是好研究~~~~推推
推 roseritter: 阿烏拉也是為了研究AI才成為斷頭台的阿烏拉
推 aquacake: 喜歡的冷門角色能自己產真的挺開心的
推 WeiMinChen: 就叫你阿烏拉吧
推 Innofance: 老哥，如果我想要訓練某個畫風的模型要多少圖才夠
→ Satoman: 不一定，大部分的人都是能多少就丟多少，再看情況調整
→ Satoman: 通常是選看起來差異性比較大的圖片，除非你有想搞腳色包
推 iamnotgm: 推
推 naya7415963: 原來翼龍大有在玩AI
推 v86861062: 推推
推 Wangdy: 貌強只推
推 alpho: 原來還有這種方法 感謝分享
推 Gjerry: 資料原則上越多越好，多還可以想怎麼調整，少就比較麻煩
推 jeffguoft: 推專業，學到了
推 louner: 推 能自己畫冷門角色的圖真的棒 但之前試的感覺是用文字
→ louner: 還是很難控制圖的內容 controlnet+使用者有繪畫底子才能
→ louner: 真的釋放這類model的潛力
→ louner: 另外砍頭那召真有趣XD 搞不好之後會有人釋放砍頭數據集
推 ddd852: 瑟瑟！
推 y124421473: 感謝為世界和平貢獻
→ bnn: 確實是接頭霸王 但AI會幫你P的還把接頭醫治好一致性
推 longlyeagle: 厲害厲害
推 timmy999: 好奇那個txt檔是什麼？
推 jude187031: 真厲害
推 nisioisin: 曹賊大喜
推 sk3s: 推
→ Satoman: txt就標籤，告訴ai這張圖片有什麼要素
→ Satoman: 之後產圖的時候咒語就是那些標籤
推 saces: Novelai自己就有訓練能力，現在一堆SD模型都參了一部分當
→ saces: 初洩漏的Novelai模型，v3會這麼強單純只是用了SDXL，不是
→ saces: 什麼LORA，SDXL訓練的需求太高，所以雖然推出很久，民間模
→ saces: 型的完成度還是沒有很高
推 ap9xxx: 大師