推 andyleeyuan: 有神快拜12/21 18:50
※ 編輯: cybermeow (81.185.165.158 法國), 12/21/2022 19:29:12
推 fragmentwing: 太神啦 12/21 20:57
推 aa1052v: 快推免得被發現我看不懂XD 12/22 11:57
個人是個興趣使然的模型訓練師
目前訓練了不少dreambooth
https://huggingface.co/alea31415/
圖也有丟pixiv (含18禁
但這樣能做到的成果差強人意
鑒於別人來自深淵 小書癡 孤獨搖滾等動畫模型的成功經驗
(有興趣我晚點可以貼範例圖
(有些真的幾乎分不出來
目前正在弄一個從動畫自動抓圖來訓練的pipeline
https://github.com/cyber-meow/anime_screenshot_pipeline
主要過程包括 用ffmpeg自動截圖並且先用簡單filter去掉連續相近的scene
這樣一集24分鐘大概5000張圖
之後用neural network feature移除相似圖片
這樣下來大概剩500張圖
因為專注於角色接著用face detector加臉資訊的metadata並且吧圖片依照臉數量跟大小分
到不同資料夾
訓練few shot classifier/tagger自己分類資料
目前測試了用臉分類角色的classifier
一個角色給個10/20張圖就可以訓練
不要太edge case的情況表現都不錯
缺點是只能分類正面跟一些側面
背面一開始face detector的部分就爆了
這部分希望更好的few shot learning model
然後依照class分資料夾
目前在用登山少女 除了第三季都好了
大概一萬張圖結果如下
https://imgur.com/a/vvqw7ve
自己有手動處理沒偵測到的角色所以頗花時間
然後再用別人訓練好的tagger上tag
(deepdanbooru, wd1.4tagger
或blip上caption
處理下來一張圖的metadata如下
https://imgur.com/a/URm90YH
fanart的部分如果用imgbrd-grabber從booru抓處理起來容易多了
因為本身就有tag information
TODO:
1. 從metadata隨機生成訓練用的caption
2. 利用資料夾結構調整每個子資料夾的權重 實際就是生成一個multiply.txt目前只有Ever
ydream(2)有支援
(我去discord做feature request當下他們就寫好了
kohya teainer雖然有些feature比較好但感覺是自己在develop
因為我一定需要這個auto balance的功能所以可能只能用everydream
3. 收集更多額外的regularization dataset (某些想訓練的concept圖還不夠
4. 訓練 目前everydream2有些bug 等他們修
5. 當全部弄好會加doc可能也會分享去西恰 希望有興趣的人可以一起幫助順這個流程
其他:
https://github.com/huggingface/diffusers/pull/1585
比較好的inpainting演算法
等善心人士幫我寫成extension
pipeline搞四天了還要回去寫paper啊啊
--
北歐組一生推
https://i.imgur.com/ydMoryp.jpg
https://i.imgur.com/njHa0OA.jpg
https://i.imgur.com/KVrWmNb.jpg
https://i.imgur.com/leUc4jP.jpg
https://i.imgur.com/aWFuDE4.jpg
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 81.185.165.158 (法國)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1671619211.A.58B.html
※ 編輯: cybermeow (81.185.165.158 法國), 12/21/2022 18:43:25