Re: [閒聊] AI畫圖是不是大數據拼圖？

[meatybobby (Bobby)]

※ 引述《KyrieIrving1 (King of New York)》之銘言：
: 大家最近討論的AI畫圖
: 我本來以為真的是AI汲取各種關鍵字
: 然後用算的方式算出圖陣
: 看大家玩下來
: 比較像是AI去全球所有的圖畫數據庫裡面
: 用各種關鍵字的圖去拼出一張新的圖?
: 如果是算圖 那真的是新創
: 可是如果是拼圖 很容易發現到底從哪拼出來的吧
: 還是我理解有誤
: AI畫圖是大數據拼圖嗎？？
首先當然是算的
如果要從全球資料庫找圖再拼圖 那硬碟空間跟運算時間都會非常驚人
從實際面來看很難做到像現在5秒就出一張圖

再來是目前很紅的Novel AI
目前畫風統一程度確實不像一般Stable Difussion
比較有可能的是他有另外訓練一個畫風轉換的模型
分兩步驟 先是用SD生圖 再丟到另外的模型做畫風轉換
當然這另外的畫風模型 是另外請人畫還是直接拿現成圖就不知道了

而以技術層面來講
Stable Difussion新提出的方法 跟以前比起來確實比較有爭議

以前GAN的做法 並不會直接用原圖訓練生圖AI(Generator)
而是另外訓練一個判斷AI(Discriminator) 負責判斷哪些是"好"的圖
生圖AI會隨機生圖 根據是否能通過判斷AI的標準 來調整自己
因此生圖AI出來的圖 是完全沒看過或參考其他圖的
雖然在判斷AI那邊還是拿了別人的圖 但至少生圖AI從來沒參考過其他圖

而新提出的Stable Difussion 則是在生圖AI加了一個降噪(Denoising)的訓練過程
生圖AI的目的變成將噪點(latent noise)還原成一般圖
而用來訓練生圖AI的資料 就是直接拿原圖不斷增加噪點 讓AI學習如何去噪點
在訓練的過程中就不免會學習到原圖的特徵
最後出來的效果很好 但就會有一些爭議

最近效果也很好的DALL-E 2也用到了Difussion的概念
除非未來又能發展出不需要參考原圖的技術 不然未來很難避免這類爭議

學習現實物體的特徵沒什麼爭議 畢竟物體就是物體 其特徵只是客觀存在
但學習畫作時 直接學習圖畫的特徵
其中的骨架 筆觸 光影 都是畫家自身的技術 不是單純的物體特徵
而現今法律並沒有保護這塊
畫風跟風格的模仿與致敬在ACG上也不少見 但也沒聽說過幾個真的引起法律問題的

不過AI出現讓門檻降低 未來要模仿他人畫風變得相當容易
這部分自然就會引起不少爭議

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.47.62.151 (美國)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1665030344.A.165.html
推 yudofu: 最近在Twitter用stable fusion 畫老婆的都是用特別的waifu
→ yudofu:  model 在畫的吧
推 FTS152: 主要還是出在資料集的來源問題
推 gogolct: 要真實一點的還是要換回原本的model 就是
推 OlaOlaOlaOla: 我覺得現在部份人反感的原因是“感覺”抄太快了
→ Splatoon: 自己抄可以，但AI抄的比我快，不行！！
→ poeoe: 反正跟不上科技腳步的就是會被淘汰而已
推 andy0481: 因為法律保障主觀人格 你再怎樣學習都會混入你的主觀意
→ andy0481: 識 喜歡大奶的跟小奶的學習同一張圖會畫出不同奶 但AI所
→ andy0481: 謂的學習沒有經過這種主觀意識 很難直接套用
→ Splatoon: 有經過使用者的主觀意識阿
→ andy0481: 那要看你覺得創作者主觀創作跟調教者對AI生好的圖進行主
→ andy0481: 觀評分 有沒有等值了
推 miyazakisun2: 原來是學去噪 那stable 這個有點偷吃步啊
推 RabbitHorse: 你真以為ai多厲害喔 有人用手繪就屌打了
→ pikachu2421: Google的Imagen也是用diffusion model
推 leo125160909: 討論半天感覺一堆人根本不懂diffusion model在幹嘛
推 dbr623: 因為人就算模仿他人即便門檻變低還是有學習門檻，學習過程
→ dbr623: 還是會受個人差異有變動影響結果，但機械模仿是不一樣路徑
→ dbr623: ，抽出來特徵就不會動了
噓 yoyololicon: 胡亂解釋 GAN跟diffusion 都有用到訓練資料 什麼GAN
→ yoyololicon: 沒有看過 不能只從架構上就以為是這樣去理解
→ meatybobby: 我這邊指得是傳統Generator的input跟groun truth
→ meatybobby: 確實都沒用到原始資料喔
→ yoyololicon: = =你沒有理解 不是input output 沒直接對在一起就
→ yoyololicon: 不代表沒看到
→ yoyololicon: backprop 回去的gradient 不可能不帶有訓練資料的資
→ yoyololicon: 訊
→ meatybobby: 你可以想一下Generator的loss是什麼 是讓Discriminato
→ meatybobby: r判斷他是真的 這裡的Discriminator同樣也沒吃原圖
→ meatybobby: 在用原圖練Discriminator時 Generator參數是freeze的
→ meatybobby: 所以我才會說Generator沒參考到原圖
→ meatybobby: 因為就算是backprop的gradient也是根據Generator產的
→ meatybobby: 圖去算的
→ meatybobby: GAN的G跟D兩邊更新不是同時的 不然給G看原圖資料
→ meatybobby: Generator會太強
→ yoyololicon: 如果你覺得這樣就算沒有看 那diffusion 也沒有看原
→ yoyololicon: 圖資料 都是有noisy version
→ meatybobby: diffussion的input是噪點的原圖 ground truth是原圖
→ meatybobby: 跟傳統GAN比起來是直接拿原圖 所以效果才會這麼好