[閒聊] 使用大量數據研發AI繪圖

[ElfFail (秘密)]

如題

看到一篇蠻有趣的東西
https://i.imgur.com/d6GUwOU.jpeg

最近在FB  上看到AI動漫模型「Illistrious」的廣告
他們在HuggingFace上面，有把自己訓練AI用的圖集公開（圖１）

起初想說他們會這樣做，或許很有把握自己沒有侵權疑慮吧
應該是拿自己的AI圖去訓練AI（不怕越生越醜嗎）

於是有一些程式基礎的我 決定仔細研究一下
但結果告訴我……我錯了。



在「artist_urls」檔案裡面，每一位畫師都被標上了編號id
從最頂層的4437，到最底層的391586
這是極為龐大的畫師人數（圖２）

讓我想起農場中 烙印在每頭動物身上的數字



而在「artist」檔案裡面，會看到大量繪師的名字
其中亞洲（含台灣）有貓鯨、張熊、空罐王等破萬追蹤繪師們上榜
（圖３～圖８）這時回顧一下「artist_urls」檔案

貓鯨老師被打上的編號是：150105
張熊老師被打上的編號是：144570
空罐王老師被打上的編號：38554

但貓鯨老師的Twitter明明已寫上「Do not use my work for AI」



接著打開他們將近20GB的「post.json」檔
裡面是他們用來訓練AI模型用的大量圖集

要知道一個json檔，超過3GB，就已經是很驚人的一件事了
打開後會發現，圖片的編號從２到６８９９１２５
（也就是接近690萬）



從這些訓練圖集當中，可以找到每個畫師被拿去訓練的作品
他們也利用大型語言工具，替每張圖片上標籤，給AI辨識
    例如空罐王老師苦練畫技數年，所肝出的作品
AI是這樣給標籤的：

1girl, blonde_hair , breasts, brown-tinted_eyewear, brown_eyes, cleavage, coff
ee, cup, earrings, grey_sports_bra, hat, jewelry, looking_at_viewer, looking_o
ver_eyewear, mooncake, plant, potted_plant, purple_hair, sauce, short_hair, sm
ile, solo, spoon, sports_bra, sunglasses, teacup, teeth, tinted_eyewear

就只貼幾張圖，剩的可以去臉書看看

https://i.imgur.com/9O8VjYL.jpeg
https://i.imgur.com/1I0vVpS.jpeg

https://www.facebook.com/share/p/19Fy1t3cyD/


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.241.164 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1753720777.A.F5D.html
推 KyuubiKulama: 只能檢舉下架了
推 zChika: 原來是偷的，檢舉吧
推 gm79227922: 基本上都是這樣 只差在有沒有公開
→ gm79227922: 而且不只是繪畫領域 其他也都是這樣
→ AJwan: 跟盜版漫畫一樣 管不了
推 kimokimocom: 抓別人作品訓練 這就是AI
→ Golbeza: 就說是大量侵權還很多人不信
→ vincent8914: 這個dataset也不只是這個paper用 其實傳統的資料探
→ vincent8914: 勘情感分析dataset也都是真人貼文 只是純文字而已
→ vincent8914: gpt之類的llm就更不用說了
→ inte629l: 就某站的dataset吧，看容量快8TB
→ inte629l: post id取mod 1000當 bucket
推 yellowhow: 沒寄生繪師就只能搞擬真那種圖而已
→ yellowhow: 真用就算了，假掰說自己沒用真的很討厭
→ lou3612: 怎摸會有人把訓練資料公開
推 dalyadam: 老實說 幾乎每個AI模型都難免用到沒授權的繪師
→ dalyadam: 只差在有沒有說出來了
推 shawncarter: AI就是打著科技進步的名號大量偷竊別人的心血
推 as3366700: novlai時代就在這樣搞了 畫師名字直接就能當提示詞
推 RabbitHorse: 把繪師簡化成編號真夠侮辱人的，但這種ai負面文章不
→ RabbitHorse: 會推爆的
推 ym951305: 偷圖片訓練 ai 可恥
→ felixr0123: 人類究竟只是ai的飼料罷了
推 willytp97121: 現在各家AI飆車飆那麼兇也是為了在相關規範法令被
→ willytp97121: 重視以前盡可能偷跑更多一點 法律沒說這樣不行我就
→ willytp97121: 儘量搶
推 gm79227922: 其實更多的是政府也知道是在偷 但全部都在偷誰禁誰就
→ gm79227922: 落後 慘
推 meatybobby: 我記得川普已經開綠燈說AI使用是fair use了
推 trh123h: 畢竟都是軍備競賽的材料
推 Jiajun0724: 這種模型本來就是靠偷阿 只是敢公開也是蠻厲害的
→ Jiajun0724: 大概就是真的篤定反正你圖抓不了我
推 k254369: 好用的模型 就算你告一個還會有下一個 這就是ai時代
推 clovewind: 這不是早就知道的東西嗎
推 SweetBreaker: 天下第一搶劫大賽
推 smart0eddie: 吉他
推 zen777: 可恥 果然只要是Ai生成的圖都是垃圾
→ sameber520: ai飼料是現在的早期階段 成熟期的模型不需要人類餵
→ error405: d站這樣標這樣分都十幾二十年了好嗎..
推 rockmanx52: 這個爬蟲最扯的其實是連噗浪都掃
推 WindSucker: 早就授權給社群網站了
推 low1219: 笑死 不接受AI就等著被淘汰
推 b160160: 身為機器學習時代自己蒐集資料開始玩ai 的人 看到現在這
→ b160160: 些大公司的玩法 真的讓人覺得很寒心
推 xsdferty035: AI就是這樣 網路上所有的圖片和文字都是訓練素材
推 starsheep013: 不意外
推 mirarearia: 就噁心啊
→ Kurumi2000: ？這不是早就知道的事情嗎 還有人不知道嗎
推 EfiwymsiAros: 那你可以告他
推 h0103661: 說侵權的倒是說說犯了哪條法律啊
→ h0103661: 事實就是你說禁止ai學習不具有法律效益
→ h0103661: ai學圖違規那人學圖是不是也違規
推 vhik4596: 這幾乎等於是偷東西還把被害者編號，這也太變態了吧
推 qaz95677: 果然ai仔=零元購
推 Ceferino: 現在的AI公司誰不是這樣玩的，google meta 微軟都一樣
推 Yoimiya: 這不是早就知道了嗎 你以為寫個禁止AI 人家就不會用?
→ ssm3512: ai仔就是出生啊 哪管你人類道德
→ yoyun10121: 只是拿來學就真的沒侵權疑慮呀, 現在要抓也是抓AI生出
→ yoyun10121: 畫師畫的原角色, 老鼠就拿這個去告Midjourney
→ sincere77: 只要沒違法什麼缺德事都幹得出來，不愧是AI仔
→ awenracious: 有夠噁心
推 yellowhow: 法律沒訂完善之前人家就是無敵
→ yellowhow: 只是一邊偷一邊蹭還要裝自己很乾淨真是假掰...
推 cbpa: 真難過
→ haseyo25: 最慘的接受沒有國家立即的訂法律來規範
推 Dayton: 記得很多網站都有寫使用條款 授權ooxx
→ Dayton: 用他們網站po圖一定要按同意 浮水印有沒有效力不知道
推 willytp97121: 如果未來真的是cyberpunk的世界線 那現在這幾家AI
→ willytp97121: 巨頭將來就是跟荒阪企業那樣連政府都不怕的企業怪
→ willytp97121: 物
推 sssyoyo: 內心戲太豐富了吧...你出生還被編身分證字號勒，怎麼就沒
→ sssyoyo: 想起農場烙印在動物身上的數字
→ lifehunter: 嗯...這篇文章被烙印上的編號是 #1eXwV9zT
→ hollen9: 只要數位化 使用者或作品就會有 uuid / guid / 其他 id
→ hollen9: 發的每一篇推文 噗浪 上傳的圖片也都有流水號
→ hollen9: 這年頭 唯一不被利用的方式 就是作品不要上 SNS
→ hollen9: 辦線下個人畫展 畫廊  不開通販 要的現場來買
→ hollen9: 人家事後要掃描也只能得到品質比較低的影像
→ hollen9: 且那個功夫比 右鍵存圖 大太多了
→ hollen9: 享受科技的便利同時 雖然不特別合法但也沒有罰則的事
→ hollen9: 你除了接受別無他法 即便某國立法禁止也難跨國數位執法