Re: [閒聊] 作了AI圖靈測試 結果公布與分析

[clothg34569 (提拉)]

※ 引述《clothg34569 (提拉)》之銘言：
: 先上連結  歡迎隨便轉載
: 20題版本 : https://forms.gle/2iTfiaCcwSSXWs6j8
: 30題版本 : https://forms.gle/hzXRtphBZSoDcQcG9
: 50題版本 : https://forms.gle/cp1EprygC6mKWrzq7
: 完整版: https://forms.gle/AYR2JiyJuxviebTp7
: AI圖片靈魂分辨測試 簡稱AI圖靈測試
: 來看看分不分的出是AI圖吧
: 完整版總共100題  因為長到我自己都受不了
: 所以有簡化的20 30 50題版本
: 其中20 30 50的題目都沒有重複
: 就之前AI群組裡聊天時聊到說AI玩久的到底好不好分AI
: 所以自己來做一個表單玩玩看
: 目前成績: 幹爛各大AI群  真的有夠難==
: 連我自己都沒滿分==
: https://i.imgur.com/fpmrDgU.png
: 感想大概這樣
: 我覺得有幾張真的超過份....
: 目前看了一下後台最高是92分  也是出題者以外唯一一個有90的

題目如上 還沒玩的可以先玩看看再看結果分析

以下是這次題目結果的分析


https://i.imgur.com/yEifhRy.png

先上懶人重點

20題最多人做(1500)

結果呈現一個超級漂亮的鐘形曲線

扣掉100和0之後(大部分都是我測試時填的)

平均51 中位數50  標準差14.7


#丟硬幣機率參考 : 平均50 中位數50 標準差5

大概就是標準差大一點的丟硬幣(?


裡面大概有750個人輸給丟硬幣的平均分數

....其實要我說的話找1500人丟硬幣好像也會得到差不多的結果 :)



另外
65分就贏過68%的人
80分就贏過95%的人

---

以下各題組詳細分析

可以在這找到題目的圖片

懶得看密密麻麻的字可以往後跳到幾個懶人結果

AI:
https://drive.google.com/drive/folders/1yEl_Ch-iQod-og-2JhvnP6Q3PAVageut?usp=sharing

真人
https://drive.google.com/drive/folders/1jMvmxZPwdgCwZsGciWkDBWZU8GxbuoRL?usp=sharing


20題
https://i.imgur.com/bD88cD6.png

30題 (滿分120)
https://i.imgur.com/qXLcbMS.png

50題
https://i.imgur.com/EvsgF52.png

100題完整版
https://i.imgur.com/kcPmYWZ.png

總和分析 以作者分類  用錯誤率排序
https://i.imgur.com/U7yCTGn.png


懶人結果:

20題/完整版 AI錯誤率王者 : Kiwi

參考圖

https://i.imgur.com/LFRaVFp.jpeg

第二名 : st66612873

https://i.imgur.com/vn8BqK0.jpeg


另外我自己的總和也有60%錯誤率 :)


阿福基本上是送分 來當作判斷問券有效判斷

但也代表說在有送分題的情況下平均51....


真人部分 水鈴鈴以71%錯誤率領先第二名的ke-ta (59%)與第三名的B銀河(57%)

另外B銀河如果只看めがみんクエスト的話錯誤率高達64%

這就是陷阱題的力量嗎....?

--

結論 這次AI測試的結果是大部分人比我想像中更難分出AI圖

即使是有玩AI的也一樣


未來說不定會考慮出第二彈...?

預計是中日英三版本 然後簡化成35題左右 與 100題完整版

再去掉一些送分題 然後盡量每個人的圖不要超過2張

當然還要有五張左右卡比

結尾再多個欄位給人填心得(如果有的話)

順便問問看 Google表單有辦法在看完分數後填回饋給作者嗎?

還是說只能在提交前填?


------

https://i.imgur.com/sg2uShY.jpeg

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.230.12.206 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1732025886.A.703.html
推 x2159679: 我覺得這次測試難易度很高就是了，也是有那種很簡單就看
→ x2159679: 得出不是AI圖的
→ x2159679: 這次選圖很多那種本來就被學很多的繪師
推 guogu: 懂了 下次做題準備硬幣
推 smart0eddie: 豪
推 andy0481: 我覺得單純是題目挑的太故意了 你看錯誤率王者的兩張
推 x2159679: 我比較好奇原PO都準備題庫了，那有題目解析嗎(′・ω・
→ x2159679: ‵)
→ andy0481: 風格強烈+線條單純 沒看過的人只能骰硬幣 當然就5050
→ x2159679: 既然選了這些圖代表也有分辨這些AI圖的方法對吧?
推 sunshinecan: 舉槍那張到底是有給AI情境還是從一堆隨機中選出來的?
推 avans: 我只做20題的，印象分數40左右 哭哭輸給擲硬幣
推 x2159679: 舉槍那張我反而看得出來就是了，雖然的確不是常見的AI圖
→ x2159679: ，這批AI圖要分辨反而從圖意比較好判斷，例如這張舉槍根
→ x2159679: 本沒對在角色身上
→ x2159679: 像卡比那張我就是從星星分的，這是這種分辨方法就很主觀
推 guogu: 選難的正常啊 總不能只選NAIV1的分支模型然後說分得出來吧
→ x2159679: 我說的難不是AI圖的部分而是繪師的部分
推 x2159679: 倒不如說AI的部分反而還好而已，我已經被推特咒術師訓練
→ x2159679: 過了，我錯的大多是繪師陷阱題
AI圖選擇邏輯 : 沒啥邏輯 群友一人贊助幾張
繪師選擇邏輯 : 幾個陷阱題 幾個常被練的
幾個單純"嘿她的畫真好看 沒看過的話你也來看看吧"
※ 編輯: clothg34569 (36.230.12.206 臺灣), 11/19/2024 22:40:06
推 x2159679: 有常跟創作型繪師的話就會知道，他們的作品不太可能被當
→ x2159679: 成AI，因為他們的作品都會有明確的表示意圖在
→ x2159679: 但是純插畫，或是專門畫單體人物的繪師在AI出來後就很吃
→ x2159679: 虧，因為這塊訓練最多
→ x2159679: 像是這個題庫準備的那群陷阱題繪師就是影響最大的
推 jeffguoft: 我是覺得選圖很刻意，AI圖都故意挑風格特殊的，導致
→ jeffguoft: 判斷困難
→ x2159679: 所以我才覺得難的是繪師那部分啊
推 Bugquan: 這不就是很多人說AI的畫風很相似，真給你挑不一樣的，就
→ Bugquan: 很難分辨了
推 guogu: 所以這表示很多人說的分得出來基本是假的
推 x2159679: AI畫風很相似的是最主流的那群，不一樣的那些你也不太會
→ x2159679: 看到，因為他們沒啥流量能蹭
→ guogu: 只是有幾個畫風AI常用 所以那個畫風被當成AI而已
→ x2159679: 但如果你推特看得夠多會知道有很多咒術師都在裝繪師，而
→ x2159679: 且是有一定的方法能分辨的
推 andyleeyuan: 下次應該全挑六指或左右手腳畫錯的
→ x2159679: 很多人在意的不是分辨得出來與否的問題，而是背後的過程
→ x2159679: 就像抄襲描圖你看到圖也看不出來
推 Tsozuo: 一樣的風格看多又不同人畫得大都AI
→ Tsozuo: 雖然現在也不少模仿畫風的 但還是有跟原作有不同的畫風
→ x2159679: 但也有人覺得反正圖好看就好我不在乎那麼多，那我也沒辦
→ x2159679: 法說什麼，這就是見仁見智的問題
→ x2159679: 但說實話，咒術師圈的和平在我看來只是建立在欺負繪師身
→ x2159679: 上而已
→ Tsozuo: 對我來說 AI圖不是爛 而是東西太像 膩了
→ x2159679: 這種和平只是假象，因為他們有個能一致對外欺負的對象
→ x2159679: 原本繪師建立的社群能維持比較良好的風氣就是有些道德約
→ x2159679: 束在
推 x2159679: 就像之前有咒術師作品被拿去練LORA爆氣一樣，如果咒術師
→ x2159679: 真的自詡創作者，他也不會想要自己的作品被拿去練
推 BC8472: 代朋友回，他錯最大的2張AI圖跟水靈靈都有答對，拿了80-9
→ BC8472: 0分
→ BC8472: 純黑白那張，要放大來看後理解線條是怎樣畫出來的，會發
→ BC8472: 現有幾個連接位很奇怪，不像是人類會犯的錯誤，有畫過線
→ BC8472: 犒的會懂
→ BC8472: 拿槍那張，右邊角色的手條線被頭髮擋住後消失了，是AI常
→ BC8472: 見錯誤
→ BC8472: 水靈靈那張雖然風格很像，但是細節全對(像斑比那張衣服細
→ BC8472: 節就錯了)，而且沒有出現AI亂打的陰影跟亂飛的頭髮
→ BC8472: 我朋友的感想是只是玩AI不夠，要手繪圖也要看得多，最好
→ BC8472: 要自己有電繪經驗(他是玩了AI兩年，然後學了電繪快一年)
→ clothg34569: 這樣反而好奇她錯的是哪幾張了
→ clothg34569: 如果還要在弄二版的話 看起來開頭可以給選項填
→ clothg34569: 繪畫 AI的經驗
推 gijoee: AI玩過幾天，繪畫經驗0，20題85分，錯6.15.20
推 BC8472: 他卡比跟咖啡杯都錯了，卡比太整人，咖啡杯以為跟PVC一樣
→ BC8472: 就直接選答案沒檢查
推 kinn: ai圖看眼睛高光一致性的判別率就可以超過70%了 其實目前很好
→ kinn: 辨認
推 LOLI5566: kiwi這個真的太扯 我還認真去看起筆收筆
推 showwhat2: 這個算娛樂用的，因為現在抓AI都是各方面因素和過往所
→ showwhat2: 有圖片抓出來認。
→ showwhat2: 所以遊戲美術能用AI也是因為這樣，一方面匿名有公司扛
→ showwhat2: 品牌損耗，一方面也確實老闆有可能這樣要求。
推 showwhat2: 剛剛做圖發現還有一個問題是這個沒辦法放大，AI圖放大
→ showwhat2: 會更好認，這個我感覺自己也不會有多少分數。
推 gm3252: 推，看來目前真的很難分出來
推 CLisOM: 沒玩AI，20題90分，以前稍微練過繪圖，主要是十幾年天天
→ CLisOM: 逛P網跟看西恰AI圖，類B銀河的圖是印象這張P網沒看過就當
→ CLisOM: AI，算人肉資料庫吧
→ jay920314: 內容越簡單反而越難 是真的沒什麼判斷點線條也都挺乾淨
推 rgbff: 容易錯的題都是線條少的圖，能判斷的線索太少了
→ Qorqios: @@