PTT評價

Re: [閒聊] 作了AI圖靈測試 結果公布與分析

看板C_Chat標題Re: [閒聊] 作了AI圖靈測試 結果公布與分析作者
clothg34569
(提拉)
時間推噓28 推:28 噓:0 →:56

※ 引述《clothg34569 (提拉)》之銘言:
: 先上連結 歡迎隨便轉載
: 20題版本 : https://forms.gle/2iTfiaCcwSSXWs6j8
: 30題版本 : https://forms.gle/hzXRtphBZSoDcQcG9
: 50題版本 : https://forms.gle/cp1EprygC6mKWrzq7
: 完整版: https://forms.gle/AYR2JiyJuxviebTp7
: AI圖片靈魂分辨測試 簡稱AI圖靈測試
: 來看看分不分的出是AI圖吧
: 完整版總共100題 因為長到我自己都受不了
: 所以有簡化的20 30 50題版本
: 其中20 30 50的題目都沒有重複
: 就之前AI群組裡聊天時聊到說AI玩久的到底好不好分AI
: 所以自己來做一個表單玩玩看
: 目前成績: 幹爛各大AI群 真的有夠難==
: 連我自己都沒滿分==
: https://i.imgur.com/fpmrDgU.png

: 感想大概這樣
: 我覺得有幾張真的超過份....
: 目前看了一下後台最高是92分 也是出題者以外唯一一個有90的

題目如上 還沒玩的可以先玩看看再看結果分析

以下是這次題目結果的分析


https://i.imgur.com/yEifhRy.png


先上懶人重點

20題最多人做(1500)

結果呈現一個超級漂亮的鐘形曲線

扣掉100和0之後(大部分都是我測試時填的)

平均51 中位數50 標準差14.7


#丟硬幣機率參考 : 平均50 中位數50 標準差5

大概就是標準差大一點的丟硬幣(?


裡面大概有750個人輸給丟硬幣的平均分數

....其實要我說的話找1500人丟硬幣好像也會得到差不多的結果 :)



另外
65分就贏過68%的人
80分就贏過95%的人

---

以下各題組詳細分析

可以在這找到題目的圖片

懶得看密密麻麻的字可以往後跳到幾個懶人結果

AI:
https://drive.google.com/drive/folders/1yEl_Ch-iQod-og-2JhvnP6Q3PAVageut?usp=sharing

真人
https://drive.google.com/drive/folders/1jMvmxZPwdgCwZsGciWkDBWZU8GxbuoRL?usp=sharing


20題
https://i.imgur.com/bD88cD6.png


30題 (滿分120)
https://i.imgur.com/qXLcbMS.png

50題
https://i.imgur.com/EvsgF52.png

100題完整版
https://i.imgur.com/kcPmYWZ.png

總和分析 以作者分類 用錯誤率排序
https://i.imgur.com/U7yCTGn.png


懶人結果:

20題/完整版 AI錯誤率王者 : Kiwi

參考圖

https://i.imgur.com/LFRaVFp.jpeg


第二名 : st66612873

https://i.imgur.com/vn8BqK0.jpeg



另外我自己的總和也有60%錯誤率 :)


阿福基本上是送分 來當作判斷問券有效判斷

但也代表說在有送分題的情況下平均51....


真人部分 水鈴鈴以71%錯誤率領先第二名的ke-ta (59%)與第三名的B銀河(57%)

另外B銀河如果只看めがみんクエスト的話錯誤率高達64%

這就是陷阱題的力量嗎....?

--

結論 這次AI測試的結果是大部分人比我想像中更難分出AI圖

即使是有玩AI的也一樣


未來說不定會考慮出第二彈...?

預計是中日英三版本 然後簡化成35題左右 與 100題完整版

再去掉一些送分題 然後盡量每個人的圖不要超過2張

當然還要有五張左右卡比

結尾再多個欄位給人填心得(如果有的話)

順便問問看 Google表單有辦法在看完分數後填回饋給作者嗎?

還是說只能在提交前填?


------

https://i.imgur.com/sg2uShY.jpeg


--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.230.12.206 (臺灣)
PTT 網址

x215967911/19 22:21我覺得這次測試難易度很高就是了,也是有那種很簡單就看

x215967911/19 22:21得出不是AI圖的

x215967911/19 22:21這次選圖很多那種本來就被學很多的繪師

guogu11/19 22:22懂了 下次做題準備硬幣

smart0eddie11/19 22:26

andy048111/19 22:27我覺得單純是題目挑的太故意了 你看錯誤率王者的兩張

x215967911/19 22:27我比較好奇原PO都準備題庫了,那有題目解析嗎(′・ω・

x215967911/19 22:27‵)

andy048111/19 22:27風格強烈+線條單純 沒看過的人只能骰硬幣 當然就5050

x215967911/19 22:27既然選了這些圖代表也有分辨這些AI圖的方法對吧?

sunshinecan11/19 22:30舉槍那張到底是有給AI情境還是從一堆隨機中選出來的?

avans11/19 22:30我只做20題的,印象分數40左右 哭哭輸給擲硬幣

x215967911/19 22:32舉槍那張我反而看得出來就是了,雖然的確不是常見的AI圖

x215967911/19 22:32,這批AI圖要分辨反而從圖意比較好判斷,例如這張舉槍根

x215967911/19 22:32本沒對在角色身上

x215967911/19 22:33像卡比那張我就是從星星分的,這是這種分辨方法就很主觀

guogu11/19 22:34選難的正常啊 總不能只選NAIV1的分支模型然後說分得出來吧

x215967911/19 22:34我說的難不是AI圖的部分而是繪師的部分

x215967911/19 22:36倒不如說AI的部分反而還好而已,我已經被推特咒術師訓練

x215967911/19 22:36過了,我錯的大多是繪師陷阱題

AI圖選擇邏輯 : 沒啥邏輯 群友一人贊助幾張 繪師選擇邏輯 : 幾個陷阱題 幾個常被練的 幾個單純"嘿她的畫真好看 沒看過的話你也來看看吧"

※ 編輯: clothg34569 (36.230.12.206 臺灣), 11/19/2024 22:40:06

x215967911/19 22:38有常跟創作型繪師的話就會知道,他們的作品不太可能被當

x215967911/19 22:38成AI,因為他們的作品都會有明確的表示意圖在

x215967911/19 22:38但是純插畫,或是專門畫單體人物的繪師在AI出來後就很吃

x215967911/19 22:38虧,因為這塊訓練最多

x215967911/19 22:39像是這個題庫準備的那群陷阱題繪師就是影響最大的

jeffguoft11/19 22:39我是覺得選圖很刻意,AI圖都故意挑風格特殊的,導致

jeffguoft11/19 22:39判斷困難

x215967911/19 22:40所以我才覺得難的是繪師那部分啊

Bugquan11/19 22:41這不就是很多人說AI的畫風很相似,真給你挑不一樣的,就

Bugquan11/19 22:41很難分辨了

guogu11/19 22:45所以這表示很多人說的分得出來基本是假的

x215967911/19 22:45AI畫風很相似的是最主流的那群,不一樣的那些你也不太會

x215967911/19 22:45看到,因為他們沒啥流量能蹭

guogu11/19 22:46只是有幾個畫風AI常用 所以那個畫風被當成AI而已

x215967911/19 22:46但如果你推特看得夠多會知道有很多咒術師都在裝繪師,而

x215967911/19 22:46且是有一定的方法能分辨的

andyleeyuan11/19 22:47下次應該全挑六指或左右手腳畫錯的

x215967911/19 22:47很多人在意的不是分辨得出來與否的問題,而是背後的過程

x215967911/19 22:47就像抄襲描圖你看到圖也看不出來

Tsozuo11/19 22:48一樣的風格看多又不同人畫得大都AI

Tsozuo11/19 22:48雖然現在也不少模仿畫風的 但還是有跟原作有不同的畫風

x215967911/19 22:48但也有人覺得反正圖好看就好我不在乎那麼多,那我也沒辦

x215967911/19 22:48法說什麼,這就是見仁見智的問題

x215967911/19 22:49但說實話,咒術師圈的和平在我看來只是建立在欺負繪師身

x215967911/19 22:49上而已

Tsozuo11/19 22:49對我來說 AI圖不是爛 而是東西太像 膩了

x215967911/19 22:49這種和平只是假象,因為他們有個能一致對外欺負的對象

x215967911/19 22:50原本繪師建立的社群能維持比較良好的風氣就是有些道德約

x215967911/19 22:50束在

x215967911/19 22:51就像之前有咒術師作品被拿去練LORA爆氣一樣,如果咒術師

x215967911/19 22:51真的自詡創作者,他也不會想要自己的作品被拿去練

BC847211/19 23:01代朋友回,他錯最大的2張AI圖跟水靈靈都有答對,拿了80-9

BC847211/19 23:010分

BC847211/19 23:01純黑白那張,要放大來看後理解線條是怎樣畫出來的,會發

BC847211/19 23:01現有幾個連接位很奇怪,不像是人類會犯的錯誤,有畫過線

BC847211/19 23:01犒的會懂

BC847211/19 23:01拿槍那張,右邊角色的手條線被頭髮擋住後消失了,是AI常

BC847211/19 23:01見錯誤

BC847211/19 23:01水靈靈那張雖然風格很像,但是細節全對(像斑比那張衣服細

BC847211/19 23:01節就錯了),而且沒有出現AI亂打的陰影跟亂飛的頭髮

BC847211/19 23:01我朋友的感想是只是玩AI不夠,要手繪圖也要看得多,最好

BC847211/19 23:01要自己有電繪經驗(他是玩了AI兩年,然後學了電繪快一年)

clothg3456911/19 23:12這樣反而好奇她錯的是哪幾張了

clothg3456911/19 23:13如果還要在弄二版的話 看起來開頭可以給選項填

clothg3456911/19 23:13繪畫 AI的經驗

gijoee11/19 23:17AI玩過幾天,繪畫經驗0,20題85分,錯6.15.20

BC847211/20 00:47他卡比跟咖啡杯都錯了,卡比太整人,咖啡杯以為跟PVC一樣

BC847211/20 00:47就直接選答案沒檢查

kinn11/20 02:53ai圖看眼睛高光一致性的判別率就可以超過70%了 其實目前很好

kinn11/20 02:53辨認

LOLI556611/20 03:37kiwi這個真的太扯 我還認真去看起筆收筆

showwhat211/20 07:02這個算娛樂用的,因為現在抓AI都是各方面因素和過往所

showwhat211/20 07:02有圖片抓出來認。

showwhat211/20 07:03所以遊戲美術能用AI也是因為這樣,一方面匿名有公司扛

showwhat211/20 07:03品牌損耗,一方面也確實老闆有可能這樣要求。

showwhat211/20 07:07剛剛做圖發現還有一個問題是這個沒辦法放大,AI圖放大

showwhat211/20 07:08會更好認,這個我感覺自己也不會有多少分數。

gm325211/20 07:16推,看來目前真的很難分出來

CLisOM11/20 07:52沒玩AI,20題90分,以前稍微練過繪圖,主要是十幾年天天

CLisOM11/20 07:52逛P網跟看西恰AI圖,類B銀河的圖是印象這張P網沒看過就當

CLisOM11/20 07:52AI,算人肉資料庫吧

jay92031411/20 10:02內容越簡單反而越難 是真的沒什麼判斷點線條也都挺乾淨

rgbff11/20 10:47容易錯的題都是線條少的圖,能判斷的線索太少了

Qorqios11/20 13:06@@