PTT評價

Re: [閒聊] AI畫圖是不是大數據拼圖?

看板C_Chat標題Re: [閒聊] AI畫圖是不是大數據拼圖?作者
newwu
(說不定我一生涓滴廢文)
時間推噓56 推:56 噓:0 →:144

我嘗試來簡單圖解一下 AI生成圖的概念
因為 1. 想要簡單解釋 2. 我不是本科生
請板上各位高手不吝指教 不過別太嚴格

見圖一
首先,我想要從向量空間開始講起
假設你有一張圖 只有兩個像素 1 x 2
那你可以把第一個像素當成 x 第二個當成 y
這圖就是一個(x,y)向量 (見下圖)
假如有 3個像素 1 x 3 就是(x,y,z)三維向量
同理,
nx x ny 像素的圖 就是一個nx x ny 維度的向量

https://i.imgur.com/5QxQiV2.jpg

圖一


見圖二
理解這個想法後
我們把圖像的高維空間畫成二維方便表示
以ACG圖為例
那被人類接受的ACG圖就是一個高維空間中的分佈
簡單理解就是一個範圍內的圖,會被視為可接受的ACG圖
在那個範圍外的空間包含相片 雜訊 古典藝術 支離破碎的圖

生成模型的目的,就是從範圍內的樣本(下圖紅點)建立一個模型
這個模型學習到這個範圍,而模型可以生成也只會生成在範圍內的點

https://i.imgur.com/NfUyIAg.jpg

圖二

這裡有兩點值得注意
1. 模型並沒有儲存紅色樣本點的資訊,而是學到讓點落在那個範圍內的方法
2. 雖然理想上是要學習被人類接受的ACG圖的範圍,但是能學到的範圍受到樣本的限制例如:未來會出現的畫風照道理說也在範圍內,但是沒有樣本,理論上學不到
又或者你的樣本內沒有一張圖出現耳機,模型就生不出戴耳機的妹子
基本上這機器學習的概念和人類有像,就是看很多存在的圖理解什麼算ACG圖
怎樣畫才是合格的ACG圖
但是
1.模型缺乏人類的先驗知識,例如我們知道耳機長怎樣,即使沒看過耳機的ACG圖
2.缺乏人類的創造力,因為人所能接受的ACG圖範圍一定比現在大得多,
缺乏人類的經驗知識或本能,以現在的做法機器無法拓展新的創作範圍

接下來簡單講一下,我所理解的主流生成模型
1. 生成對抗網路
這是兩個模型 一個機器評鑑家 和一個機器創作者
機器評鑑家不斷的學習分辨真正的人類創造 和 機器創作者造出的膺品
機器創作者則是不斷學著越畫越像人 騙過評鑑家
一個模型學習界定範圍
另一個學習讓生成的點在範圍內

2. Diffusion model (見圖三)
這個東西就是現在主流的這些動漫圖生成器的原理
這東西比較不直觀 數學也很複雜
簡單來說,
在訓練這模型時,先讓原本那些樣本點隨機擴散
最後變成一個高斯分佈 (ACG圖退化成雜訊)
同時紀錄擴散過程
之後再訓練一個模型學習逆擴散,把高斯分佈還原回ACG圖範圍
之後你高斯分佈取一點(丟一張雜訊給模型)
模型就會自動把你的圖推回去那範圍(變成ACG圖了)

https://i.imgur.com/zdnQPmj.jpg


這樣大致解釋一下,你覺得是拼貼嗎
-----
Sent from JPTT on my iPad

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.96.90.228 (美國)
PTT 網址

newwu10/06 13:32哭啊 打到一半就有人解釋了 我在幹嘛…

lsd2596810/06 13:33沒事 有手繪解說給你推QQ

smart0eddie10/06 13:33訓練學到的convolution filter 會像是小塊pattern

smart0eddie10/06 13:33根據activation 強度會在輸出圖上出現相應的pattern

smart0eddie10/06 13:33一層一層疊起來

smart0eddie10/06 13:33硬要凹是拼貼也沒說錯

guogu10/06 13:34圖文並茂 很棒啊

mic7352810/06 13:35你講那麼多文組哪懂,看起來像就說拼貼阿

oasis40410/06 13:35沒關係,你講的比較簡單好懂一點

andy048110/06 13:35透過運算把圖拆解 然後透過運算把圖產出來 算拼貼嗎

Koyomiiii10/06 13:35手繪的 你的分數更高啦

emptie10/06 13:37你的圖說蠻清楚的耶

cybermeow10/06 13:37我那篇只是複製貼上啦ww

naya741596310/06 13:37推推 你的說明也很棒

Splatoon10/06 13:37文組繼續說拼貼抄襲

BwDragonfly10/06 13:38寫得很清楚

qd659010/06 13:39其實我覺得這篇沒有比上一篇好懂 不過推用心

newwu10/06 13:39我只是想有人解釋就懶得解釋了

cornsoup10/06 13:41手繪贏了

yiwangneko10/06 13:41我懂ㄌ 謝了

wei11510/06 13:41有沒有專門用來解釋AI的AI

yiwangneko10/06 13:41你的圖很清楚

asdfg061210/06 13:43這問題就在把東西推到不同維度去做拼貼叫不叫拼貼

miyazakisun210/06 13:43數學我頭好痛= =

inte629l10/06 13:43推解說

inte629l10/06 13:44很好奇擴散手法的發想w 無奈數學不夠好

※ 編輯: newwu (73.96.90.228 美國), 10/06/2022 13:47:15

starsheep01310/06 13:45圖解w

guogu10/06 13:48他沒有儲存原始資料能算拼貼嗎?

說到這個, 假如有人亂玩過GAN就知道 train壞的GAN會認為生成在範圍內的最好方法就是 直接生成樣本點XD

Vulpix10/06 13:48Diffusion的概念就是拓樸啊。感覺應該要建立距離概念,那

※ 編輯: newwu (73.96.90.228 美國), 10/06/2022 13:50:52

Vulpix10/06 13:49就應該是賦距的拓樸。有一點類似這樣:給全世界所有人都打

Vulpix10/06 13:50上一個等級,數字越接近零的才是你的朋友。數字很大的那些

Vulpix10/06 13:50可能因為社經或物理上距離你遙遠而數字太大。

BwDragonfly10/06 13:52他把"圖轉成雜訊又把雜訊還原成圖"的參數記下

BwDragonfly10/06 13:54把那個參數用在全新的雜訊圖上就是拼貼的時機

問題是人類也是阿 哪個繪師的身體各部位畫法 不是看其他人的圖學來的 不同點是人類有其他知識經驗 電腦只有偽隨機數 和 比人類多更多的閱覽描圖量

asdfg061210/06 13:55而且那種瞎雞巴大的模型隨便train一下就overfitting了

vios1000910/06 13:58如果這樣還硬要說是拼貼的話,那人在構思圖案的動作在

vios1000910/06 13:58他們的思考邏輯上也是拼貼了

DeeperOcean10/06 14:01人的作畫又難以一概而論了,很多人在動筆畫畫的當下

DeeperOcean10/06 14:01腦裡是沒有畫面的,只有想畫的題材,看到自己畫出的

DeeperOcean10/06 14:01線條或顏色之後才有接下來的想法,至少跟AI的過程完

DeeperOcean10/06 14:01全不同

BwDragonfly10/06 14:01沒說人類不是拼貼,人類就是站在巨人的肩膀上

BwDragonfly10/06 14:02就如你所說,人類有其他經驗,可以在圖畫上混合

jimmyVanClef10/06 14:02不管啦像素級的拼貼還是拼貼啦都是抄襲啦抄像素也

jimmyVanClef10/06 14:02是抄襲啦不管啦幹

BwDragonfly10/06 14:02人可以做到 其他事物混圖,但是AI只有 圖混圖

andy048110/06 14:02達文西學人體畫法是自己去解剖學來的 哪邊學其他人圖

andy048110/06 14:03實際上就是 目前的AI拆解半天 還是只有拆解別人的圖

BwDragonfly10/06 14:03人類就可以把現實實景混上前輩的畫法

BwDragonfly10/06 14:03但AI只有 前輩的畫法混前輩的畫法

※ 編輯: newwu (73.96.90.228 美國), 10/06/2022 14:05:18

andy048110/06 14:04現在問題就是 AI從A畫家得到的A算式 B畫家得到的B算式

andy048110/06 14:05這些算式能說是AI自產的嗎

BwDragonfly10/06 14:06人類混太多前輩的畫法 混到不能分辨時一樣是侵權啦

guogu10/06 14:06誰說的 那是novelai只用圖片 一堆其他的照片之類的都丟進去

asdfg061210/06 14:08丟一堆進去 學的方法跟學到的概念也沒變啊

newwu10/06 14:10真的那你訓練AI時多加幾張自己拍的照片進去 這樣就不算拼圖

newwu10/06 14:10了嗎

newwu10/06 14:10倒頭來是哲學問題嘛

asdfg061210/06 14:11那只是拼圖能拼的材料變多

undeadmask10/06 14:11看起來就是在從樣本分析出來的模型範圍內,慢慢把符

undeadmask10/06 14:11合條件的像素填進去,我玩拼圖也是這樣玩的。

vios1000910/06 14:12除非你是盲人畫師,不然只要有眼睛看的到在那些人的邏

vios1000910/06 14:12輯眼中就是抄襲了。

newwu10/06 14:12在電腦上架個攝影機 影響直通模型追加訓練 這還不夠仿人類

newwu10/06 14:12

newwu10/06 14:12人類不也是揉合前輩和個人經驗來創造

guogu10/06 14:12我記得很像有漫畫家說過類似人只畫的出看過的東西這種話

andy048110/06 14:13別再跟人類一樣了 人類還有自我感知跟想像的功能 ==

guogu10/06 14:13ai:我也會加噪點阿==

andy048110/06 14:14你給AI看再多 不給他看雷太的畫 不給他看妖精 他是無法

andy048110/06 14:14憑空創造出一個噪點跟公式畫出源賴光或長耳朵妖精

newwu10/06 14:14電腦有隨機數!

kinghamb10/06 14:14那就只是AI看得還不夠多阿

andy048110/06 14:15但人類可以 而今天這個看雷太畫產的公式 雷太有著作權嗎

andy048110/06 14:15目前的隨機數要用人為操控去調整給權重阿 離產圖還遠的

acininder10/06 14:16人類沒看過也畫不出雷太畫風啊 你想說啥

andy048110/06 14:16不是看不夠多的問題 你給他看再多三次元都產不出長耳朵

asdfg061210/06 14:16你回去看看你的隨機噪點是怎麼被轉成圖片的

guogu10/06 14:16你人類沒看過人沒看過比較長的耳朵就畫的出妖精?

vios1000910/06 14:16你大概忘了有一大部份被人類嫌棄淘汰的AI圖都是AI自己

vios1000910/06 14:16算出來的,這些圖卻不被歸類為AI自己想像的

BwDragonfly10/06 14:17確實 看得夠多的話就能降低和特定畫家相似的可能性

BwDragonfly10/06 14:17就變成抓不到

andy048110/06 14:18我知道AI會算出人為淘汰的圖阿 所以你還是要用人為去調

andy048110/06 14:18教成人類想要的東西 這過程是有價值的沒錯

undeadmask10/06 14:18不是吧,印象派你還可以說是畫家近視太深,看起來都

undeadmask10/06 14:18糊糊的,但野獸派、立體派的畫風在被創造出來以前要

newwu10/06 14:18我就覺得這是哲學問題 才以問句做結 模型再強也會被這樣質

undeadmask10/06 14:18去哪裡看來學?水墨畫、浮世繪中許多線條的型態跟透

undeadmask10/06 14:18視法也不是人眼能捕捉到的形象

newwu10/06 14:18

newwu10/06 14:18這問題被推到這地步,跟完美強AI是在模仿人類還是真有意識

newwu10/06 14:18根本一樣

acininder10/06 14:18有個有趣的事情大家可以想想 danbooru2021 dataset 接

acininder10/06 14:18近5TB 而diffusion model則只有4GB

andy048110/06 14:19今天問題是餵他吃A畫家的圖得到A畫家公式 用A畫家當tag

vios1000910/06 14:19一直在不斷告知AI該怎麼畫的過程,難道就不是教嗎?

andy048110/06 14:19就會套上這公式去算 那這公式能說不是吃A畫家圖來的嗎

acininder10/06 14:19什麼是學會 就是很哲學的東西了

asdfg061210/06 14:20對啊 就像有人可以靠背考高分 有人靠理解原理跟邏輯

undeadmask10/06 14:20因為AI沒有自我意識能夠定義出風格,不管是被人為選

undeadmask10/06 14:20中和淘汰的,對它來說都是符合條件的圖

andy048110/06 14:21人類的學會很哲學 但AI的學會還是一串串的公式代碼

BwDragonfly10/06 14:21告知AI這件事,準確說是調整機器達到預期的目標

guogu10/06 14:22novelai不能用繪師當關鍵字就是了

BwDragonfly10/06 14:22所以才把硬教人類學習的行為,形容成機器人

BwDragonfly10/06 14:22例如考試機器人

vios1000910/06 14:23人們在模仿賽璐璐畫風的同時,不也是以此為目標嗎?

asdfg061210/06 14:23還有對繪畫的認知跟對AI數學概念 實際運作的認知也很

asdfg061210/06 14:23影響這個問題的結論

guogu10/06 14:23我覺得ai不是不能產生風格 而是審美的是人

guogu10/06 14:23它的風格你可能只會覺得這個ai練壞了

opppoo12310/06 14:29感謝講解,diffusion 原來是這個意思

vios1000910/06 14:29把賽璐璐畫風當作圍棋來看待,人類能走過的棋,AI肯定

vios1000910/06 14:29也會走過來甚至超越,現在還只是AlphaGO,等到變成Alp

vios1000910/06 14:29haZero那樣,那就沒有任何繪師能超越AI的畫風了,因為

vios1000910/06 14:29它能無中生有產出比目前畫風更引人注目的畫風

newwu10/06 14:30當然 難的是產生人可以接受的新風格

andy048110/06 14:30現在問題就是 產生對於AI來說早就不難了 但AI沒辦法靠自

andy048110/06 14:31己明白畫的是不是人要的東西

newwu10/06 14:32還是跟強化學習不同

newwu10/06 14:32圍棋有規則有明確可定義的目標,可是產圖要懂的是人心

likeyousmile10/06 14:36

vios1000910/06 14:37目前最大的區別是人類的審美觀其實已經鎖定AI畫圖的局

vios1000910/06 14:37限性,所以在怎麼強化也還是AlphaGO等級,要跳到Alpha

vios1000910/06 14:37Zero然後人類還能接受的畫風還有一段路要走

vios1000910/06 14:38一個目標是贏,另一個的目標是討好人類的審美觀

vios1000910/06 14:39畫的很厲害很複雜沒有畫師能辦到,人類不喜歡也沒有用

undeadmask10/06 14:39今天如果把一些被淘汰奇形怪狀的圖撿起來說你看這些

undeadmask10/06 14:39都是AI畫的,可能會很新奇沒錯,但實際上卻也是經過

undeadmask10/06 14:39人為主觀判斷挑選後出來的圖,你以為的AI風格其實還

undeadmask10/06 14:39是人為定義的。讓不同的人來選結果可能都不會一樣

vios1000910/06 14:41我可以說繪師不會完全被取代,但不該因此排擠AI,就像

vios1000910/06 14:41你不會因為照相機會取代畫肖像畫的人就不用相機一樣

vios1000910/06 14:46相機的誕生在兩百年前也是顛覆當時的美術,但事實上兩

vios1000910/06 14:46邊都能夠共存到現在

gintom783510/06 14:47人畫不出沒看過的東西?那那些奇幻故事的各種種族是怎

gintom783510/06 14:47麼來的?

jimmyVanClef10/06 14:47ai靠一串串公式跟代碼,人類也一樣啊用語言文字教

jimmyVanClef10/06 14:47你公式教你怎麼做

jimmyVanClef10/06 14:47公式的部分自不必說,代碼就只是機器語言,溝通用

jimmyVanClef10/06 14:47的東西而已

andy048110/06 14:49但是有個差距 你腦內的東西是你的這在法律跟道德上沒問

undeadmask10/06 14:49相機的衝擊,促使人類的繪畫創作脫離了早期注重光影

undeadmask10/06 14:49寫實比例的刻畫,朝向新的方向去發展,這說明了人類

undeadmask10/06 14:50的審美觀並不是固定的,除非AI有意識,能為自己的風

undeadmask10/06 14:50格定義出標準,不然終究還是只能作為工具,依附在人

undeadmask10/06 14:50類的喜好之下

andy048110/06 14:50題 但AI的公式代碼如果是靠別人的圖來的 請問這些東西能

andy048110/06 14:50算是AI擁有者擁有的嗎

SALEENS7LM10/06 14:53人類最主要的差異就是自我意識吧,就算學習也是自我

SALEENS7LM10/06 14:53去思考見解取捨吸收融合之後依照自己的想法去畫出想

SALEENS7LM10/06 14:53畫的東西,用手畫出腦內的想法或創意,就是這樣才有

SALEENS7LM10/06 14:53很多現實不存在的奇幻生物之類的被創作出來

vios1000910/06 14:54那樣的話有問題的也是那些拿盜圖來餵的人,不是AI

naya741596310/06 14:59現實不存在的奇幻生物的概念也是從現實動物而來的啊

naya741596310/06 14:59人類的思想仍然無法超脫自身所生存的世界概念,所謂

naya741596310/06 14:59的創意仍然是從生命經驗而來。而為了特定目的訓練的

naya741596310/06 14:59AI都餵同類型的圖,自然也只能製造出範圍內的圖,甚

naya741596310/06 14:59至超出範圍會被人類判定為不合格

vios1000910/06 15:00NovelAI如果是盜圖,那應該譴責他們,但AI是無辜的,

vios1000910/06 15:00不能一竿子打翻一船AI,其他拿公開無版權圖案練習的AI

vios1000910/06 15:00不該因此被推上處刑台

BwDragonfly10/06 15:03有問題一直都是盜圖的人,如果是自己畫圖餵給AI,哪

BwDragonfly10/06 15:03有問題

SALEENS7LM10/06 15:04人類懂得把現實被認知到的概念用思想去融合或以此為

SALEENS7LM10/06 15:04底魔改成一種新的本身就是在用自我意識去創造了啊

TSMKDAsa10/06 15:06為什麼一直有人譴責NovelAi用盜版網站資料 但是卻沒見過

TSMKDAsa10/06 15:06幾個人去譴責danbooru本身啊 它才是萬惡根源不是ㄇ

Koyomiiii10/06 15:07因為嘴danbooru高機率像上面那篇被曬www

guogu10/06 15:07ai也很會融阿 安價串不就融出一堆鬼東西

naya741596310/06 15:09那像之前有人發文眼睛長奶子的難道就不算創造嗎?

naya741596310/06 15:09我覺得前提是觀看者知道作者是人類或AI,才因此產生

naya741596310/06 15:09出觀感差異

undeadmask10/06 15:10問題就在人類創意由來的生命經驗不光來自外在形象的

undeadmask10/06 15:10臨摹而已

jay92031410/06 15:16推 好多熟悉的名詞,但我沒學好都看無

SALEENS7LM10/06 15:21那是它經過思考理解之後想像得出的東西嗎?

naya741596310/06 15:21樓上上說的能否舉例呢?有點抽象不太理解你的意思

naya741596310/06 15:23對,我覺得重點在「作者的思考與理解」,人類繪師的

naya741596310/06 15:23價值就在於.....他是人類。

naya741596310/06 15:23因為我們是群居動物,天生有交流的需求,所以能夠理

naya741596310/06 15:23解繪師思想的畫作比起AI隨機產圖還要有價值

naya741596310/06 15:24(不過價值可能因人而異就是了)

naya741596310/06 15:25並不是「因為是人類才能畫的出這樣的圖」,而是「因

naya741596310/06 15:25為是人類畫出這樣的圖才有意義」

naya741596310/06 15:26依照圖本身的用途不同,有些不需要作者這層意義的就

naya741596310/06 15:26會被AI取代

undeadmask10/06 15:39現在的AI算圖的局限在於你的取材樣本終究來自於分析

undeadmask10/06 15:39其他人已經創作出的圖像作品,但是人類的創作靈感有

undeadmask10/06 15:39時候不單單來自於眼睛所見到的事物,夢境、記憶、感

undeadmask10/06 15:39情、經驗,甚至味覺嗅覺等等都能成為題材養分,透過

undeadmask10/06 15:39人的主觀意識形塑成作品,甚至在不同的精神情緒狀態

undeadmask10/06 15:39也會有不一樣的結果。

qwerasd15810/06 15:41專業推

undeadmask10/06 15:43當然用AI學習運算可以在視覺結果上無限的接近,但我

undeadmask10/06 15:43認為過程還是有不小的差異

Mike82101810/06 17:35所以簡單說就是AI先看一幅畫怎麽被揉成垃圾

Mike82101810/06 17:35再嘗試把另一坨垃圾攤開變成一幅畫

lonelygroup10/06 18:07寫得挺好&有插圖 推