Re: [閒聊] AI畫圖是不是大數據拼圖？

※ 引述《yoyololicon (十年魔乃粉)》之銘言：
: Q: CNN的filter是找最常出現的pattern，所以有用到其他圖的資訊去拼貼!
: A: Also nonsense。
: 如果今天CNN只有一層，那還有一點道理。
: 但一到兩層以上，這些Hidden feature所在的空間和原本資料所在的空間已經是不同的了: 要說拿圖去拼貼非常牽強。

https://sporco.readthedocs.io/en/latest/examples/dl/bpdndl.html
https://i.imgur.com/5WkUnQm.png

很久以前有人發現圖像可以拆解成直線 圓圈等等很小的基本圖樣來表示
用這些基本圖樣可以組成各式各樣的圖

https://dl.acm.org/doi/pdf/10.1145/1553374.1553463
https://i.imgur.com/1uTkWmJ.png

加了雜訊以後的圖會跟基本圖樣有一點點不太一樣
以前做去雜訊的其中一派方法就是去找到最相近的基本圖樣組合貼上去
不過這個是只看一層

https://youtu.be/8zomhgKrsmQ
https://i.imgur.com/LCncLU2.png

https://i.imgur.com/9ImcgXN.png
而deep learning
其中一派想要做的是先讓encoder認出圖上是甚麼東西
用一個code 代表
例如可能用7474代表貓 1314代表狗
再把他辨認出的東西用decoder畫出來

https://cs231n.github.io/understanding-cnn/
https://i.imgur.com/PsH7M27.png

那convolutional encoder 怎麼辨認的?
有些人畫過他學出來的東西
可以看到一樣也是會學到各種直線圓圈的基本圖樣
去偵測圖上有沒有直線 有沒有圓圈
第二層是在第一層偵測的結果去偵測直線/圈圈
實質等同看原圖有沒有甚麼直線圈圈的特殊組合
一層一層疊下去
最後可能可以等同讓他去偵測到有沒有貓耳朵之類的東西

https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Noh_Learning_Deconvolution_Network_ICCV_2015_paper.pdf
https://i.imgur.com/LRYZhAH.png

https://i.imgur.com/UJoLCLT.png
那有了code以後要怎麼生出圖呢
有人提出了deconvolution 簡單說是逆向 convolution
convolution 是偵測有沒有特定形狀 有的話給個分數
deconvolution 則是看分數決定特定形狀在圖上要多明顯
一層一層回來就可以慢慢生出你要的圖

所以如果要例如某雞堅持只是拼貼
用極端高標準去硬凹
的確有一部分模型是會從訓練用的圖裡面學到基本圖樣
再利用這些基本圖樣組合出圖

但是以同樣標準看人類繪師
人類一樣也是學到各種基本圖樣
再利用基本圖樣組合成圖
你不可能說你的圖絕對拆不出直線 拆不出圈圈 拆不出點

https://drive.google.com/file/d/1DYHDbt1tSl9oqm3O333biRYzSCOtdtmn/view
https://i.imgur.com/rwIbf4L.png

https://i.imgur.com/ZwwZPXO.png
difusion model 的核心想法倒是不一樣
他不是去猜原本圖是甚麼
而是去猜你加了甚麼雜訊點上去
把這些雜訊點扣掉

這個要怎麼幫某雞凹成拼貼就留給大師們想辦法了

我猜會有人直接end了
屁話這麼多誰看得完
反正管他圖怎麼出來的
有色圖看就好

對啊
那就來看繪師畫的合法蘿吧
https://www.pixiv.net/users/60001492

https://www.pixiv.net/artworks/101734790
https://pixiv.cat/101734790.jpg

https://www.pixiv.net/artworks/101637298
https://pixiv.cat/101637298.jpg

https://www.pixiv.net/artworks/101657105
https://pixiv.cat/101657105.jpg

https://www.pixiv.net/artworks/101690581
https://pixiv.cat/101690581.jpg

https://www.pixiv.net/artworks/101702984
https://pixiv.cat/101702984.jpg

9000 歲歲了 safe~

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.39.58 (臺灣) ※ 編輯: smart0eddie (118.171.39.58 臺灣), 10/07/2022 03:18:39