Re: [閒聊] AI畫圖是不是大數據拼圖？
最近回去念書了，念的programme名字有AI，應該可以發個言ㄅ
新科技需要熱衷的族群做推廣，有推廣才有funding，我才有薪水qq
不過這些族群不一定對科技有正確的認識
這幾天看到一些不精確又容易誤導的解釋真的會中風
想說做點簡單的科普(科普很難我知道qq)
※ 引述《newwu (說不定我一生涓滴廢文)》之銘言：
: 見圖二
: 理解這個想法後
: 我們把圖像的高維空間畫成二維方便表示
: 以ＡＣＧ圖為例
: 那被人類接受的ＡＣＧ圖就是一個高維空間中的分佈
: 簡單理解就是一個範圍內的圖，會被視為可接受的ＡＣＧ圖
: 在那個範圍外的空間包含相片 雜訊 古典藝術 支離破碎的圖
: 生成模型的目的，就是從範圍內的樣本（下圖紅點）建立一個模型
: 這個模型學習到這個範圍，而模型可以生成也只會生成在範圍內的點
: https://i.imgur.com/NfUyIAg.jpg
借用newwu的圖
目前大家在討論的AI，其實更精確地講，應該說是圖像的生成模型Generative Models(GM)
GM有很多種
舉凡VAE, Autoregressive Models, GAN, Normalizing Flow, Denoising Diffusion都是
而一個被科學家普遍採用的假設是
真實世界資料的複雜分布(圖二)，都對應到一個潛在空間latent space
而這個空間通常較具有可讀性(interpretable)，例如某個維度代表某種面向
另外方便起見，現實資料這個潛在空間的分布會是個很簡單可操作的分布
大部分論文都用常態分布Gaussian，但我相信也有人用binomial分布之類
為甚麼要這麼設計? 因為如果假設為真，可以幫助我們去分析與理解現實的資料
科學研究本來就是要幫助人類進步，怎麼會搶繪師的飯碗
而大部分模型在做的事，就是學這個兩個空間的對應關係
訓練方式也很簡單，最大化資料在這兩個空間的可能性(likelihood)
VAE的潛在分布在一個低維空間
GAN雖然理論基礎薄弱導致先天性缺陷一大堆，但也是在modeling低維的空間
Normalizing Flow和Diffusion比較特別，潛在空間的維度和原始資料一樣
Autoregressive Models直接模擬現實的分布，但不影響上述的假設
至於Diffusion Models的貢獻還有表現為甚麼這麼好，以至於瘋狂的流行起來
比之前的GAN熱潮有過而無不及，主要是因為訓練Diffusion Model和訓練VAE一樣
都是在最大化分佈的下限 maximium lower bound
然而卻沒有VAE的模糊問題，證明只要分佈設計的好
是可以同時保持VAE的好訓練特色和GAN一樣的高likelihood
也不是沒有缺點
如果把整個生成過程攤開來看，Diffusion model就是一個超~~極深的神經網路
比ResNet還深，導致生成非常耗時，加速生成過程也是一個熱門的研究方向
如果對diffusion models有興趣，想快速了解也不排斥讀論文
我推薦這篇近期的overview paper，對整個diffusion models的不同面向都有做講解
https://ar5iv.labs.arxiv.org/html/2208.11970
也可以看板上cybermeow的解說
另外這篇的結語也非常有趣
就是人在畫圖的時候，是否也是藉由不斷的去噪，提煉出一張圖的?
diffusion實際上真的模擬的人類的創作過程嗎? 值得玩味
最後回答幾個常見的QA
Q: AI畫圖都是從別人的圖找出來拼貼的。
A: 沒有這種事。
從以上以及前幾篇的講解，可以知道生成模型從頭到尾在做的
就只是機率統計而已。
給予離散的資料點，找出最能代表的連續函數，僅此而已。
因為有loss的關係，要生出完全一模一樣的圖幾乎不可能
(當然也有生出不完全相同，但人類感知上無法察覺不同的情況
Q: AI繪圖只能迎合大眾的喜好，無法有獨創性，提出新的概念。
A: 這是個無法說死的問題。
理想上，數個資料如有類似的屬性，不管是畫風、概念、構圖
在潛在空間應該會落在一個鄰近的區域(cluster)
如果我們有足夠的資料、足夠強的模型架構，能真的完全模擬現實資料的潛在分佈
那麼所謂的沒出現在訓練資料，具有獨特性的繪圖
也許只是某個能內差或外插出來的區域而已。
當然也有可能AI繪圖影響到人類繪圖的整體分佈，脫離原本的潛在空間。
Q: diffusion的訓練過程和GAN相比，會直接看到訓練過程所以較強(#1ZFbZ85b)
A: Nonsense.
diffusion強大的原因在前文已經解釋了。
GAN不可能沒用到原圖的資訊，你如果把discriminator和generator並在一起當作同一個
模型就知道了。
VAE的訓練也會直接看到原圖，效果卻一般。
Q: CNN的filter是找最常出現的pattern，所以有用到其他圖的資訊去拼貼!
A: Also nonsense。
如果今天CNN只有一層，那還有一點道理。
但一到兩層以上，這些Hidden feature所在的空間和原本資料所在的空間已經是不同的了
要說拿圖去拼貼非常牽強。
大概醬，有問題可以直接推文，還得寫今天跟老闆的會議紀錄QQ
--
不懂的還是繼續不懂
人類畫圖 確實就是去噪
這個原理就是人類畫圖 先打線稿 然後從線稿中追求理想
塗上某個色彩 然後又抹去部份 添加細節
嗯嗯嗯跟我想的差不多
重點是圖和照片界線越來越淡，以前大家希望保持細節，現
在照片，反而一堆人只想要"線條"和顏色。修圖修到最後，
細節都不見了，不過卻被說是"美的照片"
模糊的美學嘛 眼不見為淨 不然拍照也不會出遠景了
推科普
一堆專有名詞誰看的懂 不翻譯成人話也是枉然
先推 等睡不著在看overview paper XD
AI技術上本來就是沒有問題的，問題一直是用法跟目的
我會再加強解釋的功力qq
很多狀況根本是使用者本身希望能做到拿圖改圖的成果
難得看到有人認真介紹 推推
也就是藉由AI這個清白的工具，做些投機取巧的事
這才會有那麼多問題的
然後還要被一些不懂瞎搞的人說都是ai的錯 禁止ai學圖
即使NovelAI官方，肯定也沒有想為資料庫付錢的念頭
推
之前有個論文 是把成果再加上一個分類器
2樓被打臉了 還能堅持己見
@aa9012 二樓那裡被打臉了？
您是不是認錯人？
另外這篇文講得很好 但不懂的閱讀的人還是不懂啦...文章
太長或圖片不夠多的都入不了某些版友的法眼，我猜。
人類的去噪跟defusion 的不一樣吧
手法確實不一樣 人類比較擅長加法的去噪
有人看不懂這也不是文章太長還是沒圖的問題
人類對一張圖 做的去噪就是加法
光是那個likelihood
非相關的人不太會去碰到吧
加入無關的東西 減少畫面的雜訊（白區）
理想ai跟現在的ai效果終究是有差距的
感謝解說每次看到說拼貼的頭都很痛，另外想請問diffusi
on model中將原圖加上噪點後如何訓練denoise，像是NN就
是微分取導數求最快下降的梯度，那denoise的過程呢，如
果需要大量機率的背景知識或是大大懶得解釋就算了，謝
謝？
就是直接給加了noise的圖，模型吐出它覺得noise長怎樣 把它跟原本的noise算loss，求梯度而已 基本上就是在做源分離(source separation)
去噪作畫……我覺得沙畫挺像的XD 或者用磁鐵玩沙鐵畫。
多拉A夢我需要翻譯年糕
比較像是在玩可以把沙子拿起來砸回去的沙畫沒錯啦 diffus
ion model 就我的理解就是在做這件事
推
剛剛突然想到，假設今天再也沒有任何新的藝術創作，
ai還能夠繼續學習嗎？
"繼續學習"這個字眼不是很精確，有種模型在持續進化的感覺 但實際上訓練生成模型都是把資料收集，跑training，done 不會放在線上讓它持續增加資料庫這樣訓練 不知是電影或是對抗式生成網路讓大眾有這樣的誤解 如果不再有新資料，那模型的上限就到那邊
沒事 說拼貼的明天繼續說拼貼
推個
原來如此感謝大大解說 簡單明瞭
推 但不想懂的不會看
目前的AI本質上就是機率統計
抱歉，用字不精確，謝謝原po解惑
推 但不懂的繼續跳針拼貼
謝謝解說
嗯，我之前也是這樣覺得
原來如此我懂了（完全看不懂）
嗯嗯跟我想的差不多.jpg
推
之前是有在跟朋友開玩笑說之前修復耶穌像失敗的猴子耶穌
算不算跟這個模型同一個邏輯 XDD
圖片對電腦來說就是一堆色碼對吧？
選定一個點的色碼為起點，將周圍的點的色碼以
及和起點的距離等數據資料餵給電腦，找N個起點
、重複NN次，跑統計分析，電腦就能知道在設定的
那個起點周圍的點要用什麼色碼，才會符合人類的癖
好，就能畫出類似的圖。可以這樣說嗎
聽起來很像我之前看到有人說的黑洞理論，世界是黑洞表
面上的資訊投影，不過這樣為什麼會有之前被比對的肉眼
都可以看出來的描圖感呢
聽起來應該是隨機生成的噪點卻剛好跟某張圖一摸一樣，
去躁時才產生不一樣的點，算是機率問題嗎
長知識 推
你人真好 看到拼貼仔根本懶得跟他講
@purplemagic AI認知的方式是一組向量
可以說英文嗎
跟我想的一樣
那要如何決定採納他的資料來源，他的資料來源是否有
版權問題
感謝科普
人類畫圖不是去噪難道是創造嗎
那還取個屁材
坐在家冥想就好
描圖感有幾種可能啊 印象中有一種服務是你給圖然後它參照
再出圖的 那很相似也正常
另外一種就先射箭再畫把 拿一張常見動作的AI圖 直接去翻
一個動作像的再出來嘴砲就好
此生不碰deep learning
“像”是AI的目的，“但不完全像”這是AI合成過程中的必然
，所以基本上很難說是拼貼
“很像”的情形其實代表AI“學得不錯”，AI找出了一個能用
「向量」有效描述一張圖的方法
創作某方面也是一個“像，又不完全像”的概念，你當然有可
能AI生成的圖片中找到新的畫風，甚至要AI去學習那個畫風
我看到的推特那張圖的確是作者幾個月前就畫好的應該是
前者，所以應該是前者吧
阿法狗的蒙地卡羅算不算一種燥
所以現在AI是給它一堆圖，然後給他賽位置的意思？
謝謝你的講解，懂大概一點點
推
強者我朋友yoyololicon ><
跟我想的一樣.jpg
推推
6
很久以前有人發現圖像可以拆解成直線 圓圈等等很小的基本圖樣來表示 用這些基本圖樣可以組成各式各樣的圖![Re: [閒聊] AI畫圖是不是大數據拼圖？](https://i.imgur.com/5WkUnQmb.png "Re: [閒聊] AI畫圖是不是大數據拼圖？")
37
首Po大家最近討論的AI畫圖 我本來以為真的是AI汲取各種關鍵字 然後用算的方式算出圖陣 看大家玩下來 比較像是AI去全球所有的圖畫數據庫裡面![[閒聊] AI畫圖是不是大數據拼圖？](https://i.imgur.com/LIkYqmSb.jpg "[閒聊] AI畫圖是不是大數據拼圖？")
誒…… 我不覺得是。 如果你覺得馬賽克磚牆算是一種拼圖的話，那應該 AI 繪圖也算是一種拼圖。 然後我們就需要九宮格了。 拼圖應該是這種：![Re: [閒聊] AI畫圖是不是大數據拼圖？](https://i.imgur.com/cUVaWrzb.png "Re: [閒聊] AI畫圖是不是大數據拼圖？")
71
只要是深度學習AI，原理都是把圖轉換成矩陣，通過神經網路作back propogation學習特 徵，在整個模型的運算過程中只有矩陣，不存在任何圖像拼接的過程 你認為圖很像，是因為那個tag底下的圖大多有類似特徵，模型通過矩陣學習到這個特徵 當然，也有一些generator的算法是會拿部分來源當輸出，不通過矩陣運算的，怎麼選也 是讓模型自己學，類似概念可以參考pointer network或residual network之類的算法![Re: [閒聊] AI畫圖是不是大數據拼圖？](https://i.imgur.com/RWgqfIbb.jpeg "Re: [閒聊] AI畫圖是不是大數據拼圖？")
8
首先當然是算的 如果要從全球資料庫找圖再拼圖 那硬碟空間跟運算時間都會非常驚人 從實際面來看很難做到像現在5秒就出一張圖 再來是目前很紅的Novel AI 目前畫風統一程度確實不像一般Stable Difussion17
不是，兩個意思完全不同。 用簡單點的說明方式解釋大數據拼圖和AI畫圖的話。 大數據拼圖就像是有隻以光速的猴子在數十億張圖中找出符合tag要求的圖片，再以各個部 位做切割調整後貼上。 AI就像是個技術高超的繪師，擁有無限壽命還有加速世界的加速能力外掛，另外還有多工處22
我很久以前連waifu diffusion都還沒出來就發過了 複製貼上自己的文章算抄襲嗎 -------------------- 造成這波圖像生成革命的推手![Re: [閒聊] AI畫圖是不是大數據拼圖？](https://i.imgur.com/kkj76zHb.jpg "Re: [閒聊] AI畫圖是不是大數據拼圖？")
56
我嘗試來簡單圖解一下 ＡＩ生成圖的概念 因為 1. 想要簡單解釋 2. 我不是本科生 請板上各位高手不吝指教 不過別太嚴格 見圖一 首先，我想要從向量空間開始講起![Re: [閒聊] AI畫圖是不是大數據拼圖？](https://i.imgur.com/5QxQiV2b.jpg "Re: [閒聊] AI畫圖是不是大數據拼圖？")
21
所以AI是在訓練如何灑鹽，依精準比例灑出一片圖 在大量鹽巴堆裡還原的過程總會產生誤差就是AI的隨機性吧~ 就像是把羅夏的墨跡圖拿給佛洛伊德看：![Re: [閒聊] AI畫圖是不是大數據拼圖？](https://i.imgur.com/0NQ5I5pb.gif "Re: [閒聊] AI畫圖是不是大數據拼圖？")
3
這個加噪降噪的過程可以用數學方程表達 比如說雷太獵奇奶的概念 人類的理解就是巨乳、氣球 diffusion的理解則是一堆數學式 同樣的概念，不同的表達方式
46
[瑟瑟] 看色圖不求人Part2 AI生成色圖全教學古拉鎮樓 (從Discord搬運 非本人生成) Part 1 在這 不重要 過時了 這篇將包含所有你生成色圖需要的資訊 1. 使用者界面 Stable Diffusion Webui![[瑟瑟] 看色圖不求人Part2 AI生成色圖全教學](https://i.imgur.com/HWRVeJWb.png "[瑟瑟] 看色圖不求人Part2 AI生成色圖全教學")
37
[瑟瑟] 瑟瑟不求人Part3 AI畫馬娘色圖可以嗎?上圖![[瑟瑟] 瑟瑟不求人Part3 AI畫馬娘色圖可以嗎?](https://i.imgur.com/KH0tPDAb.jpg "[瑟瑟] 瑟瑟不求人Part3 AI畫馬娘色圖可以嗎?")
34
[閒聊] 驚!看色圖不求人 AI是否也能畫色圖?雖然下了很農場的標題 但這一篇認真的研究論文 大家或許以為AI跟色圖很遙遠 但事實真的是這樣嗎 在一年前可能沒有錯 但經過最近的突飛猛進 故事已經進入了新的轉捩點![[閒聊] 驚!看色圖不求人 AI是否也能畫色圖?](https://i.imgur.com/IW9jLzHb.jpg "[閒聊] 驚!看色圖不求人 AI是否也能畫色圖?")
30
[創作] 訓練了一個根據草稿畫一個固定角色的模型前言：這並不是那個現在幾乎每天都有新話題的AI根據關鍵字自動繪圖。 一來那種研究已經有很多人做了，我手上的資源也不可能把它做好。 二來我對AI無法通靈的問題也不是很滿意。我還是寧願主動給予較明確的資訊。 我的目標是給予一張低解析度的黑白草稿圖片（非黑即白，沒有中間灰階值）， 輸出一張較高解析度，且與特定主題相符的彩色圖片。![[創作] 訓練了一個根據草稿畫一個固定角色的模型](https://img.youtube.com/vi/_3o_YFQoWDo/mqdefault.jpg "[創作] 訓練了一個根據草稿畫一個固定角色的模型")
15
[閒聊] DDPM: 從隨機微分方程到AI圖片生成週末閒著來聊聊最近很紅的AI生成動畫圖片 不廢話先上圖![[閒聊] DDPM: 從隨機微分方程到AI圖片生成](https://i.imgur.com/G9gKpXPb.jpg "[閒聊] DDPM: 從隨機微分方程到AI圖片生成")
爆
[推投] 出包王女 最喜歡女角「1票」![[推投] 出包王女 最喜歡女角「1票」](https://images.plurk.com/3qavR3UhrobUS4SJnuRIH.jpg "[推投] 出包王女 最喜歡女角「1票」")
爆
[閒聊] 黃牛 急了![[閒聊] 黃牛 急了](https://i.imgur.com/3sElScpb.jpeg "[閒聊] 黃牛 急了")
爆
[Vtub] AZKi百萬訂閱達成![[Vtub] AZKi百萬訂閱達成](https://i.imgur.com/xNbVyr2b.jpeg "[Vtub] AZKi百萬訂閱達成")
爆
[Vtub] TanZ 果然還是好可愛![[Vtub] TanZ 果然還是好可愛](https://i.imgur.com/pb7w2Ttb.jpeg "[Vtub] TanZ 果然還是好可愛")
爆
[閒聊] FX戰士作者：日本沉沒![[閒聊] FX戰士作者：日本沉沒](https://i.imgur.com/IJgWXoQb.jpeg "[閒聊] FX戰士作者：日本沉沒")
77
[妮姬] 茵迪維莉亞算不算遜砲萌啊![[妮姬] 茵迪維莉亞算不算遜砲萌啊](https://img.youtube.com/vi/KlawYfQR294/mqdefault.jpg "[妮姬] 茵迪維莉亞算不算遜砲萌啊")
64
[閒聊] 年輕人不吃牛肉麵了？![[閒聊] 年輕人不吃牛肉麵了？](https://i.imgur.com/ggVHY8Wb.jpeg "[閒聊] 年輕人不吃牛肉麵了？")
65
[閒聊] 台灣人在遊戲上最瘋狂的集體行為？![[閒聊] 台灣人在遊戲上最瘋狂的集體行為？](https://img.youtube.com/vi/MoYjVTbLWyo/mqdefault.jpg "[閒聊] 台灣人在遊戲上最瘋狂的集體行為？")
59
[Vtub] まゆる/茉綽/麻油 TanZ紀念LIVE-來賓![[Vtub] まゆる/茉綽/麻油 TanZ紀念LIVE-來賓](https://i.imgur.com/SSkoxYdb.jpg "[Vtub] まゆる/茉綽/麻油 TanZ紀念LIVE-來賓")
53
[閒聊] Seed Freedom 曉太誇張喇46
[閒聊] 印度威瑪又引起公糞了 = =![[閒聊] 印度威瑪又引起公糞了 = =](https://i.imgur.com/f5nGEg1b.jpeg "[閒聊] 印度威瑪又引起公糞了 = =")
45
[閒聊] 請推薦我沒有哭點的純廢萌galgame![[閒聊] 請推薦我沒有哭點的純廢萌galgame](https://i.imgur.com/8m92eZOb.jpg "[閒聊] 請推薦我沒有哭點的純廢萌galgame")
45
[Vtub] AZKi被自己版權砲了![[Vtub] AZKi被自己版權砲了](https://img.youtube.com/vi/9xcLNHnMkhg/mqdefault.jpg "[Vtub] AZKi被自己版權砲了")
39
[閒聊] 七龍珠根本是動漫廢死代表作吧![[閒聊] 七龍珠根本是動漫廢死代表作吧](https://i.imgur.com/TTFrEJ8b.jpeg "[閒聊] 七龍珠根本是動漫廢死代表作吧")
38
[閒聊] 鐘鳴好可愛喔鐘鳴![[閒聊] 鐘鳴好可愛喔鐘鳴](https://i.imgur.com/06YVduOb.jpeg "[閒聊] 鐘鳴好可愛喔鐘鳴")
37
[閒聊] 妮姬起手該選哪個![[閒聊] 妮姬起手該選哪個](https://i.imgur.com/1BjxZNQb.jpeg "[閒聊] 妮姬起手該選哪個")
37
[閒聊] 有沒有好比喻迷宮飯世界黑魔法的現實例子35
[閒聊] 現實中的妹妹是不是沒有這麼美好？![[閒聊] 現實中的妹妹是不是沒有這麼美好？](https://i.imgur.com/losNnryb.jpeg "[閒聊] 現實中的妹妹是不是沒有這麼美好？")
35
[鋼彈] Seed劇場版 最後基拉怎麼..？36
[Vtub] Hololive X DreamHack Live心得![[Vtub] Hololive X DreamHack Live心得](https://i.imgur.com/O5t17CAb.jpeg "[Vtub] Hololive X DreamHack Live心得")
35
[劍星] 金亨泰親上火線回應修改服裝爭議![[劍星] 金亨泰親上火線回應修改服裝爭議](https://i.imgur.com/pVTtAYxb.jpeg "[劍星] 金亨泰親上火線回應修改服裝爭議")
34
[閒聊] 東雲うみ和哥吉拉![[閒聊] 東雲うみ和哥吉拉](https://pbs.twimg.com/media/GMD76nWb0AAlIJM.jpg "[閒聊] 東雲うみ和哥吉拉")
35
[Vtub] Nerissa原創曲Say My Name首播![[Vtub] Nerissa原創曲Say My Name首播](https://img.youtube.com/vi/x_fkTc7Hlp0/mqdefault.jpg "[Vtub] Nerissa原創曲Say My Name首播")
33
[楓谷] 活動獎勵設定錯誤 將制裁玩家![[楓谷] 活動獎勵設定錯誤 將制裁玩家](https://i.imgur.com/xHOYpARb.jpeg "[楓谷] 活動獎勵設定錯誤 將制裁玩家")
35
[閒聊] 白貓 大更新 出大事啦![[閒聊] 白貓 大更新 出大事啦](https://i.imgur.com/p4j1wXZb.png "[閒聊] 白貓 大更新 出大事啦")
34
[問題] 有人最近YT實況會卡嗎? 關聊天室才正常![[問題] 有人最近YT實況會卡嗎? 關聊天室才正常](https://pbs.twimg.com/media/FhRgtvLVsAA807Z.jpg "[問題] 有人最近YT實況會卡嗎? 關聊天室才正常")
32
[閒聊] 現在連月面基地都沒有就談火星改造![[閒聊] 現在連月面基地都沒有就談火星改造](https://img.youtube.com/vi/uqKGREZs6-w/mqdefault.jpg "[閒聊] 現在連月面基地都沒有就談火星改造")
32
[閒聊] Netflix翻譯真的很糟糕嗎![[閒聊] Netflix翻譯真的很糟糕嗎](https://i.imgur.com/hes9foKb.png "[閒聊] Netflix翻譯真的很糟糕嗎")
31
[問題] 髮型一直變的角色？![[問題] 髮型一直變的角色？](https://img.youtube.com/vi/mUXe8vqdvx4/mqdefault.jpg "[問題] 髮型一直變的角色？")
6
[閒聊] 為何炎亞綸反而沒事？![[閒聊] 為何炎亞綸反而沒事？](https://imgcdn.cna.com.tw/www/webphotos/WebOg/600/20240311/1295x680_525411106925.jpg "[閒聊] 為何炎亞綸反而沒事？")