PTT評價

[閒聊] 訓練了一個生成凱留頭的模型

看板C_Chat標題[閒聊] 訓練了一個生成凱留頭的模型作者
cybermeow
(北歐組一生推)
時間推噓推:187 噓:3 →:27

廢話不說先直接上結果

使用範例:

https://i.imgur.com/I4xNU6A.jpg


https://i.imgur.com/eiag3pK.jpg

https://i.imgur.com/oOHB7aF.jpg

https://i.imgur.com/BBR81CN.jpg

隨機生成的圖 (沒有挑選過而且模型還沒訓練到收斂所以並沒到非常好

https://i.imgur.com/dM3QZFC.jpg



研究動機:

近年凱留接頭日益盛行,然而接頭本身耗費人力,不僅僅要求操作者的PS技巧
而且接頭素材有限,對於一張給定的圖,不一定擁有適當的頭來接
如果想要上網尋找最合適的頭又需要額外的付出
同時以凱留的角度而言,雖然有很多身體,可是頭卻是固定幾個,相當的不平衡
我們希望此研究能夠拋磚引玉,引起更多人對於凱留接頭全自動化這個問題的重視


方法:

先跳過,有人有問再說
基本上都是拿現成的程式碼直接使用
這只是一個極短時間娛樂性質的 Project
接下來有空會考慮做一些比較實用而且效果也比較好的(一樣是動畫相關的)東西
真的有成品的話應該也會 release source code 和訓練好的模型甚至架設網站等等
歡迎有興趣的人來討論

另外推薦幾個個人覺得「實用」的深度學習應用到動畫上的模型
Tagger:
https://www.reddit.com/r/MachineLearning/comments/edzqp8/p_deep_danbooru_girl_image_tag_estimation_source/
Decensor:
https://github.com/natethegreate/hent-AI
一般而言 reddit/animeresearch 上面有很多東西 大家可以試著去挖寶



置底

https://imgur.com/pbBiSGu.jpg


--
北歐組一生推
https://imgur.com/ydMoryp.jpg
https://imgur.com/njHa0OA.jpg
https://imgur.com/KVrWmNb.jpg
https://imgur.com/leUc4jP.jpg
https://imgur.com/2UN6JMx.jpg

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.166.20 (臺灣)

※ 文章網址:
https://www.ptt.cc/C_Chat/M.1590410039.A.797

Golbeza05/25 20:34這到底在幹嘛

s8787996105/25 20:34兄弟 不要這樣浪費才能阿www

waitan05/25 20:34接頭霸王產生器2.0

zxcv07080105/25 20:35有東西

dodomilk05/25 20:35有趣XDDDDDD

waitan05/25 20:35 https://i.imgur.com/BsWBT7G.jpg

doggy1045405/25 20:36太…太強啦

DDM7605/25 20:36我覺得我應該推一下

melzard05/25 20:36你會不會是人類史上第一個用凱留發論文的人類R

white84123005/25 20:37

rickydai88805/25 20:37這篇有發展潛力 前排插眼推個

ernova83105/25 20:37你到底在幹嘛...

guogu05/25 20:38殺小w

fragmentwing05/25 20:38太強了吧 你是要發論文嗎

littlebug42105/25 20:39浪費才能(稱讚意味)

highwayshih05/25 20:39浪費才能欸XDDDDDDDDDDDDDDDDDDDD

ryohgi05/25 20:40浪費才能系列XDD

Ttei05/25 20:40再不推就準備被凱留換頭啦

nahsnib05/25 20:41這就是傳說中的scp-k,自動將識別到的人型生物頭部替換

sunshinecan05/25 20:41不要浪費才能好嗎 XDDD

fakinsky05/25 20:41?????

a121654305/25 20:41督丟校欸XDDD

a2470abc05/25 20:41有沒有模型架構能看啊 好像有點屌

這個就stylegan2直接train而已 換頭的部分encode回latent space找生成裡面接近的 最後接頭還是自己P 因為幾乎都用現成的code所以髮色跟貓耳換的時候效果常常不好 接下來應該會考慮改成image to image translation的系列來做 先translate一次頭再自動處理artifact搞不好就能整張自動換了?

Erichikaunkr05/25 20:42????

tw1505/25 20:43靠凹XD

evan0990096605/25 20:43

LovelyCS05/25 20:43???

a1l1205/25 20:44???!!!!!XDDDDD

naya741596305/25 20:45我看了什麼...

Anemoneheart05/25 20:46...

※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 20:50:42

lcw3324297605/25 20:47好猛XDDD

LANJAY05/25 20:48你是要寫論文嗎?不要浪費才能啦XD

lin7952905/25 20:48浪費才能w

killuaz05/25 20:48你接頭系XD

Reshiram05/25 20:49這是用卷積做的嗎 好酷www

fragmentwing05/25 20:49所以是先找脖子→脖子角度→自動配對縮放大小接頭嗎

kinomon05/25 20:49

efkfkp05/25 20:49這三小,博士快回去寫論文好嗎XD

真的NeurIPS deadline快到了

nebbiabards05/25 20:49無限頭製欸

vincentwg05/25 20:51<接頭霸王之實際應用>

ases6090905/25 20:51發paper啦

Authsty05/25 20:51??

Erichikaunkr05/25 20:51咦 原來還是要自己P喔XD

可以圖片直接換但因為目前沒有segmentation mask效果不好(就正方形換掉) 希望有人可以訓練一個不然自己要試著weak supervise一個

a12344455605/25 20:52浪費才能文+1

redhen085705/25 20:52不要浪費才能

q092875551505/25 20:52兄弟....

leftside05/25 20:52要開發出新的固有結界了

Zerogos05/25 20:53這個太強了,不推不行

superpaden05/25 20:53浪費才能欸

hugowind05/25 20:53斯巴拉系!!

peter031805/25 20:53推 笑死XD

longkiss061805/25 20:53https://i.imgur.com/3l8LQ5U.jpg

doraemon870905/25 20:55浪費才能XD

※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 20:55:11

gggaaammm05/25 20:5577777777

knight79121105/25 20:55果然西洽充滿各種天才

uuhao05/25 20:56你是把接好頭的照片跟原本的照片一組來當訓練資料?

uuhao05/25 20:56讓他學習接頭的方式?

因為頭是生成的所以可以想像成生成的頭自己的角度之類的就自己對了

allanbrook05/25 20:58XDD 不要搶我們改圖的人飯碗好嗎

ikaros3505/25 20:59類似cycle GAN的模型嗎XD

這是我下一步打算做的抱歉讓你失望了

aOwOa05/25 21:01之前學稀疏矩陣的時候就覺得影像處理這塊的發展比我想像中

aOwOa05/25 21:01強大很多

find6432405/25 21:02三小R

ShibaTatsuya05/25 21:03笑死 浪費才能

ZongKenGG05/25 21:03你在幹嘛????

※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 21:05:15

Sacral05/25 21:04浪費才能啦XDDDD

twosheep060305/25 21:04有沒有想過利用類似凱留MMD模型大量生成不同角度的

twosheep060305/25 21:04sample呢 感覺可以更快收斂

怕會有嚴重的distribution shift而且個人沒使用mmd的經驗 不過應該可以特別設計模型來處理

※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 21:11:13

e216747105/25 21:09what are you doing

asderavo05/25 21:09有內味了

aegisWIsL05/25 21:13有夠浪費才能xD

cross98011505/25 21:15全自動接頭霸王產生器 指日可待?

fate11108505/25 21:15卡等GAN版本 有搞頭

Youmukon05/25 21:19標靶換頭

overcame05/25 21:23三小啦XDDDD

Tiamat671605/25 21:23迷失接頭

jackwula921105/25 21:25你論文是不是卡住了才跑來做這個?

koty606905/25 21:26浪費才能

SoQXuanChi05/25 21:27文明的進步

ahw1200005/25 21:31讚啦 完美凱留世界

ss77995ss05/25 21:37

danielqwop05/25 21:40希望這能讓你的論文找到靈感XD

Derriclc05/25 21:40幹 笑死 我沒看也沒玩公連 都快變凱流粉了

iamnotgm05/25 21:43有創意XD

jjimonkey05/25 21:47浪費才能XDD

mokissru05/25 21:47浪費才能XDDDD

dangerousair05/25 21:48不順便把簽名檔都換一次頭嗎xdd

gbls952734105/25 21:48完美凱留世界

a19573268405/25 21:50浪費才能啊你

leion23705/25 21:52真接頭霸王

WindSucker05/25 21:54天網

QT102005/25 21:54這三小XDDD

qn12345605/25 21:56接頭霸王2.0 XD

ehentai05/25 21:57百推之前推一個

bomb100005/25 21:58太神啦 最近也在做機器學習專題 是個菜鳥 踩了好多坑XD

uohZemllac05/25 21:58野生的才能跳出來了!!

assassin76205/25 21:58三小

Ikaros260105/25 21:59全自動凱留大接頭時代來臨喇

Geiwoyujie05/25 21:59這有點神 XDDD

enders34605/25 22:01wwwww

DeaGoo05/25 22:03我看了三小

liyikisen05/25 22:03全自動接頭 太神啦

kerorokuzo05/25 22:03請收下我的膝蓋

slimc052705/25 22:10不要浪費才能啊

direct05/25 22:11接頭霸王產生器in凱留

ga65220605/25 22:12昔日有自動功德機 現在有自動接頭機

phyBomber05/25 22:13吃飽太閒喔

mikeneko05/25 22:18J三小

g563712805/25 22:18三小

Jabarkas05/25 22:20接頭論文!

iam6080505/25 22:21可以再發一篇文詳細解說訓練過程嗎,想瞭解

HHH555JJJ05/25 22:21XDD 推

nickely05/25 22:22????

gincod05/25 22:23大老

xsdferty03505/25 22:24有github能看嗎(X

cities51605/25 22:24ptt臥虎藏龍

pepro05/25 22:25哈哈哈哈 動機有了,接下來該寫文獻回顧了吧

r90170021605/25 22:27接頭學家是你?

y189654705/25 22:28XD

roea68roea6805/25 22:28接頭霸王

qqq389200505/25 22:30才能大浪費

a2578588505/25 22:31太閑484

s132652005/25 22:34接頭霸王產生器

kele120605/25 22:36XD ←這是讚美

greg9032605/25 22:37

DMGA05/25 22:39yolo學一個掃含頭髮延伸的頭切出來再gan回去呢?

ewqxz05/25 22:42接頭博士

gungunme556605/25 22:42我就接

wasgavin041005/25 22:44真的好猛 這個已經吊打我的畢專了

max41028605/25 22:51meeting的時候跟老闆報告一下這周進度(接頭)

tobbaco05/25 22:55全自動街頭霸王產生器 指日可待

tobbaco05/25 22:55人被逼急了總是會做一些奇怪的東西

QB556605/25 22:57高…高手

WLR05/25 22:57科技接頭XD

davidash05/25 22:59也太強... @@

RLH05/25 23:01這是什麼?

leon428705/25 23:03J三小

rumirumi05/25 23:08真超級接頭霸王

seatan05/25 23:08我的天w

jacklinjia05/25 23:10不要浪費才能啦XDD

atbhao0505/25 23:10封你為C洽街頭霸王

converse020105/25 23:13基於深度學習之2D人臉自動生成研究

jason708605/25 23:15

forsakesheep05/25 23:16不要浪費才能阿阿阿

sophigo05/25 23:23論文卡住時會開始做其他有的沒的 我懂XD

rabbithouse05/25 23:381970:未來的人一定會發明出飛天車 2020:

maple314205/25 23:43太強了

orion199183005/25 23:45deepfake

rabbithouse05/25 23:45話說多人那張圖 模型有認出凱留本人 莫名好笑XD

Merman1905/25 23:47封你為 接 接 接頭霸王

passioncraig05/25 23:53植基於類神經網路之街頭霸王自動接頭生成應用

summerkitten05/25 23:54接頭霸王!!

zx896705/25 23:58不愧是PTT (感嘆

sochensun92h05/25 23:59神人給推 真·接頭霸王

ad010105/26 00:06????

ken5201121905/26 00:07幹你有病 笑死

xkiller190005/26 00:07誰在說ptt不是學術論壇啊,我他媽跟你急

nchuTim05/26 00:16太強了~

anna8905/26 00:19淦,有夠浪費才能,接頭霸王XDDDD

Tr3vyy05/26 00:23中國爛梗還一直用

zmcx1605/26 00:26推街頭霸王XDD

hj25836905/26 00:31接得不錯

notneme15905/26 00:46推個

cicini05/26 00:511970:AI會消滅人類! 2020:

Noxus05/26 00:59麻美夏桀笑死

Noxus05/26 00:59學姐

et31005/26 01:02我覺得我應該推

ack001105/26 01:02做成病毒去把別人電腦裡的照片都換頭

st0620881505/26 01:08三小啦wwqwq

Chenih05/26 01:10笑死

moon100005/26 01:16浪費才能

Lucas080605/26 01:21閣下您是不是本家論文生不出來才會想要靠這個生成器轉

Lucas080605/26 01:21換思路刺激靈感啊?

bollseven05/26 01:23天才 都忘了ptt是學術論壇!

jack7013405/26 01:33先朝聖

harryzx005/26 02:01浪費才能XDD

qwer88050605/26 02:13雖然是接頭 但可不是鬧著玩的

Chikarable05/26 02:18研究動機 哈哈哈

starian05/26 02:51靠 我到底看了三小

rickphyman4205/26 02:58兄弟不要浪費才能啊

peter10509605/26 03:07發paper 發paper

AlvaroMorata05/26 03:08神神神

Deparic05/26 03:31浪費才能wwww

xyz15963200105/26 03:39笑死

ng1life105/26 04:27笑死

greed381905/26 04:31想到上學期訓練一個手寫辨識的Ai 弄到快暴斃

jerry12305/26 05:13可參考這篇 https://blog.csdn.net/u011732139/article/

jerry12305/26 05:13details/70215732 把人臉提取的方法,提取後做 image-to

jerry12305/26 05:13-imag translation 再貼回原本圖片上,最後再接幾層Conv

jerry12305/26 05:13Layer 讓接頭處合理化。CycleGAN 要較多的 unpaired dat

jerry12305/26 05:13a訓練資料才能做的好,數量過少會有 mode collapse 的

jerry12305/26 05:13問題,臉部五官因變動參數較少,建議做 data augmentati

jerry12305/26 05:13on 及往遷移學習的方向考慮。

大方向是打算這樣做 可能試試看用few shot的方式能不能做出動畫的deepfake 不過我很缺resources更缺時間就是 到時候先跑跑看deepcreampy的inpainting能不能處理接頭銜接問題 雖然平常都拿來解碼 (逃

togs05/26 06:16我覺得是時候我該下跪了

cyclone05505/26 06:28你讓我早上看了什麼www

ym95130505/26 06:56不行

jimmyVanClef05/26 07:26到底在幹嘛wwwwww

yoyo8311705/26 08:05浪費才能

ggyyhippo05/26 08:13兄弟 你是多喪心病狂想要做這東西出來啊XDD

purplemagic05/26 08:36浪費才能

berice15223305/26 08:37笑死

enderboy765205/26 08:42浪費才能www

dog99099905/26 08:48接頭霸王

hwider05/26 08:54厲害!

madaoraifu05/26 09:01太強啦

common705/26 10:34

alec080405/26 11:25你他媽這太屌了

cool920305/26 11:30有沒有dataset可以open QQ,想拿實驗室2080ti來玩玩看

兩千張臉crop完的 過一陣子刪連結 主要p網爬的

https://drive.google.com/file/d/1iPlBNOBIee1JZV6S22sBWUzavG2OLZ07/view?usp=drivesdk

我是用gwern pretrain好的anime portrait stylegan2來fine tune

https://mega.nz/file/CRtiDI7S#xo4zm3n7pkq1Lsfmuio1O8QPpUwHrtFTHjNJ8_XxSJs

2080ti 應該幾個小時就有我上面的成果了 個人平常做理論的視覺就隨便看隨便寫 如果大大是專門視覺背景的歡迎來幫忙改善模型

fatedate05/26 12:11...你再幹嘛 浪費才能

tako200005/26 12:38好猛

aa77992205/26 13:08浪費才能

smallkaka05/26 13:50浪費才能

took05/26 14:18深度學習作業

※ 編輯: cybermeow (36.225.161.55 臺灣), 05/26/2020 14:54:09

FuckQguy05/26 15:00全自動接頭www

A1pha05/26 15:47讓我猜猜,論文寫到起笑了對吧?XD

crazy634155605/26 16:07害怕

SilverFlare05/26 16:17接頭博士www

SparseStar06/10 23:49有檔案可以試玩嗎xD