PTT評價

[閒聊] 訓練了一個生成凱留頭的模型

cybermeow 發表於 2020/5/25 下午8:33:47
看板C_Chat標題[閒聊] 訓練了一個生成凱留頭的模型作者
cybermeow
 (北歐組一生推)時間推噓爆 推:187 噓:3 →:27

廢話不說先直接上結果

使用範例:

https://i.imgur.com/I4xNU6A.jpg

https://i.imgur.com/eiag3pK.jpg

https://i.imgur.com/oOHB7aF.jpg

https://i.imgur.com/BBR81CN.jpg

隨機生成的圖 (沒有挑選過而且模型還沒訓練到收斂所以並沒到非常好

https://i.imgur.com/dM3QZFC.jpg



研究動機:

近年凱留接頭日益盛行，然而接頭本身耗費人力，不僅僅要求操作者的PS技巧
而且接頭素材有限，對於一張給定的圖，不一定擁有適當的頭來接
如果想要上網尋找最合適的頭又需要額外的付出
同時以凱留的角度而言，雖然有很多身體，可是頭卻是固定幾個，相當的不平衡
我們希望此研究能夠拋磚引玉，引起更多人對於凱留接頭全自動化這個問題的重視


方法:

先跳過，有人有問再說
基本上都是拿現成的程式碼直接使用
這只是一個極短時間娛樂性質的 Project
接下來有空會考慮做一些比較實用而且效果也比較好的(一樣是動畫相關的)東西
真的有成品的話應該也會 release source code 和訓練好的模型甚至架設網站等等
歡迎有興趣的人來討論

另外推薦幾個個人覺得「實用」的深度學習應用到動畫上的模型
Tagger:
https://www.reddit.com/r/MachineLearning/comments/edzqp8/p_deep_danbooru_girl_image_tag_estimation_source/
Decensor:
https://github.com/natethegreate/hent-AI
一般而言 reddit/animeresearch 上面有很多東西 大家可以試著去挖寶



置底

https://imgur.com/pbBiSGu.jpg

--
北歐組一生推
https://imgur.com/ydMoryp.jpg
https://imgur.com/njHa0OA.jpg
https://imgur.com/KVrWmNb.jpg
https://imgur.com/leUc4jP.jpg
https://imgur.com/2UN6JMx.jpg

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.166.20 (臺灣)

※ 文章網址:
https://www.ptt.cc/C_Chat/M.1590410039.A.797

推

Golbeza05/25 20:34這到底在幹嘛

推

s8787996105/25 20:34兄弟 不要這樣浪費才能阿www

→

waitan05/25 20:34接頭霸王產生器2.0

→

zxcv07080105/25 20:35有東西

推

dodomilk05/25 20:35有趣XDDDDDD

→

waitan05/25 20:35 https://i.imgur.com/BsWBT7G.jpg
推

doggy1045405/25 20:36太…太強啦

推

DDM7605/25 20:36我覺得我應該推一下

推

melzard05/25 20:36你會不會是人類史上第一個用凱留發論文的人類R

推

white84123005/25 20:37推

推

rickydai88805/25 20:37這篇有發展潛力 前排插眼推個
推

ernova83105/25 20:37你到底在幹嘛...

推

guogu05/25 20:38殺小w

推

fragmentwing05/25 20:38太強了吧 你是要發論文嗎

推

littlebug42105/25 20:39浪費才能(稱讚意味)

推

highwayshih05/25 20:39浪費才能欸XDDDDDDDDDDDDDDDDDDDD

推

ryohgi05/25 20:40浪費才能系列XDD

推

Ttei05/25 20:40再不推就準備被凱留換頭啦

推

nahsnib05/25 20:41這就是傳說中的scp-k，自動將識別到的人型生物頭部替換

→

sunshinecan05/25 20:41不要浪費才能好嗎 XDDD

推

fakinsky05/25 20:41?????

推

a121654305/25 20:41督丟校欸XDDD

推

a2470abc05/25 20:41有沒有模型架構能看啊 好像有點屌

這個就stylegan2直接train而已 換頭的部分encode回latent space找生成裡面接近的 最後接頭還是自己P 因為幾乎都用現成的code所以髮色跟貓耳換的時候效果常常不好 接下來應該會考慮改成image to image translation的系列來做 先translate一次頭再自動處理artifact搞不好就能整張自動換了?

推

Erichikaunkr05/25 20:42？？？？

推

tw1505/25 20:43靠凹XD

推

evan0990096605/25 20:43讚

推

LovelyCS05/25 20:43？？？

推

a1l1205/25 20:44???!!!!!XDDDDD

推

naya741596305/25 20:45我看了什麼...

推

Anemoneheart05/25 20:46...

※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 20:50:42

推

lcw3324297605/25 20:47好猛XDDD

推

LANJAY05/25 20:48你是要寫論文嗎？不要浪費才能啦XD

推

lin7952905/25 20:48浪費才能w

推

killuaz05/25 20:48你接頭系XD

推

Reshiram05/25 20:49這是用卷積做的嗎 好酷www

推

fragmentwing05/25 20:49所以是先找脖子→脖子角度→自動配對縮放大小接頭嗎

推

kinomon05/25 20:49好

推

efkfkp05/25 20:49這三小，博士快回去寫論文好嗎XD

真的NeurIPS deadline快到了

推

nebbiabards05/25 20:49無限頭製欸

推

vincentwg05/25 20:51<接頭霸王之實際應用>

推

ases6090905/25 20:51發paper啦
推

Authsty05/25 20:51??

推

Erichikaunkr05/25 20:51咦 原來還是要自己P喔XD

可以圖片直接換但因為目前沒有segmentation mask效果不好(就正方形換掉) 希望有人可以訓練一個不然自己要試著weak supervise一個

推

a12344455605/25 20:52浪費才能文+1

推

redhen085705/25 20:52不要浪費才能

推

q092875551505/25 20:52兄弟....

推

leftside05/25 20:52要開發出新的固有結界了

推

Zerogos05/25 20:53這個太強了，不推不行

推

superpaden05/25 20:53浪費才能欸

推

hugowind05/25 20:53斯巴拉系!!

推

peter031805/25 20:53推 笑死XD

推

longkiss061805/25 20:53https://i.imgur.com/3l8LQ5U.jpg

推

doraemon870905/25 20:55浪費才能XD

※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 20:55:11

推

gggaaammm05/25 20:5577777777

推

knight79121105/25 20:55果然西洽充滿各種天才

推

uuhao05/25 20:56你是把接好頭的照片跟原本的照片一組來當訓練資料？

→

uuhao05/25 20:56讓他學習接頭的方式？

因為頭是生成的所以可以想像成生成的頭自己的角度之類的就自己對了

推

allanbrook05/25 20:58XDD 不要搶我們改圖的人飯碗好嗎

推

ikaros3505/25 20:59類似cycle GAN的模型嗎XD

這是我下一步打算做的抱歉讓你失望了

推

aOwOa05/25 21:01之前學稀疏矩陣的時候就覺得影像處理這塊的發展比我想像中

→

aOwOa05/25 21:01強大很多

推

find6432405/25 21:02三小R

推

ShibaTatsuya05/25 21:03笑死 浪費才能

推

ZongKenGG05/25 21:03你在幹嘛？？？？

※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 21:05:15

推

Sacral05/25 21:04浪費才能啦XDDDD

推

twosheep060305/25 21:04有沒有想過利用類似凱留MMD模型大量生成不同角度的

→

twosheep060305/25 21:04sample呢 感覺可以更快收斂

怕會有嚴重的distribution shift而且個人沒使用mmd的經驗 不過應該可以特別設計模型來處理

※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 21:11:13

推

e216747105/25 21:09what are you doing

推

asderavo05/25 21:09有內味了

推

aegisWIsL05/25 21:13有夠浪費才能xD

推

cross98011505/25 21:15全自動接頭霸王產生器 指日可待？
推

fate11108505/25 21:15卡等GAN版本 有搞頭

推

Youmukon05/25 21:19標靶換頭

推

overcame05/25 21:23三小啦XDDDD

推

Tiamat671605/25 21:23迷失接頭

推

jackwula921105/25 21:25你論文是不是卡住了才跑來做這個？

→

koty606905/25 21:26浪費才能

推

SoQXuanChi05/25 21:27文明的進步

推

ahw1200005/25 21:31讚啦 完美凱留世界

推

ss77995ss05/25 21:37推

推

danielqwop05/25 21:40希望這能讓你的論文找到靈感XD

推

Derriclc05/25 21:40幹 笑死 我沒看也沒玩公連 都快變凱流粉了

推

iamnotgm05/25 21:43有創意XD

推

jjimonkey05/25 21:47浪費才能XDD

推

mokissru05/25 21:47浪費才能XDDDD

推

dangerousair05/25 21:48不順便把簽名檔都換一次頭嗎xdd

推

gbls952734105/25 21:48完美凱留世界

推

a19573268405/25 21:50浪費才能啊你

推

leion23705/25 21:52真接頭霸王

推

WindSucker05/25 21:54天網

推

QT102005/25 21:54這三小XDDD

推

qn12345605/25 21:56接頭霸王2.0 XD

推

ehentai05/25 21:57百推之前推一個

推

bomb100005/25 21:58太神啦 最近也在做機器學習專題 是個菜鳥 踩了好多坑XD

推

uohZemllac05/25 21:58野生的才能跳出來了！！

→

assassin76205/25 21:58三小

推

Ikaros260105/25 21:59全自動凱留大接頭時代來臨喇

推

Geiwoyujie05/25 21:59這有點神 XDDD

推

enders34605/25 22:01wwwww

推

DeaGoo05/25 22:03我看了三小

推

liyikisen05/25 22:03全自動接頭 太神啦

推

kerorokuzo05/25 22:03請收下我的膝蓋

推

slimc052705/25 22:10不要浪費才能啊

推

direct05/25 22:11接頭霸王產生器in凱留

推

ga65220605/25 22:12昔日有自動功德機 現在有自動接頭機

推

phyBomber05/25 22:13吃飽太閒喔

推

mikeneko05/25 22:18J三小

推

g563712805/25 22:18三小

推

Jabarkas05/25 22:20接頭論文！

推

iam6080505/25 22:21可以再發一篇文詳細解說訓練過程嗎，想瞭解

推

HHH555JJJ05/25 22:21XDD 推

推

nickely05/25 22:22？？？？

推

gincod05/25 22:23大老

推

xsdferty03505/25 22:24有github能看嗎（X

→

cities51605/25 22:24ptt臥虎藏龍

推

pepro05/25 22:25哈哈哈哈 動機有了，接下來該寫文獻回顧了吧

推

r90170021605/25 22:27接頭學家是你？

推

y189654705/25 22:28XD

推

roea68roea6805/25 22:28接頭霸王

→

qqq389200505/25 22:30才能大浪費

推

a2578588505/25 22:31太閑484

推

s132652005/25 22:34接頭霸王產生器

推

kele120605/25 22:36XD ←這是讚美

推

greg9032605/25 22:37草

推

DMGA05/25 22:39yolo學一個掃含頭髮延伸的頭切出來再gan回去呢？

推

ewqxz05/25 22:42接頭博士

推

gungunme556605/25 22:42我就接

推

wasgavin041005/25 22:44真的好猛 這個已經吊打我的畢專了

推

max41028605/25 22:51meeting的時候跟老闆報告一下這周進度(接頭)

推

tobbaco05/25 22:55全自動街頭霸王產生器 指日可待

→

tobbaco05/25 22:55人被逼急了總是會做一些奇怪的東西

推

QB556605/25 22:57高…高手

推

WLR05/25 22:57科技接頭XD

推

davidash05/25 22:59也太強... @@

推

RLH05/25 23:01這是什麼？

推

leon428705/25 23:03J三小

推

rumirumi05/25 23:08真超級接頭霸王

推

seatan05/25 23:08我的天w

推

jacklinjia05/25 23:10不要浪費才能啦XDD

推

atbhao0505/25 23:10封你為C洽街頭霸王

推

converse020105/25 23:13基於深度學習之2D人臉自動生成研究

推

jason708605/25 23:15神

推

forsakesheep05/25 23:16不要浪費才能阿阿阿

推

sophigo05/25 23:23論文卡住時會開始做其他有的沒的 我懂XD

推

rabbithouse05/25 23:381970：未來的人一定會發明出飛天車 2020：

推

maple314205/25 23:43太強了

推

orion199183005/25 23:45deepfake

推

rabbithouse05/25 23:45話說多人那張圖 模型有認出凱留本人 莫名好笑XD

推

Merman1905/25 23:47封你為 接 接 接頭霸王

推

passioncraig05/25 23:53植基於類神經網路之街頭霸王自動接頭生成應用

→

summerkitten05/25 23:54接頭霸王！！

推

zx896705/25 23:58不愧是PTT (感嘆

推

sochensun92h05/25 23:59神人給推 真·接頭霸王

推

ad010105/26 00:06？？？？

推

ken5201121905/26 00:07幹你有病 笑死

推

xkiller190005/26 00:07誰在說ptt不是學術論壇啊，我他媽跟你急

推

nchuTim05/26 00:16太強了~

推

anna8905/26 00:19淦，有夠浪費才能，接頭霸王XDDDD

噓

Tr3vyy05/26 00:23中國爛梗還一直用

推

zmcx1605/26 00:26推街頭霸王XDD

推

hj25836905/26 00:31接得不錯

推

notneme15905/26 00:46推個

推

cicini05/26 00:511970:AI會消滅人類！ 2020:

推

Noxus05/26 00:59麻美夏桀笑死

→

Noxus05/26 00:59學姐

推

et31005/26 01:02我覺得我應該推

推

ack001105/26 01:02做成病毒去把別人電腦裡的照片都換頭

推

st0620881505/26 01:08三小啦wwqwq

推

Chenih05/26 01:10笑死

推

moon100005/26 01:16浪費才能

推

Lucas080605/26 01:21閣下您是不是本家論文生不出來才會想要靠這個生成器轉

→

Lucas080605/26 01:21換思路刺激靈感啊？

推

bollseven05/26 01:23天才 都忘了ptt是學術論壇！

推

jack7013405/26 01:33先朝聖

→

harryzx005/26 02:01浪費才能XDD

→

qwer88050605/26 02:13雖然是接頭 但可不是鬧著玩的

推

Chikarable05/26 02:18研究動機 哈哈哈

推

starian05/26 02:51靠 我到底看了三小

推

rickphyman4205/26 02:58兄弟不要浪費才能啊

推

peter10509605/26 03:07發paper 發paper

推

AlvaroMorata05/26 03:08神神神

推

Deparic05/26 03:31浪費才能wwww

推

xyz15963200105/26 03:39笑死

推

ng1life105/26 04:27笑死

推

greed381905/26 04:31想到上學期訓練一個手寫辨識的Ai 弄到快暴斃

→

jerry12305/26 05:13可參考這篇 https://blog.csdn.net/u011732139/article/
→

jerry12305/26 05:13details/70215732 把人臉提取的方法，提取後做 image-to

→

jerry12305/26 05:13-imag translation 再貼回原本圖片上，最後再接幾層Conv

→

jerry12305/26 05:13Layer 讓接頭處合理化。CycleGAN 要較多的 unpaired dat

→

jerry12305/26 05:13a訓練資料才能做的好，數量過少會有 mode collapse 的

→

jerry12305/26 05:13問題，臉部五官因變動參數較少，建議做 data augmentati

→

jerry12305/26 05:13on 及往遷移學習的方向考慮。

大方向是打算這樣做 可能試試看用few shot的方式能不能做出動畫的deepfake 不過我很缺resources更缺時間就是 到時候先跑跑看deepcreampy的inpainting能不能處理接頭銜接問題 雖然平常都拿來解碼 (逃

噓

togs05/26 06:16我覺得是時候我該下跪了

推

cyclone05505/26 06:28你讓我早上看了什麼www

噓

ym95130505/26 06:56不行

推

jimmyVanClef05/26 07:26到底在幹嘛wwwwww

推

yoyo8311705/26 08:05浪費才能

推

ggyyhippo05/26 08:13兄弟 你是多喪心病狂想要做這東西出來啊XDD

推

purplemagic05/26 08:36浪費才能

推

berice15223305/26 08:37笑死

推

enderboy765205/26 08:42浪費才能www

推

dog99099905/26 08:48接頭霸王

推

hwider05/26 08:54厲害！

推

madaoraifu05/26 09:01太強啦

推

common705/26 10:34推

推

alec080405/26 11:25你他媽這太屌了

推

cool920305/26 11:30有沒有dataset可以open QQ，想拿實驗室2080ti來玩玩看

兩千張臉crop完的 過一陣子刪連結 主要p網爬的

https://drive.google.com/file/d/1iPlBNOBIee1JZV6S22sBWUzavG2OLZ07/view?usp=drivesdk

我是用gwern pretrain好的anime portrait stylegan2來fine tune

https://mega.nz/file/CRtiDI7S#xo4zm3n7pkq1Lsfmuio1O8QPpUwHrtFTHjNJ8_XxSJs

2080ti 應該幾個小時就有我上面的成果了 個人平常做理論的視覺就隨便看隨便寫 如果大大是專門視覺背景的歡迎來幫忙改善模型

推

fatedate05/26 12:11...你再幹嘛 浪費才能

→

tako200005/26 12:38好猛

→

aa77992205/26 13:08浪費才能

推

smallkaka05/26 13:50浪費才能

→

took05/26 14:18深度學習作業

※ 編輯: cybermeow (36.225.161.55 臺灣), 05/26/2020 14:54:09
推

FuckQguy05/26 15:00全自動接頭www

推

A1pha05/26 15:47讓我猜猜，論文寫到起笑了對吧？XD

推

crazy634155605/26 16:07害怕

推

SilverFlare05/26 16:17接頭博士www

推

SparseStar06/10 23:49有檔案可以試玩嗎xD
其他人也閱讀了
PTT 熱門相關
C_Chat最新熱門推薦
🔥🔥🔥