Re: [閒聊] nijijourney AI動畫(影像)生成上線

這東西會出來我其實在板上hint了一段時間

https://imgur.com/GHy426g.png

說到花式溜冰

https://x.com/alea31415/status/1932920530316984591

https://cdn.midjourney.com/video/2f4b7136-e5bf-4d0b-8ab9-bf6a06afa645/0.mp4

說幾個雖然不是秘密但是鮮為人知的事情

midjourney video本身就是我們nijijourney團隊做的

midjourney video 跟 nijourney video I2V 就是同個東西

(反正我們Japan lead twitter上都說了 不是什麼秘密

這模型就我同事練的 inference 參數 high motion low motion 都我跟另一個同事調的

調這些東西的時候我們做了很多權衡

可以參考我這條推特 https://x.com/alea31415/status/1935697390402691466

最後決定以維持原圖片風格 減少崩壞當第一優先

打造出一個獨一無二 市面上不存在的模型

然後想當然我們從頭到尾就只care anime, 或更廣泛的說 non photorealistic

我們調模型一半都是對著動畫調的

我對著mono跟飯菜的角色調 我同事對著如月千早調

真實系只是應midjourney要求順便做做

而且模型也是有個適當的真實系基礎才能把非真實做好 (真實系資料多太多了

這個模型最難的就是這些風格化的影片幾乎微乎其微

雖然這可能看似微不足道 但搞出能完全達到first frame風格的模型可以說是一大突破

至於在真實系3d這種簡單的部分 複雜動作跟語義遵循我們從來沒打算去跟veo3和kling 2.1對標

google有多少資源 我們又有多少資源

說真的mj能有這麼大的用戶從來就不是靠在性能上硬幹 而是靠自己的風格

我們的影片模型也以這點為中心 目前看來也算取得相當的成功

至於為什麼只有480p 這單純只是怕我們infra撐不住

720p我們是可以出的 像是我最上面貼的花式溜冰跟我推特幾個影片都是720p

而且我們一開始想用低價的讓儘量多人用 所以選了只開放480p

upsacler應該不久後就會上線 這些東西要練起來其實都很簡單 keyframe/loop大概也會上

只能說mj的傳統就是 就算我們背後能做的事情很多

但只會上非常小一部分精選的功能 這就是為什麼我們沒上t2v

niji t2v還有得我們慢慢鑽研著墨

喔還有852話那個影片完全超乎我們想像 作為開發者根本不知道怎麼把模型用成這樣

一堆感覺我們模型不擅長的事情

然後我剛剛在facebook上看到這個

https://www.facebook.com/share/v/15YTx6rnci/

恩台灣長輩果然不同意義上超越我們的想像

置底友奈跟登山少女+金牌得主上 mj explore
https://x.com/alea31415/status/1935377883561869625

launch時我洗了一堆影片上去

置底串燒變成雞
https://x.com/alea31415/status/1935616928036557167

--
https://i.imgur.com/LKAEPG4.png

--

錯字 改了www