PTT評價

Re: [閒聊] xbox 360 的 Kinect 技術

看板C_Chat標題Re: [閒聊] xbox 360 的 Kinect 技術 作者
Rabby250
(在沙漠裡尋找星星)
時間推噓19 推:19 噓:0 →:16

※ 引述《wahaha99 (我討厭人類)》之銘言:
: 是說 XBOX 360 的 Kinect 技術
: 在十幾年前就有了
: 但沒看過有人用Kinect來做3D捕捉
: Kinect 好像也沒有出後續的設備
: 到現在 Hololive 在用的家用3D
: 都還常常出包
: 有沒有人能說說看, Kinect 技術為何沒有被應用在 VR、3D捕捉?
: (還是其實是有的?)
: 畢竟當年就是 xbox 360 的一部分,
: 現在的技術要做只會更便宜才對
已經是十幾年前看的東西了,憑記憶寫的,如果有錯請再幫忙糾正

-----

簡單來講是 Kinect 為了能夠以 200 FPS 以上的速度辨認肢體動作用了神奇演算法
但是這個演算法只有特定條件下才能用,比方說相機不能在辨識同時大幅度移動



當時一般辨識肢體動作的演算法大概長這樣:

原圖畫面→從畫面裡剪出人形→辨識特徵(手、腳、頭等等)→照肢體位置辨識動作

先不說辨識動作了,光是辨識特徵就可以花一堆時間
(比方說手離鏡頭遠近、出現在畫面哪裡、是什麼角度等等)
然後 Kinect 必須要用廉價相機外加四肢沒有裝感應器的條件下高速辨識

結果當時有點軟不知道哪個天才工程師居然想出一個神奇方法
他們首先找了幾個演員在 Kinect 前面把所有想的到的動作都作了一遍
然後用建模從得到的動作裡生成不同體型的動作
(比方說這些演員沒有瘦子,就用建模虛構一個瘦子,然後模擬出瘦子的動作)
印象中最後他們搞出了兩百萬筆資料,就用這些資料訓練出了 Kinect 用的辨識模型
用這模型包了辨識特徵和動作兩個最花時間的工作

等到玩家實際在 Kinect 面前玩的時候, Kinect 做的事就是照模型猜出玩家當時動作
然後這模型只是單純的二十層決策樹, 360 執行起來可以做到 200 FPS
自然就達成了遊戲中需要的辨識條件-平價硬體、要快、而且不需要拿感應器

(順帶一提,有點軟後來把這技術拿去電腦視覺學界最著名的發表會 CVPR 發表
很理所當然地拿下了那年的最佳論文獎)

但是反過來說,因為辨識特徵和動作用的模型都是針對 360 遊戲環境特別開發的
當然不適用於 VR 這種相機會動來動去、光是角度就不知道要照幾張畫面出來的辨識環境VR 最終也會有 VR 能夠套用的辨識技術,不過那很有可能就不是跟 360 用同一套了

--
所謂FPS就是「每學期當人比率」(Flunk ratio Per Semester),
是參考老師評價的重要指標之一。

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.104.141.36 (日本)
PTT 網址

zseineo02/11 07:53

xenojack02/11 08:00

itonnoemi02/11 08:00

DivineSX02/11 08:02

mtbigzan02/11 08:03

krousxchen02/11 08:18現在Ai發展已經遠超了

ryoma102/11 08:41感謝分享

kuff22002/11 08:52超強

shifa02/11 09:05這作法真的很天才

shifa02/11 09:05不過我覺得 Kinect 最猛的是 放在空房間可以辨識有人型活動

shifa02/11 09:06跡象 XD 每次看到這種影片就覺得非常real

moritsune02/11 09:08當初能想到這樣解決的工程師真的天才

bladesinger02/11 09:16很有趣的做法,每次看見這種偷吃步都覺得工程師很天

bladesinger02/11 09:17才XDD

inte629l02/11 09:22推 超酷XDD

coollee02/11 09:31最可惜的體感真的是kinect 現在的晶片跟技術又進步不少

coollee02/11 09:31繼續發展還是很有搞頭

spfy02/11 09:33微軟有些覺得當下沒明顯的發展前途就砍掉吧 Kinect HoloLens

spfy02/11 09:34Sureface Duo/Neo都這樣就砍了

krousxchen02/11 09:47NS2有專利說要搞鏡頭辨識

sunshinecan02/11 09:51

YoniOjisan02/11 09:54推,漲知識了

qwe148773802/11 10:06

felaray02/11 10:06居然是這樣建模 當年真有趣

shikemurajy02/11 11:22肯定你記錯 我研究所用kinect這麼久

shikemurajy02/11 11:22從不知道他傳輸頻寬能收200fps

shikemurajy02/11 11:22能穩定收640x480 30fps深度圖就不錯了

上面提的 200 FPS 是辨識演算法的速度,不是 Kinect 本身畫面的傳輸速度 CVPR 的原論文在

https://ieeexplore.ieee.org/document/5995316

※ 編輯: Rabby250 (219.104.141.36 日本), 02/11/2025 12:11:21

shikemurajy02/11 12:27用1/200秒時間算完

shikemurajy02/11 12:27然後花(1/30-1/200)秒等下張影像lol

rayven02/11 14:01push

wahaha9902/11 14:11推,原來如此

wahaha9902/11 14:12當年我還很懷疑,360的性能有好到能及時演算這種動態捕捉

wahaha9902/11 14:12原來是這樣解的

mc330832102/11 14:53這種解法雖然很好想到,但能實際做出來的工程師才能稱

mc330832102/11 14:53為天才