[閒聊] MyGO 論文
多模態知識圖譜(MMKG)儲存了包含豐富多模態描述資訊結構化世界知識。
為了克服其固有的不完整性,多模態知識圖譜補全(MMKGC)旨在利用三元組的結構資訊和實體的多模態訊息,從給定的多模態知識圖譜中發現未觀察到的知識。
現有的 MMKGC 方法通常使用預先訓練好的模型來提取多模態特徵,並採用融合模組將多模態特徵與三元組預測結合。然而,這往往導致對多模態資料的粗略處理,忽略了細微、精細的語義細節及其相互作用。
為了解決這一不足,我們引入了一個新穎的框架 MyGO ,用於處理、融合和增強
MMKG 的細粒度模態資訊。MyGO 將多模態原始資料標記為細粒度的離散標記,並
透過跨模態實體編碼器學習實體表徵。為了進一步增強多模態表徵,MyGO 採用了
細粒度對比學習技術,以突顯實體表徵的特殊性。
arxiv : https://arxiv.org/abs/2402.05391
github : https://github.com/zjukg/MyGO
我是沒想到連這個也會GO
然後提醒一下 這論文是認真做的 不是搞耍 不要去人家的issues亂
https://i.imgur.com/ech1Oji.png
--
https://i.imgur.com/sFomUdG.png
我永遠喜歡白佳貞學姊
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.213.199.89 (臺灣)
※ PTT 網址
※ 編輯: alanwang555 (49.213.199.89 臺灣), 04/19/2024 17:11:45
推
中國人素質
推
這沒啥吧 我記得也看過老外玩薩爾達梗
→
白佳貞好像沒啥戲份欸
推
你論文貼錯篇了吧
→
你貼到他另一篇的survey paper
→
而且硬要縮寫成MyGO欸,病得不輕
→
這篇很認真欸 要投AMC MM的會議欸
→
*ACM MM
推
你也是在助長其他人去亂 建議刪掉文章
10
[討論] 慣導會結合AI重出江湖嗎?如題 剛剛看到對於飛彈的討論就想到,電子干擾、反干擾作戰上的投資已經越來越重。 最後會不會是慣導作為完全不需仰賴GPS的系統,帶著AI與遙測技術重返戰場? 比方說,讓純慣導或是有遙測與AI系統作為輔助的ICBM帶著功率超大的干擾器作為反防空手段。 AI辨識在某種程度上也算是把過去負責看著電視導引的那隻猴子給裝進飛彈內。8
Re: [新聞] 馬斯克談特斯拉降價:如果我們價格和TOYO在經濟下行情況 Musk必須負責他之前的策略錯誤 在2020年Musk勾畫了一款低於25000價位 低階車款 但這塊推遲沒執行 也就是Musk一直把自家車定位還是鎖定在中高階價位族群 這件事情在現在這一年回過頭來看 是個超級致命的決策失誤 (更正:根據某大大訊息 此部分非Musk決策錯誤 而是現實不允許 ) 在4~5萬美金電車價位下 願意買ModelY/3消費者早就都買電車了6
Re: [問題] 到底有沒有盤子國產車做過全車隔音的啦┌─────────────────────────────────────┐ │ 文章代碼(AID): #1V6Gq3A0 (car) [ptt.cc] Re: [問題] 隔音施工的效果跟花費? │ │ 文章網址: │ │ 這一篇文章值 485 Ptt幣 │ └─────────────────────────────────────┘2
Re: [閒聊] Neuro真的有辦法做到理解圖像嗎大型語言模型本質上是文字接龍 你說的話會通過tokenizer切成很多token後餵給模型 讓他預測下一個機率最高的字 當input是圖像時 你需要用一個資訊壓縮模型 把圖也壓成一串token 接下來做的事情就一樣了 把這串濃縮feature token餵給模型 搭配你說的其他話 來預測下一個字 重複到出現一個完整的回答為止1
Re: [問卦] 什麼能力不會被AI取代阿肥外商碼農阿肥啦! 先說啦!基本上依照目前的AI趨勢高階具備獨立自主思考能力或是低階廉價勞工還是很難 取代,最會先被取代的是中階比較偏向指令式的開發人員,這些大量初階的paper work或 是coding work可能有機會被慢慢取代(依照過往人類歷史工業革命也花了五十年到一百年 才全部完成)。- 阿肥外商碼農阿肥啦!認真說,這幾年口說上字幕甚至翻譯,還有有字幕上語音這幾年都獲 得不錯的進展,包含openAI、Google、Amazon、Meta實驗室都有不錯的產出,而且這些都是 依靠當前所謂的多模態零樣本學習的大力進步,很多轉換錯誤或是機器音都減小很多,不 過偶爾還是會有出槌需要人工修正的部分。 所謂的多模態零樣本其實就是換一個思維過往很多工作需要大量標注工跟資料工程前處理來
- HBM就是金礦 尤其現在部分研究有走向拉長Input Sequence和Embedding Vector Length 我好幾次train模型 記憶體都不夠用 還得搞gradient accumulation這種手法 在Multimodal開啟後 資料數據都是幾10T的Train 記憶體很容易被操爆 且部分研究顯示 多模態數據拉到60T以上後 胡言亂語症狀都會減低 然後HBM3e領先就是海力士 海力士不可能只有20% HBM現在就三大玩家 而韓廠就吃掉90%
爆
[問題] 是誰騙我說活俠傳很便宜的50
[蔚藍] Nexon股東會小重點44
[鍊金] 穿窄裙要怎麼戰鬥30
[24夏] 敗北女角太多了 0943
[閒聊] 棕色塵埃2最近有啥改動嗎 突然一堆人玩26
[討論] KV 想走檔案的成功模式不會成功吧?44
[情報] 孤獨搖滾 武道館76
[情報] 敗北女角 姬宮華戀胸圍調整者:鳥居貴史21
[問題] 天皇正統是南朝還北朝21
[閒聊] 「你的名字」票房還是會一樣猛嗎?21
[Vtub] Hololive的雌小鬼代表是詩音嗎?20
[敗北] 溫水在學校的風評應該快炸了吧26
[敗北] 零距離的8K是什麼感覺?19
[閒聊] 萊歐斯會怎麼料理異形18
[閒聊] 最能代表黑絲襪的女角色是誰?爆
Re: [情報] 韓國記者整理Project KV和Nexon的狀況25
[心得] 天使與龍的輪舞 瞎雞巴亂演的爽片神作13
[閒聊] 敗北女角太多了 09 顏色差異(有雷)28
[閒聊] 泡泡糖文化在台灣有興盛過嗎?11
[蔚藍] 老師跟若藻在柴關拉麵約會10
[咒術] 宿儺死了現在誰是最幽默的小丑12
[閒聊] 下一部單行本銷量破億的漫畫是哪部?10
[敗北] 這個大小的麵包是有辦理一口吞的嗎9
Re: [問題] UQ Holder 悠久持有者 值得補嗎26
[閒聊] 戰錘40K 新作全破心得27
[情報] 鳴潮x茉莉茶園合作 時序入秋 今州飲茶19
[閒聊] 秋葉原命運石之門聖地巡禮(附地圖)10
[24夏] 小市民系列 09 好看17
[敗北] 這集出現8K華戀,4K的老八484可以蛋雕了?25
[孤獨] 酗酒,為何沒有刺青、抽菸嚴重?