Re: [閒聊] Neuro真的有辦法做到理解圖像嗎
大型語言模型本質上是文字接龍
你說的話會通過tokenizer切成很多token後餵給模型 讓他預測下一個機率最高的字
當input是圖像時 你需要用一個資訊壓縮模型 把圖也壓成一串token
接下來做的事情就一樣了 把這串濃縮feature token餵給模型
搭配你說的其他話 來預測下一個字 重複到出現一個完整的回答為止
input是圖像時的難點是那個資訊壓縮模型
一般來說 這種模型是透過海量的圖片-文字描述pair訓練而成
例如 一張拆彈遊戲的圖片 和一段文字"這張圖裡包含了一張桌子 一個炸彈 顏色..."
但除了圖片解析度有限以外 文字畢竟是一維資訊 難以精準描述二維的圖片
頂多你能搭配一些傳統CV的OCR資訊一起餵給語言模型
不然就是要往Gemini這種原生多模態模型
或甚至擺脫文字接龍框架 世界模型方向走
學界有一派覺得語言模型有其極限 這就是其中一個原因
畢竟人類不是只靠文字理解世界
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 185.213.82.44 (臺灣)
※ PTT 網址
推
看Neuro會玩geoguessr,Vedal應該克服了?
→
他也是想辦法把這些東西串起來吧 這些演算法和模型都不是
→
一個人或一個小團隊能做到的
推
GPT才是文字接龍 但LLM也不止GPT一種
55
Re: [問卦] 中研院自己做的大型語言模型怎麼了?阿肥外商碼農阿肥啦! 昨天晚上都在跟獵人直播來不及趕上大型翻車現場,這邊中午看hugging face hub還 可以進去,但現在已經進不去了。 這邊阿肥就直接說,基本上現在所有中文開源語言模型除了少數像chatGLM這種中國比較 早期做的自己完全從零訓練的語言模型外,大家都是從meta 的llama魔改的,差別在於預34
[閒聊] 驚!看色圖不求人 AI是否也能畫色圖?雖然下了很農場的標題 但這一篇認真的研究論文 大家或許以為AI跟色圖很遙遠 但事實真的是這樣嗎 在一年前可能沒有錯 但經過最近的突飛猛進 故事已經進入了新的轉捩點X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。9
Re: [新聞] 搶太妍門票僅須4秒!警破獲首宗AI搶票黃牛 逮30歲台大畢阿肥外商碼農阿肥啦! 其實就是使用langchain加上類GPT 3.5-4(當前很多開源的,一張4090就可以運行起來), 透過模型輔助加上langchain可以直接接上Google等搜索引擎或特定網站解鎖語言模型讀 取最新資訊的能力,這樣就可以規避掉官方要識別人類(粉絲?)的特殊問題。 然後圖片驗證識別這個目前就被玩爛開源Acc都可以到99%以上了,基本上你想用CNN或swi6
Re: [問卦] ChatGPT改變了什麼行為模式?行? : : 業都發揮著重要作用,對許多人的生活產生了深遠影響。我想請問各位前輩,究竟Ch at : : T改變了哪些行為模式呢? : : 希望大家能分享一些寶貴的經驗和看法,讓我對ChatGPT及其對社會行為模式的影響4
[情報] 首個中文SD模型開源:太乙對岸那邊IDEA研究院中的封神榜團隊釋出了第一個以中文為基礎的SD模型:太乙,已經可以在 Huggingface上面取得,這是基於SD1.4模型重新訓練了中文語言模型以取代原本的英文編碼器,但鎖定了圖像產生器,在一億級的中文語料庫上跑了24個epoch 另外一個中英文混合的模型則是同時fine-tune了語言編碼器以及圖像產生器。 這是他們的第一個 checkpoints 而且進行了開源,不過由於他們修改過編碼器的結構,所以模型不能直接丟進去 webui 裡面跑,團隊有提供修改版本以及修改辦法。 根據他們給的測試樣本來看,這個模型不但能理解白話文,更能理解文言文,像是唐詩,宋詞甚至駢文都沒有問題。2
Re: [問卦] 美軍陸戰隊學《潛龍諜影》紙箱潛行戰術,阿肥外商碼農阿肥啦! 其實這在機器學習/深度學習領域當前還是一個資安攻防戰的大問哉,尤其是圖像領域其實 從攝影機取得的數據,其實如果熟知數位訊號的話,其實對於機器取得的訊號只是256個數 值(對應PC的256色彩度)加上一個通道數量的三維數據,歸一化以後可以把數值256變成0到1 之間的浮點數,這樣問題就來了,現實世界人眼其實對浮點數差0.001不到的變化是很難察2
Re: [問卦] AI產出的產品之間有關聯性嗎?: 阿肥碼農阿肥啦!有興趣可以看我在科技版的文章,看一下chatGPT的思維模式綜述。 #1Zxi_nPB (Tech_Job) 基本上,現在的深度學習突破的領域在學術界已經是一兩年前的舊聞了,現在所有的語言 視覺模型最好的成果都是基於Transformers(變形金剛)這個家族爆發性成長的結果。- 阿肥外商碼農阿肥啦!認真說,這幾年口說上字幕甚至翻譯,還有有字幕上語音這幾年都獲 得不錯的進展,包含openAI、Google、Amazon、Meta實驗室都有不錯的產出,而且這些都是 依靠當前所謂的多模態零樣本學習的大力進步,很多轉換錯誤或是機器音都減小很多,不 過偶爾還是會有出槌需要人工修正的部分。 所謂的多模態零樣本其實就是換一個思維過往很多工作需要大量標注工跟資料工程前處理來
爆
[閒聊] 為了打電玩買電競椅值得嗎?47
[問題] 為什麼富樫沒有被編輯追殺??46
[問題] 如果活俠傳是中國做的還會在C洽有如此熱49
[閒聊] 活俠傳 酩酊玄劍掌+龍淵七絕+玄玄如意指48
[無職] 所以魯迪要怎麼回去面對家人啊?求雷74
[活俠] 你如何能不愛夏侯蘭43
[活俠] 本梅的愛也太沉重(拆包俠36
[閒聊] 邦邦在7/4有大發表會31
[妮姬] 每天自動派遣的事被妮姬發現了27
Re: [妮姬] 小紅帽時裝投票day1結果26
[活俠] 小師妹線給的衝擊真的好強26
[閒聊] 戀愛的難易度等級32
[問題] 斯里帕通可能很強嗎25
[鳴潮] 推完1.1主線 庫洛妳明明就會做遊戲啊==22
[情報] Summer Pockets 動畫化22
[閒聊] 法環 關於角人支線(雷22
[活俠] 喊出小師妹是我的之後還是失敗27
[推薦] 孤獨搖滾 BGD-MyGO GBC/少哭 無雷總評21
[女同] 火車xGBCx水母 完結撒花17
[閒聊] 反對參展有女coser還是第一次看見19
[法環] 啊? 野豬騎士BOSS房前這什麼情況?19
[妮姬] 泳裝羅珊娜 蹲姿43
[Vtub] 6/28同接鬥蟲18
[閒聊] 是不是剛玩活俠傳的建議不要加入奪魄門18
[閒聊] 現在玩遊戲2k螢幕是標配嗎?16
[24春] 上低音號12: 毫無成長的麗奈跟瀧27
[法環] DLC 到底誰跟我說獵龍大刀沒用= =10
[閒聊] 絕區零 武器池會歪有點令人難受阿13
[閒聊] 對岸的作品怎麼這麼喜歡吃貨跟班/寵物15
[24春] GBC 13 都最後一集了還搞這齣是怎樣?