Re: [問卦] word embedding是什麼神奇的東西？？

你有聽說過文字接龍吧?

那你想過電腦是怎麼跟你玩文字接龍的嗎? chatgpt就是一種經過練習的文字接龍。

embedding 字詞嵌入 這個東西 我們先說說他在做啥

但是略過 演算法的過程。

假設你有一句話

"我是專業的五樓 " 模型如何知道你在想什麼呢?

他第一件事情，就是先把你說的話轉成它可以理解的資訊

所以他會透過經由 transfermer 那篇有名論文的機制 這個講起來很複雜
但是過程其實就是 類似人腦識別字詞，記住關聯這樣的過程
經過演算之後它會根據 演算法關注的不同點

回傳給你整組 array 結構的 浮點數，詞向量

這個向量就是他根據演算法計算完以後，模型分析完

它跟模型已經知道的一些標註的字詞表的關係， 這個出來的向量如何被決定是

模型一次次訓練的結果，當然你也有參數，跟餵資料實標籤的時機可以調整。

實際上，他在做的事情，假設上面這句話的把它分為四個維度去處理好了

可是從情緒推估，可能是從模型被餵養的資料的概率去決定說等等可能有什麼

就這樣一種維度，去負責一種推論演算，就會產生

"我是專業的五樓":[0.4,0.8,0.7,0.8]這樣的資料，嵌入到這邊就差不多了。

下一步就是進行聯想，跟比對

上面做完以後模型會對這串資料裡面的數值

去做向量計算，點積，或是用餘弦定理去算說這個多維座標點跟啥最接近

就是模型覺得這句話，相近，相似，相關的句子，當然實際情況隨便一個可能都有

一千多個甚至更多維度，模型裡面的參數則更多 70億都是一個很普通的數字。

你可以把模型想像一台大機器，有七十億以上控制閥，或是一個大函式

有七十多億參數，如何互相影響基本上未知，然後她會根據上面那個過程去回應你這樣。

簡單來說就是把人類文字翻譯成模型可以看懂的過程。

--
WHY SO SERIOUS???

--