Re: [新聞] Nvidia 最大夢魘來臨！AI 聊天機器人執

專用型跟泛用型不同
GpU 可執行繪圖 渲染 訓練 LLVM
什麼都可以
LPU 只能提供訓練後的LLVM 產生結果
而且 GROQ 展示的參數遠比 openAI 70B
速度難比較
況且 RAM 不知道開不能支持這麼多的
Token

就好像拿GPU 挖礦跟 ASIC 挖礦
GpU 不挖礦還有別的可以做
GROQ 不跑LLVM 就啥都不能做

※ 引述《pl132 (pl132)》之銘言：
: Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍
: http://tinyurl.com/2y4cehyv
: 不論何種 AI 應用，速度非常重要。當我們要求熱門 AI 聊天機器人撰寫文章、電子郵件
: 或翻譯文稿時，我們會希望輸出結果愈快愈好。如今一家專為運行 AI 語言模型設計客製
: 化硬體，並致力提供更快 AI 的 Groq 公司，能以比普通人打字速度快 75 倍的速度呈現
: 結果。
: Groq 專為 AI、機器學習和高效能運算應用程式開發高效能處理器和軟體解決方案，千萬
: 不要和馬斯克（Elon Musk）的 Grok 聊天機器人混淆，它並非聊天機器人，而且這家總
: 部位於加州山景城（Mountain View）的公司目前沒有打算要訓練自己的 AI 語言模型，
: 而會致力讓其他公司開發的模型高速運行。
: 當前幾乎所有 AI 工具都使用 GPU，但 Gorq 卻使用截然不同的硬體，亦即專為處理大型
: 語言模型（LLM）而設計的 LPU（Language Processing Unit，語言處理單元）。
: 由於 Groq 的 LPU 專門設計用於處理像是 DNA、音樂、程式碼及自然語言之類的資料序
: 列，因此在這類應用方面的處理效能遠勝 GPU。該公司宣稱，其用戶已經使用其引擎和: API 運行 LLM 模型，其運行速度比基於 GPU 的替代方案快 10 倍。
: 目前 Grog 在自家官網上提供基於三種不同 LLM 模型（目前提供的模型包括 Meta 旗下
: Llama 2、法國新創 Mistal AI 旗下的 Mixtral-8x7B 和 Mistral 7B）的聊天機器人，
: 使用者可以免費嘗試在 LPU 加持下的聊天機器人和一般 GPU 支援的效能有何不同

--