PTT評價

Re: [新聞] Nvidia 最大夢魘來臨!AI 聊天機器人執

看板Tech_Job標題Re: [新聞] Nvidia 最大夢魘來臨!AI 聊天機器人執作者
chengcti
(版主請投我一票!)
時間推噓 9 推:9 噓:0 →:6

專用型跟泛用型不同
GpU 可執行繪圖 渲染 訓練 LLVM
什麼都可以
LPU 只能提供訓練後的LLVM 產生結果
而且 GROQ 展示的參數遠比 openAI 70B
速度難比較
況且 RAM 不知道開不能支持這麼多的
Token

就好像拿GPU 挖礦跟 ASIC 挖礦
GpU 不挖礦還有別的可以做
GROQ 不跑LLVM 就啥都不能做




※ 引述《pl132 (pl132)》之銘言:
: Nvidia 最大夢魘來臨!AI 聊天機器人執行 Groq LPU 比 GPU 快十倍
: http://tinyurl.com/2y4cehyv
: 不論何種 AI 應用,速度非常重要。當我們要求熱門 AI 聊天機器人撰寫文章、電子郵

: 或翻譯文稿時,我們會希望輸出結果愈快愈好。如今一家專為運行 AI 語言模型設計客
: 化硬體,並致力提供更快 AI 的 Groq 公司,能以比普通人打字速度快 75 倍的速度呈
: 結果。
: Groq 專為 AI、機器學習和高效能運算應用程式開發高效能處理器和軟體解決方案,千

: 不要和馬斯克(Elon Musk)的 Grok 聊天機器人混淆,它並非聊天機器人,而且這家
: 部位於加州山景城(Mountain View)的公司目前沒有打算要訓練自己的 AI 語言模型
: 而會致力讓其他公司開發的模型高速運行。
: 當前幾乎所有 AI 工具都使用 GPU,但 Gorq 卻使用截然不同的硬體,亦即專為處理大

: 語言模型(LLM)而設計的 LPU(Language Processing Unit,語言處理單元)。
: 由於 Groq 的 LPU 專門設計用於處理像是 DNA、音樂、程式碼及自然語言之類的資料

: 列,因此在這類應用方面的處理效能遠勝 GPU。該公司宣稱,其用戶已經使用其引擎和: API 運行 LLM 模型,其運行速度比基於 GPU 的替代方案快 10 倍。
: 目前 Grog 在自家官網上提供基於三種不同 LLM 模型(目前提供的模型包括 Meta 旗

: Llama 2、法國新創 Mistal AI 旗下的 Mixtral-8x7B 和 Mistral 7B)的聊天機器人
: 使用者可以免費嘗試在 LPU 加持下的聊天機器人和一般 GPU 支援的效能有何不同

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 37.19.205.185 (日本)
PTT 網址

keelungReeve02/24 18:35LLM喇

relaughter 02/24 19:11LLVM 是 compiler

musashi023 02/24 19:31LLVM xd

wrt 02/24 19:34不要笑,說不定真的是LLVM

abbei 02/24 19:55V for voice & video 我瞎掰的XD

celestialgod02/24 21:26原文寫LLM 也可以抄成LLVM XDD

peter98 02/24 21:27不要笑 不要笑

cosmo7897 02/24 22:30看了推文才知道是在講LLM?

NCTU5566 02/24 22:34LLVM不是compiler嗎?

shter 02/24 23:27GPU一開始也只是專用型,很晚期才拿來訓練

shter 02/24 23:29只能配合 OpenGL、DirectX 繪圖用

Dracarys 02/25 03:11笑到肚子痛

MTKer5566 02/25 14:00用shader寫GPGPU表示

btpeter 02/25 18:10笑死 一堆三腳貓…也在吹喇叭….

CuLiZn56 02/27 03:59我發現不管是誰,都能吹一嘴好AI,這難道不是泡沫