[問卦] AI推理 LPU會打扒GPU嗎

爆 

你劃錯重點, 先不論這篇論文的可行性與實用性, 你真的劃錯重點了 算力重要嗎? 重要但是不是影響販售/採購晶片的主因,

87 

生成式 AI 大爆發，NVIDIA GPU 恐供不應求 來源 微軟 Bing 搜尋引擎整合 ChatGPT，加上其他生成式 AI 工具的需求攀升 都相當依賴人工智慧處理能力，正是 NVIDIA GPU 優勢所在 當科技公司利用 NVIDIA GPU 滿足增長的 AI 需求

19 

這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片 如果是訓練通常還是利用Gpu 因為生態系比較成熟 那麼深度學習推理時間會耗在哪裡呢 通常就是convolution 或是Gemm

21 

technews 串連數千個 Nvidia GPU，微軟打造 ChatGPT 的超級電腦 March 14, 2023 by 陳 冠榮 微軟斥資數億美元打造一台大型超級電腦，串連數千個 Nvidia GPU，為 OpenAI 的聊天機

18 

前陣子自家公司GPU也不夠用了...在測試一堆想法時候 決定自掏腰包去租外面GPU 找了幾間像是 結果...wtf 也是大爆滿 看了幾個AI論壇 一堆自行開發者都自己測試各種pretrained model的下游fine-tune 也是各種哀嚎搶GPU 以前這幫個人開發者在自己的RTX 就可以簡單測試 但現在的 LLaMA也好 Diffusion也好 越來越難在家用遊戲顯卡上跑

12 

其實也不知道怎麼說明，再不講得太深入又能夠很簡白地說 真的蠻難的，我就大概點到一些點，然後開頭直接下個結論吧 美國想阻止的是中國透過AI完成強人工智慧，或是通用型的AI 有點類似現在目前的ChapGPT進化的最終版 但如果要阻止中國完成區域性或是弱人工智慧已經不可能了

 9 

專用型跟泛用型不同 GpU 可執行繪圖 渲染 訓練 LLVM 什麼都可以 LPU 只能提供訓練後的LLVM 產生結果 而且 GROQ 展示的參數遠比 openAI 70B

 X 

NVIDIA 推出 RTX 500 和 1000 Professional Ada Generation 筆電 GPU 強化行動 AI 工作流程 隨著生成式AI和混合工作環境成為新標準，幾乎每個專業人士，無論是內容創作者、研究人員還是工程師，都需要一台功能強大的人工智慧（AI）加速筆記型電腦來幫助使用者應對他們產業內最嚴峻的挑戰－即使在移動途中。 全新NVIDIA RTX500 和 RTX1000 Ada Generation 筆記型電腦 GPU 將應用於全新型高度便攜的行動工作站，擴展了基於NVIDIA Ada Lovelace 架構的產品陣容，其中包括 RTX 2000、3000、3500、4000 和 5000 Ada Generation 筆記型電腦。 AI 正在迅速被採用，以提高專業設計和內容創建工作流程以及日常生產力應用程式的效率，這凸顯了在系統中擁有強大的本地人工智慧加速和足夠的處理能力的重要性。 配備 RTX500 和 RTX1000 GPU 等 Ada Generation GPU 的新一代行動工作站將包括神經處理單元（NPU）、CPU 組件和 NVIDIARTX GPU，其中包括用於 AI 處理的 Tensor Core。 NPU 有助於卸載輕型 AI 任務，而 GPU 則可額外提供高達 682 TOPS 的 AI 效能，以滿足要求更高的日常 AI 工作流程。