Re: [菜單] 120K LLM+SD 5090 AI生成機
怎麼說呢，目前小資玩LLM訓練還是很困難啦
NV專業卡價格超級貴又難買，只能買消費級遊戲卡來擋
雖然有雲端服務商算力平台，但說真的
短租不如長租~~長租不如買斷(沒預算就什麼都沒法用)
而且平台不只租GPU，連VM都得一起建在上面才能用
像GCP台灣節點能租到的也就V100，這一張才16G而已
https://cloud.google.com/compute/gpus-pricing
VM/GPU/Storge/Network分開計價，有預算再考慮玩吧
如果只是要玩推理，速度不快有夠大的VRAM也行
但是看一下老黃卡有大VRAM的都不好買，所以嘛
某個用UMA架構能把RAM當VRAM的品牌電腦很有優勢
配上exo框架+雷電網橋組集群打怪也是很不錯
實務上來說國內企業對資料上雲有疑慮，就算可上也要機房落地
自然不考慮國外GPU平台，大概也就Google跟Azure台灣有機房的
而中小企業想跟上AI風潮但預算更少，組90系列當算力也很常聽到
因此本地端跑LLM還是有必要性，玩起來限制也較少
至少先從使用LLM的成本降低才來思考微調訓練LLM的需求...
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.129.145 (臺灣)
※ PTT 網址
推
比較好奇有沒有人嘗試過SXM2轉Pcie的
→
方案，V100 SXM2洋垃圾蠻便宜的
→
接下來AI MAX可以轉96G的RAM當成VRAM
→
等Z13 128G那台出來之後應該會有人測試吧
→
國外有人搞出便宜6tok/s w/o GPU機器
推
v100現在就雞肋，正經4x, 8x載板太貴
→
轉接板便宜的沒nvlink，鼓風扇那款貴
→
正經研究已經轉fp8訓練或微調
→
而普通人拿v100來推理，速度不行
爆
Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售你劃錯重點, 先不論這篇論文的可行性與實用性, 你真的劃錯重點了 算力重要嗎? 重要但是不是影響販售/採購晶片的主因,![Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售](https://i.imgur.com/GxJuHEib.jpeg "Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售")
79
Re: R: [請益] 為什麼中國越來越強？怎抹這邊突然變AI版 =_= DeepSeek 有件事情幹得比矽谷好 就是AI Backend 優化(這玩意就是需要懂架構 和軟體 就是一個苦力枯燥活) 大體而言 在A100架構以前 大部分訓練都還是用fp32 少數模型對精度不敏感會用到fp16 (浮點16進位)主因是用16進位去訓練 精度不夠 容易模型崩潰 尤其用P100的fp1668
Re: [閒聊] 5070賣549鎂有4090的效能？: : ---- : Sent from BePTT : 不要看看跑分就覺得5070能打409052
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司，非學術單位， 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過，還是沒足夠能力與資源訓練正常的LLM。![Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套](https://i.imgur.com/s6MWLNmb.png "Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套")
42
Re: [新聞] 稱霸 AI 推理性能，NVIDIA B200 晶片海相關文章可以參考這個 比較有意義的是這邊 前言![Re: [新聞] 稱霸 AI 推理性能，NVIDIA B200 晶片海](https://img.youtube.com/vi/jpfC7rzoX2A/mqdefault.jpg "Re: [新聞] 稱霸 AI 推理性能，NVIDIA B200 晶片海")
18
[閒聊] LLM 推理用機器由於最近 LLM 發展越來越快，剛好自己也有一些 LLM 的需求。 但又不想要使用 OpenAI 或是其他供應商的服務。 從前幾個月開始就有想要自己弄個機器來架設服務的想法。 最近開始也對高參數的模型越來越好奇，但由於大容量 VRAM 的 GPU 實在是買不起，所以想說是不是轉用 CPU 來玩玩看。 我看了很多技術分析和 Benchmark，基本上都說 LLM 的 inference 目前是 memory bound，也就是 memory bandwidth 是瓶頸。![[閒聊] LLM 推理用機器](https://img.youtube.com/vi/oDIaHj-CGSI/mqdefault.jpg "[閒聊] LLM 推理用機器")
17
[請益] AI 圖片生成 顯卡選哪張去年開始接觸AI圖片生成 不過用的都是雲端版本有些限制 因此想要試試本地端的stable diffusion 但因為顯卡只有2070除了不夠力VRAM可能也不夠用 所以有想要趁這個機會升級一下電腦 目前應該會把RAM加到64G 再換一張16G VRAM的顯卡12
Re: [討論] 其實Deepseek真的很厲害了DeepSeek可以下載到自己電腦跑、ChatGPT不行， 這在商業使用的場景上就有蠻大的差異 昨天很多人在傳說用(線上版)的DeepSeek會把資料傳給中國，這當然是對的， 但過去一兩年我們幫客戶評估AI專案時， 在串GPT-API上常常會碰到我們或我們的客戶其實也不想把資料傳給OpenAI，8
[閒聊] AMD便宜apu跑stable diffusion,MiniGPT4等I have tested both training and inferencing for: A: Stable diffusion, text inversion training. B: LLM. LlaMA fine tuning (lora). ....![[閒聊] AMD便宜apu跑stable diffusion,MiniGPT4等](https://img.youtube.com/vi/HPO7fu7Vyw4/mqdefault.jpg "[閒聊] AMD便宜apu跑stable diffusion,MiniGPT4等")
3
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套身為LLM猴子，大多同意DrTech的看法，只是台智雲這塊有點不一樣。 其實台智雲有幾乎一半台灣杉2號的機器可以用， 也克服很多開源軟體無法解決的問題；例如硬體是V100不是A100， 又要能夠做3D model parallelism，又要同時能跑LoRA，RLHF， 在100Gbps網路中維持GPU使用率滿載等等。在meta llama出來之前，
![Re: R: [請益] 為什麼中國越來越強？](https://img.36krcdn.com/hsossms/20240829/v2_d656455ab4b641609845258091984df0@1743780481_oswg736640oswg1053oswg495_img_png?x-oss-process=image/resize,m_mfit,w_600,h_400,limit_0/crop,w_600,h_400,g_center "Re: R: [請益] 為什麼中國越來越強？")