PTT評價

[問卦] 120b PT的LLM,你用過的感受和心得?

看板Gossiping標題[問卦] 120b PT的LLM,你用過的感受和心得?作者
ruthertw
(督人無數就是我)
時間推噓 1 推:1 噓:0 →:0

Hugging Face的高手無極限,

推出了多種120b的LLM PT模型,

每個不但超大容量,

還可以只用CPU來跑,

而且號稱同時使用越多張高等級Nvidia顯卡,

跑起來速度越快,

不過每個120b PT模型的容量都不小,

網路速度不快,

可能要下載個兩到三天才能開始使用.


八卦板上臥虎藏龍,


鈣磷量!


這個目前還滿夯的LLM PT模型,

不知道你用過的感受和心得?


有卦嗎?





PS.

Hugging Face計畫接下來要推出

135b, 150b, 160b, 200b,等等的LLM PT模型,

各位買了幾張4090並連在一起了?


等等黨哭哭了嗎?

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.136.74.159 (臺灣)
PTT 網址

ruokcnn 02/23 23:14用MoE訓練的吧 推理不知道速度多快