[菜單] DeepSeek 671b大模型推理機

jim543000 02/12 20:28洶寶<3

wsdykssj 02/12 20:32https://www.bilibili.com/BV1REPqeFE6d

narukaza 02/12 20:45H11SSL-I只有PCI-E 3.0，你要確定耶，

narukaza 02/12 20:45還有沒有支援Resizable BAR，這H12才有

xiemark 02/12 20:47只用cpu跑，pcie沒關係

Supasizeit 02/12 20:58這一問一答要多久啊

kamir 02/12 21:08要本地部署嗎？

kamir 02/12 21:09我是覺得個人玩家直接用線上的就好，

kamir 02/12 21:09自由度也高

YukilinnMigu 02/12 21:24這速度大概跟macmini跑速度差不多

MK47 02/12 21:26https://is.gd/u3VvxG 這連結你參考一下

MK47 02/12 21:27還有這個 https://is.gd/vKxtAT

MK47 02/12 21:28他是vram不是ram

moonlightz 02/12 21:29我記得H100要好幾張

xiemark 02/12 21:34h100要8張，買不起。

yocpswang 02/12 21:34肯定是淘寶或小黃魚買

observer0117 02/12 21:35用unsloth處理過只需要不到200G

observer0117 02/12 21:37我是用Z840，128G一萬多而已，再加

kuninaka 02/12 21:37線上一直斷線，根本不能用

observer0117 02/12 21:37SSD、RAM、GPU

kuninaka 02/12 21:37你串MAC MINI會不會比較快？

ntuee1803 02/12 21:37荒唐

observer0117 02/12 21:43不過顯卡不延長只能插一張

kuochuwon 02/12 22:12deepseek 用CPU跑效率好嗎?

observer0117 02/12 22:39671b應該不太好，unsloth動態量化後

observer0117 02/12 22:40還可以，但是會有非預期EOF問題

diablohinet 02/12 22:41哇....@@

promaster 02/12 22:44老黃下巴掉了

ocean920704 02/12 22:48我還是選擇api就好

tetani 02/12 22:49這不會慢死嗎?

tint 02/12 23:12https://tinyurl.com/muttrn8d

tint 02/12 23:13KTransformers可以參考一下

tint 02/12 23:15用GPU加速的純CPU方案

prag222 02/12 23:18最大的參數量拿單機去跑很慢拉

erisiss0 02/12 23:21哈哈哈哈哈哈

croweva 02/12 23:29期待原po未來分享用cpu跑671b的效率

annboy 02/12 23:34老哥 買顯卡跑蒸餾完的不就好了

yinaser 02/12 23:50收張3090跑32b就好

lluck 02/12 23:54每天睡覺前問問題, 睡醒看回答嗎 XD

sasado 02/12 23:56已讀不回AI模擬機

boringuy 02/13 00:01線上跑就好了，不用蝦折騰

yam276 02/13 00:02笑了

tc22 02/13 00:49可以用袐塔

doomsday0728 02/13 00:53什麼鬼 這樣要跑多久？

xelnaga 02/13 01:11？？？？？？

Lightee26 02/13 01:21有人也是epyc+ddr4，可跑3~4token/s

Lightee26 02/13 01:21比拿ssd跑快多了

stlinman 02/13 01:36先試試api吧!

ArcherX 02/13 02:24蠻好奇這樣可以跑多快

FreedomTrail 02/13 03:07跑7B還行，想跑671B?

a71245969 02/13 03:52推實驗精神，bilibili 有用transformer

a71245969 02/13 03:52s 跑6.6 tokens/s

a71245969 02/13 03:53Ktransformers

jboys75 02/13 05:44要怎麼看自己電腦的token數啊？

widec 02/13 06:31deepseek動不動就過宅，是要怎麼用線上的

widec 02/13 06:323060我看對岸是說大約每秒10 tokens

xiemark 02/13 06:53現在可以在3060上跑14b, 速度很好。用cpu

xiemark 02/13 06:53, 可跑32b速度可以接受。

xiemark 02/13 06:54但是還是要用cpu 跑671b, 測試。

xiemark 02/13 06:57訓練ai確實一定要用gpu, 因為都是用fp32

xiemark 02/13 06:57 或fp16來算。但推論都是經過量化的，多

xiemark 02/13 06:57以int8來算，cpu不見得不好

xiemark 02/13 07:43上面有人提到ktransformer, 也要先建一個

xiemark 02/13 07:43至少512gb dram的平台，再用4090加速

xiemark 02/13 07:44這次先讓它能跑起來就好了

SRNOB 02/13 08:05太貴。e5 26xxv4 x2 不過應該都被炒起來了

zzahoward 02/13 08:29https://tinyurl.com/29nvcw83

zzahoward 02/13 08:35https://tinyurl.com/3wzj6cwr

xiemark 02/13 08:36謝謝，xeon也會研究一下

Ceferino 02/13 08:52在前陣子ds剛爆紅時就在推特看過這種全

Ceferino 02/13 08:52載ddram用cpu跑的方案，記得那時看到是

Ceferino 02/13 08:52說大概5 tokens/s左右！？

keepgoingKH 02/13 08:52期待後續成果

Ceferino 02/13 08:54ktransformers聽說可以加速快30倍是真

Ceferino 02/13 08:54假？

guogu 02/13 09:07我記得很像有人用雙路cpu跑到13token/s

artjio 02/13 09:24我幫你問deepseek本人了，感覺不太行

artjio 02/13 09:24https://i.imgur.com/vDKw2Wt.png

NanaMizuki 02/13 09:58ktransformers建議是ram至少1t

xiemark 02/13 10:231-10 tps可以接受

arrenwu 02/13 10:591tps 可以接受....猛

xiemark 02/13 11:07因為會寫程式去問它

xiemark 02/13 11:16ktrans 需要GPU 24GB VRAM 和382GB DRAM

guogu 02/13 11:57這是為了玩還是工作? 2 3t/s真的不是人用的

guogu 02/13 11:57deepseek自己的很塞可以用openrouter

guogu 02/13 11:57即使免費的也有10t/s 怎樣都比 2 3t/s強

guogu 02/13 11:59deepseek網頁版看起來應該有個3 40t/s

guogu 02/13 11:59但有些問題光"想"它就能花上3 5分鐘

guogu 02/13 11:59用你這方案豈不得跑一小時

felaray 02/13 12:02網頁版的問題是現在服務常常不穩定

xiemark 02/13 13:16要建知識庫，不可能上傳網頁使用。

moguli 02/13 13:17雙路13token0.3版才出不過MoE限制6個=閹割

moguli 02/13 13:23ktrans至少要用16GB以上的顯卡，看來要換

AIRURU 02/13 23:46https://github.com/ggerganov/llama.cpp/

AIRURU 02/13 23:46discussions/11765

AIRURU 02/13 23:46看這篇測q5的r1有4t/s

sina1 02/14 10:15cpu跑ai模型？你是不是搞錯了什麼？

xiemark 02/14 11:10推論本來就可以用cpu跑

kamir 02/14 17:52知識庫我用GOOGLE試算表一類的記錄，

kamir 02/14 17:52算線上嗎？

chysh 02/15 16:00科技公司：原來AI這麼便宜的...