[問卦] 看不懂推理庫為什麼能夠加速模型怎麼辦?
我看說電腦要跑模型 可以用推理庫去優化 然後跑更快更準 但實際上
我看那個說明範例 偏偏就看不懂為什麼會變快 反而還要另外裝這些東西
所以說它的原理是什麼 為什麼訓練好的模型 可以用這個來加速 感覺
就像作弊外掛一樣?
--
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 119.14.102.211 (臺灣)
※ PTT 網址
推
更神奇的是,安裝好後第一次可以跑,之後
→
就不能跑
推
用天空之城加速器阿 比綠水跑還快
噓
優化三小
28
[閒聊] NovelAI模型外洩事件對各界後續影響從幾個角度來聊聊 NovelAI角度: 在模型被外洩後 應該會加速模型疊代的腳步 準備下代模型 中短期內幾乎不會"因此"受傷 主因是他們有大量的算力提供流暢的體驗 只要有抓leak模型下來自己跑的就知道 首先門檻是19
Re: [討論] AI晶片這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片 如果是訓練通常還是利用Gpu 因為生態系比較成熟 那麼深度學習推理時間會耗在哪裡呢 通常就是convolution 或是Gemm14
Re: [新聞] 股票老師將失業?ChatGPT 能預測股市未來1. 我認為未來的AI應該會分科 也就是說不會有全才的AI 其實這個概念在 20幾年以前就有了 就是所謂的專家系統 分科指的是 根據某專業而形成的 AI 例如 醫學的癌症AI , 股票的 AI ............. 現在的 ChatGPT 基本上你問他股票的問題都不會回答你17
[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT,但 是硬體需求大大降低,是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法,LLaMA 13B的模型性能比GPT-3模型要好,可以作到基本對答。 一些LLaMA可以達成的任務1
Re: [情報] AMD 7800XT/7700XT 售價US$449起 9/6上市AMD的GPU行銷真的是笨死了。每個人都拜託他們出24GB或48GB的卡,這麼簡單就大賣的方法不作。還在搞FSR,難道不知道現在是大AI時代嗎? 7800xtx 24GB,549鎂,還不賣爆。 79x0xtx 48GB,1200鎂,還不搶光。 現在一堆AI inference的需求,欠缺在ram不夠。Training也許還是不行,但inference社群作一堆了,就等你出卡而已。結果你出16GB??? 例如最近mlc-llm測試7900xtx 推理可達4090的80%。4
Re: [請益] 1660S x2 or 3070 組DL server最近版上出現一些深度學習配單,覺得有一些心得可以分享,省的走冤枉路 就來回一下舊文,我最後拿3070喇 先說結論,3060 cp值最高唯一推薦,再上去建議直接攻頂3090 大部分人買顯卡都很關心效能,所以我看到有些人會拿3070, 3060ti上來問 但是跑深度學習除了效能以外,VRAM大小以及資料讀取的IO時間都會影響training效率2
Re: [問卦] AI產出的產品之間有關聯性嗎?: 阿肥碼農阿肥啦!有興趣可以看我在科技版的文章,看一下chatGPT的思維模式綜述。 #1Zxi_nPB (Tech_Job) 基本上,現在的深度學習突破的領域在學術界已經是一兩年前的舊聞了,現在所有的語言 視覺模型最好的成果都是基於Transformers(變形金剛)這個家族爆發性成長的結果。2
Re: [閒聊] 日本大膽 all in AI官方允許任何資料訓練這幾天日本就有出現AI模型專賣的網站 新聞: 推特反應:1
[問卦] 大型語言模型VS咒術迴戰哈哈哈是我啦,又來推優質Youtube影片 台大教授李宏毅用極白話講解大型語言模型運作原理 使用ChatGPT作為範例講解 過程中完全沒有數學(且不談Transformer) 內容極其容易了解- 不知道為捨抹會講到邊緣運算啦QQ 不過老黃這波佈局就是替兩三年後落地場景客製化晶片 一般落地場景Inference(AI推理)的工程順序如下 拿一個PreTrain萬用大模型 用特殊資料FineTune 然後Deploy (Inference) 以LLaMA 7B模型為例 假設我今天要做一個醫療問診小幫手的AI 當我用一堆醫療資料 FineTune這個LLaMA 65B模型後達到我需求 (到此為此都會在Cuda生態圈做)
爆
[問卦] 賀錦麗最後30天為什麼迅速殞落?爆
[爆卦] 中原學生被怪人揮斧頭攻擊70
Re: [新聞] 憲法法庭:藐視國會罪違憲 立法目的難謂67
[問卦] 為什麼連黑人男性都不挺民主黨賀錦鯉了59
[爆卦] 中央社 把認為該合憲的大法官 全部消音55
[問卦] 什麼時候連煎蛋都不能抱怨了?56
Re: [問卦] 賀錦麗最後30天為什麼迅速殞落?61
[問卦] 今天大谷跟法官誰會開門紅?54
[問卦] 以色列打伊拉克??43
[問卦] 步入40歲大叔連假第一天做啥?7
[問卦]觀察路上戴口罩的人36
[問卦] 選總統弄假民調騙一堆低能的484很壞阿?35
Re: [新聞] 憲法法庭限縮國會調查權 立院超思蛋,鏡電35
[問卦] 李多慧一直說要生5個小孩是認真的嗎??36
[問卦] 俄羅斯 是真廢還是裝廢?31
Re: [問卦] 大法官可以宣告立法院不得立法嗎?32
Re: [問卦] 烏克蘭軍可能在11月初之前投降29
[問卦] 周杰倫演唱會這次來賓找誰可以嚇死大家?25
[問卦] 江蕙唱到62歲,周董怎麼45就快不行了?25
[問卦] 萊爾富49+29太神了吧22
[問卦] 川普要怎麼在一天內結束烏克蘭戰爭?38
[問卦] 賀錦麗一開始領先是左派媒體造謠嗎?20
[問卦] 中國很愛吹東風飛彈19
[問卦] 2024年都AI了 為啥注音選自那麼爛?22
Re: [新聞] 快訊/滯日未歸!柯文哲貼身帳房「橘子」13
[問卦] 張柏芝(44)王菲(55)要選誰?18
[問卦] 40歲糖尿病走了12
[問卦] 〓.〓 00940元大是不是今年割韭菜之王17
[問卦] 以「全區吃素」7天為代價能召喚什麼?☎17
[問卦] win11太鳥了怒灌回win10