[討論] 國防部應該考慮AI單片機開發板
台灣國防部 應該要考慮 開規格標 讓廠商預先研發
CPU/GPU 統一架構記憶體256-512GB Ram
算力要求20 tokens以上,功耗在可接受範圍內
這已經可以單機跑AI LLM模型
未來要開標的無人機 無人車
都有可能可以試試看裝載AI 本機運行模組
只要電力能夠跟得上
-----
Sent from JPTT on my iPhone
--
...這不叫單片機 還有 你覺得這系統的功耗多少?
Jetson都沒這種規格!
以及為什麼無人機需要能放LLM的AI?
如果依照我主文內的 蘋果電腦同規格是最頂級配備是2
95W,放寬一下功耗 有機會500W功耗內。這對很多燃油
無人機 無人車 很容易達成。
能放LLM,無論想訓練它做什麼幾乎都能達成,而且如
果有一定數量 或許這樣的單片機開發板 功耗能接受的
或許台幣15萬以內很容易達成。
說個笑話,無人車用LLM。LLM只是架好看的一堆MLLM都
只是紙上談兵,Time critical一個都不會過。
Tesla FSD都用不到這麼多RAM 你的AI模型還得優化
關鍵在於你的支援多好,硬體有了,你的軟體支援?硬
體加速你也要軟體會最佳化適應硬體,問題是你那是候
看過台灣做出好生態系了?
Time critical 確實是不會過,但是在完全電磁波干擾
下,還是有很多可以讓系統主動決策的,比如 地形研
判來更確認 目前所在地,飛行到該位置 哪一個目標對
象是最高攻擊價值排列。決策的用意就是可以有十秒的
時間去考慮的事情
Tesla FSD雷達點陣的資料量極大,只是前端都處理好
了,直接硬體電路運算後,即時低延遲就送進去運算單
元
你要跑 LLM 幹嘛.. =.=
因為半導體技術已經進步到 能300W功率跑AI本地模型
了,這實在是很香。
有些東西傳統演算法可以做為啥要AI?
可以說說為什麼開這個規格
你也不會用LLM,無人機要的感知距離更大,用LLM既不
穩定也不準。100% 是影像、雷達Encode然後某種Fusio
n然後產生某種Map和Object,然後你還要Tracking確保
不是誤報、後面要瞄還要軌跡預測、然後看價值做Plan
ning,LLM、VLM Query set沒設計到也是聽天由命
山馬LLM 海馬LLM 十年前萬物雲端大數據的既視感
你希望解決的場景(需求)是什麼
描述場景清楚,比突然用什麼潮流科技還重要
現在一卡車的AI就以前的大數據舊瓶新標而已
其實不用到LLM,這種是專門邊緣型AI計算就可以了
你知道趙括是誰嗎?不知道去看一下
這耗電量...
要上水冷,介面還能選老婆對不對
跑LLM 勸降先嗎???
不懂就別發文
....如果是用來影像識別, 不用LLM
如果是戰術決策, LLM也不好用
大概唯一的用途是拿來心戰喊話....
LLM決策速度不會太慢嗎
79
Re: R: [請益] 為什麼中國越來越強?怎抹這邊突然變AI版 =_= DeepSeek 有件事情幹得比矽谷好 就是AI Backend 優化(這玩意就是需要懂架構 和軟體 就是一個苦力枯燥活) 大體而言 在A100架構以前 大部分訓練都還是用fp32 少數模型對精度不敏感會用到fp16 (浮點16進位)主因是用16進位去訓練 精度不夠 容易模型崩潰 尤其用P100的fp1661
Re: [請益] 費半成份股全線崩盤 怎麼辦?DeepSeek這塊有幾個看法 Training端就等之後瓜出來再吃 在Inference這塊 因為受限於MoE 所有推論成本可以降下來 但需求變高的是用記憶空間 和各個node之間的通訊開銷 以及軟體上cpu/gpu的load balance 以deepseek v3來說 600GB+ fp8 需要許多平行運算 這意味通訊瓶頸很重要 因為在切換專家時候 延遲會因此也跟者追加 而記憶體需求開銷也很大![Re: [請益] 費半成份股全線崩盤 怎麼辦? Re: [請益] 費半成份股全線崩盤 怎麼辦?](https://i.imgur.com/1glBeN3b.jpeg)
56
[情報] AI PC真的會走向16GB RAM是基本配備之路原文標題: AI PC真的會走向16GB RAM是基本配備之路嗎? 原文網址: 原文全文:![[情報] AI PC真的會走向16GB RAM是基本配備之路 [情報] AI PC真的會走向16GB RAM是基本配備之路](https://iknow.stpi.narl.org.tw/Post/Figures/2024/market/computer_20415_20240205.png)
42
Re: [新聞] 稱霸 AI 推理性能,NVIDIA B200 晶片海相關文章可以參考這個 比較有意義的是這邊 前言![Re: [新聞] 稱霸 AI 推理性能,NVIDIA B200 晶片海 Re: [新聞] 稱霸 AI 推理性能,NVIDIA B200 晶片海](https://img.youtube.com/vi/jpfC7rzoX2A/mqdefault.jpg)
30
Re: [請益] 什麼樣的情況下AI才可能崩盤再次說一遍 千股NVDA 防身防失業防變成電池防小人防渣男 QQ 半導體有所謂的摩爾定律 AI也有 就是所謂的Scaling Law 他基本上給了一個大方向 AI是有三個元素組成 算力 算法 資料 Scaling Law基本定錨模型大小算力和資料相關性 沿者這條路的終點就是AGI 看看AI教父最新的訪談![Re: [請益] 什麼樣的情況下AI才可能崩盤 Re: [請益] 什麼樣的情況下AI才可能崩盤](https://picx.zhimg.com/v2-cfd7a3b0b10be4d63d95373bc4c237ce_l.jpg?source=172ae18b)
29
Re: [新聞] Meta陷入恐慌?內部爆料:在瘋狂分析複製DeepSeek,高不知道有沒有鄉民試過 Deepseek R1 單機版 其實過程很簡單,安裝 LM studio 就可以去撈 model 來測了。 甚至也有些標榜已經除去審查的 model 先講結論,我覺得單機 LLM 可能會更多人有興趣能做到怎樣。 雖然功能不如訂閱聊天/API,22
Re: [新聞] 蘋果AI為何限制iPhone 15 Pro以上機型?蘋果的AI是三階段的 1.本地跑3B以下的各式模型 2.跑不動的上”蘋果自己”組的雲端來跑 3.你還不滿意可以Call外援-ChatGPT 看懂了嗎,Chat GPT最大的作用就是上WWDC露面拉一下股價,他跟瀏覽器的預設引擎一樣,5
Re: [心得] WWDC24節錄-系統級個人助理面世自己回自己的文,給想進入AI生活的人一點知識科普,順便闢謠一下網路上漫天飛的錯誤 資訊。 === 個人裝置跑『大模型、小模型』,大小如何定義? 以下節錄台大洪教授的臉書文字內容:![Re: [心得] WWDC24節錄-系統級個人助理面世 Re: [心得] WWDC24節錄-系統級個人助理面世](https://upload.wikimedia.org/wikipedia/commons/thumb/f/f7/Llamas%2C_Vernagt-Stausee%2C_Italy.jpg/1200px-Llamas%2C_Vernagt-Stausee%2C_Italy.jpg)
4
Re: [問卦] 中華民國沒有AI 已經提前出局 的八卦?: : 中國因為被封鎖,所以只能買H20 : 但是可以把第四等的H20打造出一流的AI : : 反觀中華民國沒有被封鎖,卻連第四等的H20都不知道該怎麼用2
[問卦] 台灣沒有ai的前端發展是不是沒有電啊?想一想 也是真奇怪 全世界的ai工廠 ai的基礎都在台灣 而且我們跟 nvda這麼好