PTT評價

[心得] 舊手機也能輕鬆的跑本地生成式AI模型！

k9120303 發表於 2025/5/3 上午1:14:14
看板MobileComm標題[心得] 舊手機也能輕鬆的跑本地生成式AI模型！作者
k9120303
 (月昇王國)時間推噓36 推:36 噓:0 →:17

AI揭露：本文有部分段落使用ChatGPT生成，再經筆者潤稿，若有錯誤請再告知。

小弟現在使用的是五年前的舊手機 VIVO iQOO Neo3（12GB+128GB），高通驍龍865，
今天主要是要介紹兩個開源AI APP，讓舊手機也能輕鬆在本地佈署AI模型，無需連網！


1. PocketPal AI

https://github.com/a-ghorbani/pocketpal-ai

PocketPal AI 是一款專為 Android 裝置設計的離線 AI 助手應用程式，
支援載入 GGUF 格式的小型語言模型（SLMs），如 Qwen、Gemma、Phi 等，
讓使用者在無網路連線的情況下也能與 AI 互動。
所有推理運算皆在本機執行，確保資料隱私。
應用程式提供模型下載、切換、性能測試、個性化 AI 助手（Pals）等功能，
並可透過 Hugging Face 直接搜尋與管理模型，適合開發者與 AI 愛好者使用。

這邊推薦使用Q8量化過的Google Gemma 3 1B，
繁體中文使用友善，是個人覺得最聰明的小語言模型，沒有之一。

https://i.imgur.com/6CBwxJk.png


2. Stable Diffusion AI (SDAI)

https://github.com/ShiftHackZ/Stable-Diffusion-Android
（F-Droid上的SDAI FOSS版本沒有廣告）

SDAI是一款讓 Android 裝置可離線執行 Stable Diffusion 的應用程式。
支援完整原生 Python 環境與 Web UI，
可本地生成 AI 圖像，支援模型自訂與提示詞輸入。
最新版更整合 Microsoft ONNX Runtime（Beta），
可透過 ONNX 模型加速推論，提升效能與相容性，
讓用戶在手機上體驗 AI 圖像生成，無需依賴雲端或電腦。

發現這APP的時候滿驚豔的，有稍微研究過的人就知道，
圖像生成模型不只佈署上麻煩，更需要較強的算力（尤其很吃VRAM），
這APP直接幫你弄好8種環境，還有提供編譯過的ONNX模型供離線使用，非常友善！

https://i.imgur.com/CXEkqav.png

本篇僅是拋磚引玉，雖然距離實用性還有一段不小的距離，
但可以無限生成且不會被卡Prompt限制！也歡迎各位分享使用心得～

--

[問卦] 睡醒身上常有不知名的瘀青

→ ewjfd: 我家的香蕉放久也會這樣 你會不會是香蕉?12/12 02:20
你才是香蕉 你全家都香蕉

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.154.200 (臺灣)
※ PTT 網址
推

gaiaesque 05/03 01:52推

→

leopika 05/03 02:13所以這兩個不能潤稿嗎？最後還不是要用chatgpt

推

issemn 05/03 03:22可以畫色色圖嗎

可以XD

推

rei196 05/03 03:53簽名檔香蕉實在是太好笑XD

※ 編輯: k9120303 (42.72.15.201 臺灣), 05/03/2025 04:02:06
→

Ahhhhaaaa 05/03 05:30S865生成一張圖要不要五分鐘？

推

p40403 05/03 05:39可以通話翻譯嗎

推

Abababa 05/03 05:51幫助不少 謝大哥

推

athraugh 05/03 06:41先推，在研究看看

推

Ahhhhaaaa 05/03 06:578gen2生成一張圖要160秒 中途吃掉9GB記憶體

→

Ahhhhaaaa 05/03 06:58那用雲端生成不是比較好嗎?

推

gt99 05/03 07:03新知get
→

grantchiue 05/03 07:07可以取得google助理做一些操作手機的事情嗎

推

avans 05/03 07:52推心得與介紹

推

Jokering556605/03 08:21太好了 我的24g ram 8g3終於有用途了

推

f396761440 05/03 08:35推，心得分享

推

xoy 05/03 09:06心得推，有這種對照組才容易體現本地AI堆多少料會

→

xoy 05/03 09:06有多少的效果

推

pttlon 05/03 09:12感謝分享

推

Two4 05/03 10:13有趣推，有空來玩

推

kamir 05/03 10:45不用太期待速度

推

NX9999 05/03 11:04好東西!!推推

推

gaiaesque 05/03 11:05SDAI有人覺得哪個模組比較好用呢 如果只是要生成簡

→

gaiaesque 05/03 11:05潔的桌面?

推

p40403 05/03 11:088G2開始就有INT4，理論上會快一點

推

gaiaesque 05/03 11:21試了一下 用8gen3生成一張簡單的桌面 大概要兩分鐘

→

gaiaesque 05/03 11:22以上 手機會很明顯變熱 我覺得玩玩就好 如果真要找

→

gaiaesque 05/03 11:22桌面 那我還是自己去找現有的會比較快跟漂亮XD

推

grantchiue 05/03 11:24嘗試詢問它苗栗縣鄉鎮劃分，結果是錯的，另外詢問

→

grantchiue 05/03 11:24S24U的規格好像也回答錯，可能需要再改善

推

TPEcat 05/03 11:33有趣 推推

推

flyaway1030 05/03 11:38速度真的慢得可以 電腦大概2秒跑出來手機可能畫超

→

flyaway1030 05/03 11:38久

推

sid3 05/03 11:52謝謝分享

→

Ceferino 05/03 12:02一點也不輕鬆好嗎，之前就玩幾分鐘就砍了

推

Ahhhhaaaa 05/03 12:03stable diffusion可能手機arm要轉譯（？）

→

Ahhhhaaaa 05/03 12:03電腦一堆人用n卡a卡在玩

推

keigowei 05/03 13:03結論：還是連線跑各家AI就好 哈

→

DrTech 05/03 13:20一分錢，一分貨。這種小模型如果真的堪用，大家早就

→

DrTech 05/03 13:20拿來local用了。

→

DrTech 05/03 13:22真的堪用，NV早就倒了。

推

dias7812 05/03 13:40電腦好棒 但是你要那麼多桌布幹嘛- -?
推

asmiocv 05/03 14:10我電腦跑的模型都不怎麼樣了，手機再發展個10年吧

推

simplytony 05/03 15:01電腦跑本地模型我覺得至少14b等級 Q4量化才比較堪

→

simplytony 05/03 15:01用而已...手機的真的...

推

wujet09100 05/03 15:19感謝分享資訊 來去玩玩看1分鐘可以輸出幾個字哈哈

→

wujet09100 05/03 15:19哈

推

Yuwuen 05/03 17:09感謝分享

推

kanding255 05/03 19:15色圖 阿斯

推

Baternest 05/03 20:28跑本地AI都是玩玩而已 效能不夠頂實用性很低的

推

Louis430 05/03 20:48電腦沒比手機鳥的就不用試了 特定場景外沒有多方便

推

melic 05/03 20:57s865是Adreno 650(587MHz)，大概等於電腦哪張顯卡？

推

rickphyman4205/04 00:28推

推

Anal 05/04 14:49推
其他人也閱讀了
PTT 熱門相關
MobileComm最新熱門推薦
🔥🔥🔥