PTT評價

Re: [新聞] 蘋果積極徵才開發生成式AI 力拚整合到iPh

看板Stock標題Re: [新聞] 蘋果積極徵才開發生成式AI 力拚整合到iPh作者
waitrop
(嘴砲無雙)
時間推噓 1 推:2 噓:1 →:4

閒聊,
on-device inference 的產品很多,
簡單說就是 edge computing,
已經出來快十年了,
像是最早的華為手機NPU,
Google Pixel Tensor,
高通跟蘋果也有 edge AI chip,
基本上,
現在手機很多應用早就已經在使用這顆 edge AI chip

只是現在要把LLM/Generative AI 套用在這顆edge chip 上面,
那就是一個全新的應用領域,
我個人認為在這塊上面,
硬體廠(華為高通等)沒有優勢,
因為這塊是系統尤其是OS/Compiler/Tools 的整合,
還有如何與上層的應用軟體連結,
說穿了又是安桌跟iOS的競爭,
跟硬體開發反而關係不大


※ 引述《LDPC (Channel Coding)》之銘言:
: 蘋果這條路線跟高通一樣 就是on-device inference
: 高通之前示範過了 https://www.ithome.com/0/675/490.htm
: 自從Meta開源LLaMa後 ( https://developer.aliyun.com/article/1263631 )
: 許多開源社區開發者 像是Georgi 都有在針對蘋果晶片做C語言的inference
: 甚至縮小化 ( https://www.163.com/dy/article/IADUN0LG0511AQHO.html )
: LLM在手機上on-device變得可能 商用目標會取代siri和alexi/google home這類應用場景: 個人很悲觀地認為Q家的晶片真的在這波比蘋果手機晶片去跑LLama還難用 之前看到情況: 有人抱怨Q社的NPU跑些on-device架構 還不如直接在CPU上跑 因此蘋果可能在on-device: LLM/Generative AI 有機會靠者硬體特有架構 (諸如unified memory)
: 吃掉on-device inference市場 但目前還不了解蘋果會在手機平台如何打造這些硬體架構: 或許當IPad不用雲端就跑出Adobe Firefly效果時 就能吃到另一波生成式AI生產工具紅利: ※ 引述《DarkMore27 (四平街的美味湯包)》之銘言:
: : 經濟日報 編譯洪啟原/綜合外電
: : 2023/08/06 19:26
: : 美國消費電子巨擘蘋果(Apple)正大舉招募生成式人工智慧(AI)專業人才,野心勃勃地要把生成式AI功能整合到旗下的iPhone和iPad等行動裝置上,讓用戶在彈指之間執行相關功能、而非要等雲端回應,企圖顛覆生成式AI體驗。
: : 英國金融時報(FT)報導,蘋果位於加州、西雅圖、巴黎及北京等地的辦公室正在招募數十名人才,將研究自家大型語言模型(LLM),所有徵才廣告投放時間集中在4~7月,顯示蘋果正在從事「將影響蘋果的未來與其產品的多項雄心勃勃長期研究計畫」。
: : 報導指出,蘋果的機器智慧與神經設計(MIND)等多個團隊都正招募研究員和工程師,工作包括巴黎實驗室的LLM基礎研究,以及壓縮既有語言模型,以利在行動裝置高效運作、而非雲端。
: : 蘋果的招才廣告顯示,蘋果力拚專門在行動裝置上運作LLM這類尖端技術,儘管蘋果的競爭對手都還沒解決相關的巨大技術障礙,但這攸關蘋果的設備銷售及相關服務等核心業務。蘋果執行長庫克日前形容AI和機器學習,是「與蘋果幾乎每項產品密不可分的核心與基礎技術」。
: : 例如,蘋果的一則徵才廣告徵求能在「我們裝置推論引擎執行壓縮並加速LLM的功能」,意指在行動裝置上的行動運作、而非網路。另一則7月28日刊登的廣告則希望「把最新的基礎模型帶到口袋裡的手機內,以保護隱私的方式達成下一代的機器學習基礎體驗」。
: : 獨立研究人員暨網路安全顧問歐雷尼克認為,蘋果的短期目標是在既有產品整合生成式AI功能,立刻提高裝置生產力與效用,在行動裝置運作AI的隱私保護效益較大。
: : 心得/評論:
: : 如果蘋果的目標是直接在行動裝置運作AI,而不是透過雲端運算,那蘋果的AI會需要很多AI伺服器嗎?

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國)
PTT 網址

quartics 08/07 08:45別亂說,跑LLM跟一般的edge差很多,要直接在行動裝

quartics 08/07 08:45置跑LLM難度不小

tctv2002 08/07 08:49只要散熱可以處理好 在行動裝置上跑是沒有問題的

tctv2002 08/07 08:49 怎麼可能跟硬體沒關係 散熱噴噴

kanx 08/07 08:50一般edge/NPU晶片目前正百家爭鳴 Kneron 不知道

kanx 08/07 08:50會不會後悔沒有在這一波趁機上市IPO 一下

doubi 08/07 09:04華為8月底會釋出AIGC小藝,可離線運作