Re: [請益] AI到底是遇到什麼問題？
※ 引述《neo5277 (I am an agent of chaos)》之銘言：
: 雖然這版是投資版，但是我覺得技術問題，還是先跟投資切開來比較好一點。
技術跟應用場景的問題我不談，之前的人已經談過了，大致上沒有問題。
不同領域的人可能體驗不太一樣，但LLM普及的程度並沒有這麼低，具體而言，主要是 ChatGPT ，在部分領域已經是不可或缺的必要工具，到了掛掉會影響到正常工作或不能工作的程度。
首先是 coding，就我而言，至少有50%的程式碼已經是由 ChatGPT 完成的，遇到 bug 我幾乎沒有再用 Google 或是 stackoverflow ，log 直接丟進 ChatGPT , 大部分情況下它都能大幅減少我的工作時間。
除了遇到有關於 pydantic 的問題，因為這個 module 最近出了V2，模型的回答經常會混合V1的答案，而且傻傻分不清楚，在之前舊的沒有納入 pydantic 的版本時，這問題更為嚴重，必須要自己先提供文件用RAG 讓它知道。
但是就我實際的觀察周邊的人，發現LLM 對於低階的工程師，高階的工程師的幫助個別顯著，但是對於中階工程師而且有使用上的困難。
低階的工程師處理的是低階的問題，本來基礎就不好，LLM本身的能力就能超越這些低階工程師。
高階工程師的能精準的知道自己需要的是什麼，哪些部分可以透過LLM來做比較快，那些自己來做比較不會出錯。懂得如何 prompting ，做問題拆解，所以也能很好的利用到LLM的好處。
而中階工程師就會卡在不上不下的狀況，低階的工作可以自己處理，但是有時候要處理高階工作時不知道要怎麼問LLM，不曉得怎麼做問題拆解，不知道怎麼為 LLM 的回答加入 constraints，那LLM的回答就經常不會是自己想要的答案，甚至是會繞遠路，簡單來講，就是不會發問，因為處理高階問題時，問出正確的問題，提供正確的限制式很重要。
我舉例來說，我自己做RAG的系統，很多人問問題的方式不是在問問題，而是提供幾個關鍵字，當作搜尋引擎在用，那回答的品質當然不好，這也是為什麼 OpenAI 還要做 SearchGPT 的原因之一。
同樣的狀況，也會發生在其他會大量使用到 LLM 的領域上面，必須學術研究。
我不相信現在還有大學生研究生不用 ChatGPT 的，但是但是它肯定也是只能對高階跟低階用戶比較有用，中階用戶因為不懂得問題拆解以及提問技巧，得到的有可能是無法讓人滿意，甚至可能是抄襲出來，虛構的答案，而這些是中階用戶很難判斷的。
LLM具體應用的場景絕對已經深入到某些領域而且已經無法回頭了。
現在的問題是為了持續擴大這個領域，各家公司必須持續軍備競賽，所以成本居高不下。
使用單位大量缺乏問題拆解能力以及提問能力的人無法滲透，即便現在有透過 multiagent 的技術試圖讓LLM能自己做問題拆解，但LLM的大局觀仍遠不如人類。
其實這就有點類似圍棋之前的狀況，LLM善於最後的收官階段，卻沒有大局觀不擅長整體布局，直到 AlphaGo 出現之後達到技術突破。
AIPC是各家CPU公司試圖讓自己從NVIDIA 沒有多少投入的 To C市場突破的一個行銷方式，我仍稱這種是行銷方式是我認為 CPU ＋ NPU 這種應用在PC上面除了拿來做指紋辨識，臉部辨識，這種通用應用以外，To C的NPU場景還沒有那種我不得不用，不用會完蛋的那種應用。
而這種應用在NVIDIA的To B場景下已經有很多了。
如果OpenAI減緩研發腳步，停止讓LLM普及化的燒錢，專注於特定領域的應用，肯定可以很快的改善獲利，問題是這不是一個可以停下來的情況，誰能達到下一個階段的突破，誰就能吃下整個市場。
所以我認為不是LLM應用場景不足，而是目前投入成本不但高，而且根本停不下來。
-----
Sent from JPTT on my Vivo V2124.
--
認同啊，軟體從業人員已經無法不用，產出速度和品
質都是數倍於以往。多的時間ㄏㄏㄏ
你說的情境 就是滿多人說的 99分的人會變得更有效率
30分的人會大躍進變70分 原本70分的人可能只變80分
推 強的或更能善加利用的會更有優勢 沒跟上的人自己
看著辦
認同 現在燒錢就是在搶先做出一個適合大眾使用的模
型 一旦成功所有市場都是一家獨吃
我看法相反欸 增加效率並不代表獲利增加
例如娛樂 廣告 或至於專利 因為實際上餅並不會爆發
性成長
AI真的有顯著助益反而是在專業領域 例如生技醫藥研
究
比較有機會帶來突破爆發的可能性
碼農效益增加對獲利沒什麼太大幫助 頂多可以多裁2個
省錢
就像掃描器 鍵盤 只是減少文員的雇用
辦公室行政人力下降
創造失業率 呵呵
不見得提高失業率，可能比較關於個人較有益。那麼就
是一種服務。那麼要花多少錢買這服務而已
原Po能否提幾個“高階”問題作為範例？
chatgpt就是幫你統整網路上資料的小幫手 實際上工
作的內容還是有很大一部分是需要自己發想的
程式設計開發 快真的很多 有些雜事的code 自己寫要
一兩個小時 丟給gpt 改一改 5分鐘內搞定
有站在從業人員角度看XD 產品要能賺大錢就是要跟智
慧型手機一樣 小到小朋友 大到阿公阿嬤都在用 你軟
體業從業人員全地球佔比才幾%
以這篇來說AI是個工具，這工具會用的人會覺得很好
用
我外國朋友開的軟體小公司被ai寫程式打敗了 幫QQ
文書處理 書信 美術 影片等也都可以處理..
對的時間炒股
目前工程師的市場成長，但其他就都還沒看到市場，
其他像ai可以替代部分客服問題，就不需要那麼多客
服人員
公司可以多裁幾個瑪農省錢而已，嘻嘻
以前可能要花一天時間寫的程式。現在有AI，可能只
需要一個小時
你講的是ai讓工程師失業了，不是ai怎麼賺錢
看起來AI讓部分工程師準備失業了==
投資人的問題是你花多少錢在ai上
問題是AI根本還賺不了錢，投入上千億美，連詐騙阿
祖的車尾燈都看不到
減少員工就是減少成本，24HR還不用勞基法不用各種
員工福利，獲利大提升
降低成本這件事就是一種效益
AI還沒帶來商業模式 但降低成本是正在發生的事
推
推這篇，碼農會覺得AI好用是因碼農本身熟悉使用方式
一般人覺得AI無用，是因一般人不熟悉使用方式
覺得有潛力的，自然會去學
碼農還是不要自稱工程師吧…工程師是幾百年前就有
的優秀職業。
高階問題範例：打造一個可用的ERP系統，我想建立一
個CRM平台…
越高階的問題越需要細部拆解成各種可以處理的子問題
聽起來是苦力型的程設人員可以多砍幾個…
但是成品售價不會因此拉高…？
我也是
對業績有幫助就兩個方向，一是創造高利潤產品，一
是降售價但大量銷售，這能做到哪個？
我文組 試用chatgpt 似乎是把網路上有的資料加以整
合 我比較把它看成是一個有整理的資料庫
平常人可以拿來查一些資料是很好用 但如果是學生/
研究員使用也好用嗎 機器給你是整合好的資料 至於
來龍去脈都不清楚 不會有心虛的感覺嗎
AI的用途不是只有chatgpt
研究員當然也很好用，因為他們問問題絕對跟菜鳥不一
樣
大家都想搶這塊餅自然競賽很兇
跟你老闆講 薪水付一半給你就好
搶得兇就算了，問題是老黃晶片更新有夠快
不更新又怕追不上，於是更燒錢
重演.com時代的困境
想不到會在股版看到pydantic 我也被這鬼東西搞過好
幾次
沒AI幣！算心酸的。
v1 v2不相容超靠北 但最慘的是 FastAPI 新版依賴v2
應該能造成降價，因為工程師可少聘，但工程師占成
本比例低，難大量降價。期待看到其他領域AI有大突
破...認識兩個頂博做AI開發應用 東西差異大 一般人
要駕馭這工具 可能沒這麼容易。
但是我們終究是少數人，不管事chatgpt或是gitcopilt
用爽爽，佔他現金流就是只有一點點，基金會或是2B
訂閱，就像買office或是IDE訂閱那樣不會有大的
繼續發展我是100%贊成，我不知道股東跟董事CEO
挺不挺得住~~
程式寫得好要飯要到老 這是以前戲謔的順口溜
把寫程式的過程變得更有效率 稱不上突破性的應用
如果你說的高階是指管理階層 LLM給一個預設值的框架
那確實是 但發生問題或要改新東西 管理階層肯定完蛋
高階問題是概念性問題需要細部拆解的問題
爆
首Po從OpenAI一年虧損50億新聞開始，整個市場就變成熊市。 到底現在AI技術是遇到什麼問題？ 前幾天，才說台積電產能已經看到2026年。現在全部科技股都跌。 應該是有什麼大問題出現吧！ --![[請益] AI到底是遇到什麼問題？](https://img.youtube.com/vi/tCYMeSgu2Es/mqdefault.jpg "[請益] AI到底是遇到什麼問題？")
36
AI工具很好用，現在寫報告或寫商業信函等需要修飾語言的事情都交給AI來處理 查資料也是先用AI抓個大概的方向或弄個大綱出來 我個人絕對相信AI會是未來非常重要而且會進入各領域的創新技術 但這裡講個醫藥領域的故事 2017年CAR-T這種治療技術上市的時候，可以說是轟動全世界醫療領域![Re: [請益] AI到底是遇到什麼問題？](https://i.imgur.com/zTvxJfeb.jpeg "Re: [請益] AI到底是遇到什麼問題？")
56
很簡單的答案 "目前"靠AI賺錢的商業模式很少 (可能copilot之類比較成功 但遠不如投資金額) 原因是技術問題 深度學習的可靠度天生不佳 可能90% 或是99% 但是就是不是100% 或是99.99%![Re: [請益] AI到底是遇到什麼問題？](https://cdn1.suno.ai/preview.jpg "Re: [請益] AI到底是遇到什麼問題？")
12
1970年根本也沒深度學習的概念 別說深度了，連網路架構都有很大的問題 其實現在AI早就充斥並且影響著大家生活 從停車場車牌辨識到L2 L3自駕 或是工業與晶圓製造和良率改善等等![Re: [請益] AI到底是遇到什麼問題？](https://img.youtube.com/vi/MQx6QPGBGgg/mqdefault.jpg "Re: [請益] AI到底是遇到什麼問題？")
11
不就跟大腸能一樣 有點年紀的，應該看過茂迪、合晶和中美晶的全盛時代 結果發展到後面，轉換率上不去 最近看新聞有衝到40%以上的，但是根本沒辦法量產商業應用 時間久了，大陸追上來，這個產業自然吃狗屎啦4
講幾個已經在財報或者ceo訪談上有提到的。 Bnp 用來做kyc跟反洗錢，其實我覺得這個蠻有料的，kyc跟洗防真的超耗費人力。但不知道效益 如何。 Jpm4
跟2000年的網路泡沫一模一樣，網路是不是好 東西？是不是帶來了革新？當然是。但是瘋狂 之後，最終還是要反應在盈利增長，AI可預 計是有革命性的,但盈利需要過程，當 泡沫推高到極限，盈利沒有跟上![Re: [請益] AI到底是遇到什麼問題？](https://img.youtube.com/vi/qPBWID0Pb8Q/mqdefault.jpg "Re: [請益] AI到底是遇到什麼問題？")
X
錢都給黃仁勳轉走了 其他人賺什麼？？？ 一直回台灣壓榨晶片產能 個人身價4兆台幣 還要全體ceo和你一起吃夜市....爆
尼如果拿費半七月中到現在落賽好幾波來看 這就跟AI關C沒到很直接惹 這樣講八 用鏟子角度跟軍備競賽角度看AI問題 那都沒看到關鍵![Re: [請益] AI到底是遇到什麼問題？](https://cdn.cryptocity.tw/upload/pTv1XJN0UPe2FR33rVe_v.png "Re: [請益] AI到底是遇到什麼問題？")
AI沒有問題，也不會泡沫，更是未來的趨勢 所謂的有問題是AI類股的股價有問題 股價拉太高 簡單的說，未來AI產業絕對會發展，但只能賺10塊錢 然而現在卻把AI吹得能賺50、60塊錢
73
Re: [標的] NVDA/AMD 討論 多哪隻人類離變成電池之日越來越近了QQ 這邊是一個openai的demo整理 稍微細拆一下上面的demo一些隱藏意義 誠如之前所說的2023 Text-Based GPT4出現後 業界就直接看到戰場要往多模態拚殺 多模態意思就是餵給這些LLM模型從文字理解世界![Re: [標的] NVDA/AMD 討論 多哪隻](https://img.youtube.com/vi/VP2-8jIurUE/mqdefault.jpg "Re: [標的] NVDA/AMD 討論 多哪隻")
52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司，非學術單位， 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過，還是沒足夠能力與資源訓練正常的LLM。![Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套](https://i.imgur.com/s6MWLNmb.png "Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套")
44
[情報] 蘋果會將生成式AI帶入其生態體系嗎?【新聞/情報來源】 原網址： 短網址： 【新聞/情報內容】(國外文章請附上簡單翻譯) 微軟已經宣布與ChatGPT達成協議，將其生成式AI內建到其搜尋引擎Bing中。至於谷歌，![[情報] 蘋果會將生成式AI帶入其生態體系嗎?](https://iknow.stpi.narl.org.tw/Post/Figures/2023/analysis/analysis_15963_20230214.png "[情報] 蘋果會將生成式AI帶入其生態體系嗎?")
20
Re: [討論] ChatGPT的思維是甚麼?阿肥外商碼農阿肥啦！ 剛好看到這篇文章就回覆一下，這次大型語言模型(LLM)表現出來的是語言模型的湧現能 力，我其實不贊同LeCun說的LLM是歪路，畢竟雖然我們可以直覺知道加大網路連接數可能 是實踐人類大腦的一個重要步驟(畢竟人腦的連結數量跟複雜性在生物醫學上都有驗證)， 但科學上不去驗證你沒辦法證明某些事情的。8
Re: [新聞] 馬斯克談特斯拉降價：如果我們價格和TOYO在經濟下行情況 Musk必須負責他之前的策略錯誤 在2020年Musk勾畫了一款低於25000價位 低階車款 但這塊推遲沒執行 也就是Musk一直把自家車定位還是鎖定在中高階價位族群 這件事情在現在這一年回過頭來看 是個超級致命的決策失誤 (更正:根據某大大訊息 此部分非Musk決策錯誤 而是現實不允許 ) 在4~5萬美金電車價位下 願意買ModelY/3消費者早就都買電車了![Re: [新聞] 馬斯克談特斯拉降價：如果我們價格和TOYO](https://pic1.zhimg.com/v2-59477c636a9a92246f4aaa2a11d67071_l.jpg?source=172ae18b "Re: [新聞] 馬斯克談特斯拉降價：如果我們價格和TOYO")
6
Re: [問卦] ChatGPT改變了什麼行為模式？行? : : 業都發揮著重要作用，對許多人的生活產生了深遠影響。我想請問各位前輩，究竟Ch at : : T改變了哪些行為模式呢？ : : 希望大家能分享一些寶貴的經驗和看法，讓我對ChatGPT及其對社會行為模式的影響![Re: [問卦] ChatGPT改變了什麼行為模式？](https://img.youtube.com/vi/Q_pH-dhU8QM/mqdefault.jpg "Re: [問卦] ChatGPT改變了什麼行為模式？")
5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論： 發展本土化，繁體中文LLM模型，然後期待這個模型能讓大家使用，根本是錯誤方向。不知道這些專家學者，是在騙經費，還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋，搜到"台灣是中國的"，或任何有政治偏見的相關文章。 你會不會覺得Google很爛？3
Re: [問卦] ChatGpt為什麼開始變笨了？正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他？ 於是七月就有一篇論文在討論這件事![Re: [問卦] ChatGpt為什麼開始變笨了？](https://static.arxiv.org/static/browse/0.3.4/images/arxiv-logo-fb.png "Re: [問卦] ChatGpt為什麼開始變笨了？")
1
Re: [黑特] 誰決定推出的智障機器人？藍 : 後面那些更噁心的我就不貼了 : ----- : Sent from JPTT on my iPhone 這邊說一下目前業界在部署整套LLM服務的工程。![Re: [黑特] 誰決定推出的智障機器人？](https://i.imgur.com/ZkcnrFob.jpeg "Re: [黑特] 誰決定推出的智障機器人？")
Re: [請益] AI伺服器成本分析——記憶體是最大的輸家請容我搬運一篇對岸知乎的文章, 這是一篇非常長的文章,其中大部分片段與本文無直接關聯,而且是2023/02寫的. 我只搬運本串相關的記憶體的部分,還有尾部的結論.且未修飾原文用字 詳細的有興趣請直接去原網址看吧. ChatGPT背後的經濟賬![Re: [請益] AI伺服器成本分析——記憶體是最大的輸家](https://picx.zhimg.com/v2-f6c2a117d2575f6cd3b85af859ad7f20_l.jpg?source=172ae18b "Re: [請益] AI伺服器成本分析——記憶體是最大的輸家")