PTT評價

Re: [請益] 為什麼有人說AI會讓資工人失去工作?

看板Tech_Job標題Re: [請益] 為什麼有人說AI會讓資工人失去工作?作者
sxy67230
(charlesgg)
時間推噓10 推:14 噓:4 →:56

※ 引述《csie68 (小春子)》之銘言:
: AI可能會取代"人力"
: 一些基礎的工作 就像現在的電動車
: 但不可能取代"人類"
: 因為沒有電 AI就無法運作 拔掉插頭 它能做甚麼?
: 所以結論
: AI會取代資工人嗎?
: 答案是 不會
: 因為資工系 是人 不是電腦
: 無論AI發展得多好 都無法取代人
: 因為他就不是人 怎麼取代?
: ※ 引述《xa56 (枒)》之銘言:
: : 東西會越來越進步啊
: : 只能說未來只有像設備工程師
: : 這種黑手而且一個當好幾個人用的
: : 才能活下去吧
: : 製程類的都可以靠ai了
: : 只剩改機修機這種雜活暫時沒人可以處理

阿肥外商碼農阿肥啦!

我只能說當前甚至往後十幾年都很難完全取代,除非真正的AGI實現了,那取代的可能不止資工人,而是整個人類社會了,想想看AGI都有人類智慧了,那鎖螺絲、自己修理自己或是檢測同類機器人都是很簡單的,那幹嘛還找人類黑手?

先說說像GPT-4即便是大成功的當下,很多企業要復現這樣的模型難度也是跟登天一樣
,整個複雜系統工程是OPENAI在標榜GPT-4可scalable的基礎,這邊說說Meta(Facebook)其實之前有實現開源的GPT-3,光是訓練重啟就花了整整五十次,其中有各種像顯卡崩潰、loss跑飛等等,這些都是需要建構好的基礎系統跟對於複雜系統的開發維護才能解決,不是說很輕鬆的事情。

https://i.imgur.com/pLsUJnR.jpg


這邊在說說這張圖,這是ICLR 2020的一篇Paper,充分說明當前DL的難點,這邊data A跟data B有一條藍色的部分是local minimum ,而白色星星移動點是模型初始值到鞍點,可以發現到隨機起始雖然都能始模型到達一定的低點也就是一定的精度,但是內部神經節點的激活功能卻完全不同,這也充分解釋了為什麼神經網路的解釋性那麼差,而且隨著參數量越來越複雜,可解釋就成比例下降,最近OpenAI拿GPT-4來解釋神經節點也發現這種現象,有些神經網路節點看似有對一些抽象概念激活可以解釋,但是有些連人都很難理解他激活了哪些概念。

而且當數據分佈發生變化,內部不變性也會改變,雖然說最近有一些研究認為現實世界的結構是共享低複雜高結構化的所以也間接證明爲什麼GPT-4可以處理很多一般性的問題,但是我們還是發現他對於高複雜度的問題像是數學等依舊是蠻差的,也剛好驗證了這類大語言模型更偏好kolmogorov複雜度低的預測,而他也確實學習到了其中的歸納偏置。

最後一點,就是當前基本上所有的模型都是基於類貝葉斯歸納原則的,若是要從哲學上探究勢必要挑戰卡爾波普爾奠定科學非歸納的認知論,否則要模型取代一門科學學科跟研究都是不可能的,尤其是模型在面對Out of distribution 的問題時當前基於梯度的反向傳播本質上是無解的,也就是為什麼我之前會說要完全取代資工/工程師很困難,最多是讓工程師未來不需要一行一行寫code僅需掌握一些抽象概念然後給模型優化方向跟目標來進行程式撰寫,而且撰寫程式的複雜度也會隨著越抽象門檻越來越高,因為你必須搞懂什麼樣的優化方向而不是顯式開發。

除非未來真的出現更好的學習算法或是我們真的完全可以復刻大腦,不然真的要離AGI還差很遠的,也就是LeCun說得當前深度學習還缺少世界模型、Hinton一直想找到能取代反向傳播跟梯度下降的新的學習算法的原因。但即使是這樣LLM也確實充分展現了他跟人類完全不同的強大力量,只是他現在甚至未來十年都仍需要依附人類之上。

以上

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.45.8.61 (臺灣)
PTT 網址
※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 01:22:44

a27417332 06/04 01:42推推

※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 01:47:29

holebro 06/04 02:07學到了

ggggggh 06/04 02:56好奇問問。一台會鎖螺絲的機器要多少錢啊?

這邊是假設AGI真的實現,那他不是只有會鎖螺絲,就像人類能自我急救、急救他人一樣 ,那就不是一台專門鎖螺絲的機器,他可以做任何任務包含知道自己哪個部位受損該如何 自救。AGI實現的話,人類社會就不需要存在了,那才是真正的大問題。只是當前人類離 這個階段還很遠,當前所有深度學習模型只是基於歸納式的模型,那就必須依附在人類之 上。

※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 07:48:33

yudofu 06/04 08:50以螺絲來說現在早就已經可以自動給螺絲自動電腦視覺

yudofu 06/04 08:50對位自動鎖螺絲加扭力控制了,不用的原因是人比較便

yudofu 06/04 08:50宜,在中國請個OP打螺絲底薪三千加班後五千又乖又聽

yudofu 06/04 08:50話,不是高毛利跟高良率產業或者少子化找不到人幹,

yudofu 06/04 08:50什麼都導機器人導AI而沒有實際為產品帶來對應的價值

yudofu 06/04 08:50提升最後的結果都是放棄,好不好很需不需要是兩回事

yudofu 06/04 08:50

yunf 06/04 09:16你講的都是很籠統的話

yunf 06/04 09:17很多機器手臂已經會互相修復和溝通了

yunf 06/04 09:17只是還有太多發展空間

pttnowash 06/04 09:18No 會說設備工程師難取代是因為背後的整套機制

pttnowash 06/04 09:19不是單純某個動作 根本沒看到重點

pttnowash 06/04 09:20譬如換機油 如何製造取得/如何運送到機器旁?

pttnowash 06/04 09:21如何獲得最原始的各種原料?

yunf 06/04 09:21這些都可以流程化 可以被流程化就有機會程式化

yunf 06/04 09:22小朋友言論 =.=

pttnowash 06/04 09:22在強尼戴普電影全面進化transcendence則有強調

yunf 06/04 09:23有什麼原物料是無法流程劃取得的嗎?

pttnowash 06/04 09:23超級AI如何解決原料取得跟安裝運送的問題

yunf 06/04 09:24哪裡有問題都是用電

yunf 06/04 09:24之後是核融合

yunf 06/04 09:25你真的認為非核會成真嗎?

yunf 06/04 09:25AI認知中的環境是人類認知中的環境嗎?

chocopie 06/04 09:27唯一最適合全面取代人工的是上太空,

chocopie 06/04 09:27在月球鎖螺絲、在水星挖礦之類的。

yunf 06/04 09:28小朋友你提出來的東西都經不起考驗喔!

pttnowash 06/04 09:41可以先進到這種水準的AI 就可以消滅人類了啦

pttnowash 06/04 09:42你才在哪唬爛 光講甚麼可以解決 你馬上做啊只會放屁

pttano 06/04 09:57ZZzzzzzzzzz

kappaisshit 06/04 12:17你講的好複雜喔講簡單一點是什麼

DrTech 06/04 13:42拿過時paper當專業? 怎麼不拿LLaMA的paper 來說其

DrTech 06/04 13:42實現在大家訓練GPT-3以上的能力根本超容易。

DrTech 06/04 13:44一看就知道你不是在做NLP與LLM在亂發文啦,現況根本

DrTech 06/04 13:44不是這樣。

DrTech 06/04 13:482023年,現在很多Open source要訓練超越GPT-3 的能

DrTech 06/04 13:48力,本跟超簡單好嗎。

所以LLaMa有GPT-4的參數量跟性能嗎?我這邊前面提到的就是OpenAI自己公佈他們訓練GP T-4的可scalable 的工程化細節,這個放眼到現在要復現跟GPT-4一樣參數的跟scalable 能力,依然是不容易的事情。然後這邊是拿完全復刻GPT-3的OPT-3來做對比,利基點要一 樣才能做比對,然後深度學習可解釋的問題在2023的今天這篇2020的Paper基礎學習算法 依舊沒有改變所以依然有效,光是今年4月就有相關研究在研究一些學習有效性問題也發 現GPT-2、GPT-3更傾向低複雜度建模了,建議DrTech先看清楚文章脈絡再回覆喔。 P.S. 過時的文章不代表完全無用,要看中間有多少翻新的成果,當然對於基礎學習算法 的研究很多都要隔幾年才出現一篇,這類基礎學理當前還是很薄弱的。

※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 14:44:02

DrTech 06/04 15:13你跳針耶,你拿的論文是GPT-3等級的。

DrTech 06/04 15:15LLaMA有沒有GPT-4的性能,也要看細節,有fine-tune

DrTech 06/04 15:15的,特定任務,可以贏沒有特地fine-tune的GPT-4也很

DrTech 06/04 15:15正常。

DrTech 06/04 15:16至於你在扯GPT-4參數? Open AI根本沒公布參數量,

DrTech 06/04 15:16你怎麼知道,你在瞎掰什麼。

DrTech 06/04 15:17歡迎拿論文或參考資料來佐證,而不是引用一篇paper

DrTech 06/04 15:17後,2成對,八成內容在瞎掰。

DrTech 06/04 15:21請教一下,哪篇論文或網址,有透漏GPT-4的參數量與

DrTech 06/04 15:21訓練細節的? 歡迎站內信給我學習,我是從來沒看過

DrTech 06/04 15:21

DrTech 06/04 15:26你的文章都不錯,看得出來一定的專業。難得此版有專

DrTech 06/04 15:26業的人願意發文。如有什麼誤解,也歡迎站內信給我些

DrTech 06/04 15:26指導。

我覺得你有點誤會了,這邊是兩個問題分開說明的。 GPT-4是沒有公佈他的具體訓練細節跟參數,只能知道跟GPT-3差不多可能更大。可以看一 下GPT-4 report第三頁還是第四頁他們有討論到他們整體系統已經經過優化能做到從小模 型直接推估出最終大模型的loss這點就算是你直接拿開源Llama 訓練都很難復現GPT-4的 工程能力,我的第一個問題回覆是指撇開模型效能不管來探討純粹工程複雜度,當然Llam a用1/10不到達到相應的效果是很好的,但是考量到未來萬一有想復現甚至把羊駝家族提 升到對應參數量那第一個問題就是要怎麼弄出跟OpenAI一樣的系統確保訓練穩定這件事, 所以我才會說是不容易的,不是要拿來說Llama云云之類的。 然後第二個問題關於學習算法問題可解釋的研究當前最多就是只有研究到GPT-2到GPT-3從 一些線索來推估GPT-4甚至整體LLM的可解釋問題,我覺得用這篇論文來說明沒什麼問題, 而且隨著模型更複雜反而會更難解釋模型到底學到了什麼的問題,所以當前的研究包含Op enAI他們自己的研究都不會考慮拿最複雜的研究而是從比較好下手實驗的模型來推估隨著 參數增加模型的變化並且預測到GPT-4也會有相應的可解釋性。 主要是我想表述的有點多又比較雜,造成誤會就先說抱歉。 這邊附註一下,我這邊其實是想說明的是我為什麼覺得當前模型很難完全取代資工人,從 訓練來看降低工程複雜度是還有辦法提升的,這需要有資工背景,而從可解釋性來看,當 前算法很難有一個我們訓練好就可以解決全部問題的模型,所以最終還是需要搭配各種系 統包含顯式Coding來解決模型不足。

※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:23:54

gino0717 06/04 16:10南無阿彌陀佛

※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:44:02

saygogo 06/04 19:58人力資源的取代是漸進的,一樣的工作成果,從10個人

saygogo 06/04 19:58漸進到5個人再到2個人

nanpolend 06/04 20:28ai其實很燒錢搞不好用人才比較便宜

nikolas 06/04 20:40用做產品角度來 沒有人會做出符合全部市場的功能

nikolas 06/04 20:41根本不切實際 一定是漸進式先小規模再慢慢擴大應用

nikolas 06/04 20:42所以當然不可能完全取代資工人

weitin7011 06/05 08:34好喔 你覺得不會就不會吧

jones2011 06/05 09:20在火星上使用遙控開車的技術不知道多久了

jones2011 06/05 09:21那請問你現在出門也用遙控方式開車嗎

jones2011 06/05 09:22為啥不會的理由,跟這個問題的理由一樣

jones2011 06/05 09:27有些機密,是因為在人的腦袋內所以才是機密

jones2011 06/05 09:28只要讓AI學會,就跟公開讓人查閱也相距不遠了

jones2011 06/05 09:41而就成本來說,當前用人來執行相關工作更便宜

Jacob975 06/06 15:41我覺得樓主sxy講的很棒,因為能夠用正確的數學佐證

Jacob975 06/06 15:41自己的主張。被許多人質疑是一件好事,代表有許多人

Jacob975 06/06 15:41看到你的意見,但是也請不要過度放在心上,畢竟有

Jacob975 06/06 15:41些人,嘴上講得好AI,但可能連crossentropy是什麼

Jacob975 06/06 15:41都解釋不來。

haha248787 06/06 19:31推樓上還有樓主

acininder 06/07 11:13笑死 拿一堆術語拼起來唬唬人還行