Re: [請益] 成為 AI 工程師的進修方向(代po)
※ 引述《techniclaire (齁齁)》之銘言:
: (本文作者無帳號,協助代po ^ ^~)
: 前文少po段落就送出,因手機一直無法編輯,所以刪文重發QQ
: 大家好,
: 小弟目前在台北某傳產擔任數據分析師,學歷是國立統計所,碩論是做 ML 演算法改良(沒投期刊,我覺得是垃圾),碩班期間有自修 DL。
: 希望能用 DL 找工作,主力程式為 Python。
: 目前剛進去公司半年多,主要負責影像辨識的專案,內容是用 Yolo 進行 real time 的瑕疵檢測,專案目前也已經上線了,因此算是有一些實務經驗。
: 看了蠻多 ptt 上的文,對目前 AI/DL 工作的現況總結如下:
: - 做 DL 的人已經爛大街了,幾乎每個實驗室都在做 AI
: - 想做演算法 / 模型開發的話至少要念到博士
: - 基礎資工能力非常重要,沒人要只會 DL 的人
: - 刷 Leetcode
: 考慮以上、總結目前目標是成為一個「能將現有較新的 DL 方法應用在公司產品上」的工程師,希望將來能到聯發科、瑞昱等一線 IC 設計公司工作。
: 目前我想到的進修方向如下:
: - 持續關注 AI/DL 的發展,了解現在的趨勢,並且參加一些像是T-brain、Kaggle 之類的比賽。
: - 修李宏毅老師的 ML 相關課程,我這學期有跟著寫一些 ML 作業,覺得自己的 Pytorch 熟悉度有提高很多
: - 學 C++ (主要是看到如果模型要應用的話還是得用到 C++,而且有些模型像是 Yolo 也是用 C++ 寫的)
: - 把資料結構及演算法學好,刷 Leetcode
: - 做一個深度學習專案,例如把 Yolo 模型遷入到手機中
: - 增進英文能力,方便吸收國外資源及看論文的速度,有沒有推薦內向人的英文口說學習資料或是補習班。
: - 其他,例如增進簡報能力
: 想請問各位先進,我目前的想法有需要調整的地方嗎(or 打掉重練qq)
本人工作6年多
目前經歷的兩份工作都跟ML相關(預測相關)
依照本人的經驗 我會建議兩個可能的方向
其他方向或許也有機會 不過我不太熟就不發表意見了
(1) 認真打 kaggle
假設你可以長期都可以solo拿到銀牌 (可能每天二三個小時)
(金牌需要非常多的時間,運算資源,運氣 很難強求)
尤其是不參考別人 我覺得都有相當的能力
依照我的了解 台灣真的kaggle打得好的人其實很少
而且不少公司都在找這些人
這些人有相當的市場價值
本人雖然已經非常久沒有打kaggle了
但我覺得打kaggle的人有一些特質
第一是他們會減少一些信仰, 讓結果說話
相對於沒經驗的人 他們可能會更小心的設計 validation set
並且跑過相當次數 驗證 validation set / test set 進步的一致性
正常人可能隨便就選了 n-fold cv / train-validation 的架構
然後就開始grid search hyperparameter
然後有一些感覺上很有道理 (paper上哪個模型比哪個模型好, 一些很直覺的feature)
但實際上卻不怎麼work的事情 會接二連三的發生
一些小到讓人覺得微不足道卻影響最後的事情 也會接二連三的發生
因為每幾個月就換一次比賽 你內心可能就會改變各種方法的信心度
書本上教的A方法 信心度可能從95% -> 60%
討論區看到讓人半信半疑的方法 信心度可能從40% -> 80%
所以對於大部分的問題 你會有一個武器庫
從信心度最高的一個一個試
另外因為資料會有些微的不一樣
所以每次你可能要快速地想 benchmark 跟 處理一些雜事
我覺得這個過程大概可以到你打完一個比賽覺得自己什麼都沒有學到就差不多了
(2) 找一些結果相當容易量化的 project 來做
結果相當容易量化的通常都是只target明確 比較不是偏 unsupervised 的題目
盡可能的讓target的成效變好
比如 預測台股 扣除掉模型的差距
你可以學習如何爬資料(三大法人, 期貨, 分點, 財報)
你會長期覺得現在是試新資料比較重要還是新模型比較重要
如果你能把預測變成交易策略 搞不好還可以發財(?
這樣別人在問你project的時候 才可以讓面試官覺得你可以把一個題目做到很深
不會一下就卡住了
我自己覺得這兩個方向的人都蠻吸引人的
以我自己的感覺來說(主觀)
這樣的能力 會比用套件跑了某個結果 然後呈現在某個app或者網頁上的人吸引人
-------------------------------------------------------------------
總之大概就是
(1) 增加自己的武器庫
(2) 增加自己打雜的能力
(有些人遇到pandas,sklearn,tensorflow,lightgbm某個bug就要處理一個禮拜
如果你只要幾天就可以有一樣的結果(可能都是放棄) 你就是前者幾倍的效率)
(3) 其實ML(AI)各領域還是差蠻多的 廣告競標, 推薦系統, 視覺, 聽覺,
低頻交易, 高頻交易, 雖然不能說隔行如隔山, 但我覺得跳領域可能有種10年經驗
變成3年的感覺,所以如果有喜歡的領域 就盡量從相關的題目做吧
最後 祝好運
--
寫self-supervised 比較對,unsupervised是指data
我不是cv出生的 不過單看 shorturl.at/kmEK4 來說
self-supervised learning似乎是unsupervised learning
的子集合 不過我要講的是有些paper會建立某種機率模型
然後找最大likelihood的參數 在用參數或分類結果講一些
故事 我個人認為這一類的研究是相對難應用在業界上
也很難做得很深
台股預測超準以後就不用上班了(誤)
推!!!
推
我覺得找工作還是看background knowledge比較多,建模的
能力強到人家願意讓你跨領域不太容易
洞洞版可以串出來的東西很多剩下就是用勇氣補足這樣
謝謝分享
優文推,一樓搞錯了啦
強
推
推
推
現實有上線的產品,其實重點都不在 kaggle 或是debug工具
程式。 你根本沒有 kaggle漂亮的資料。
我都很怕遇到發論文強,或者比賽強,到真實世界,卻只剩各
種技巧的人。
看要找什麼level的人啊 還真沒聽過有kaggle成績背書會變
成一種包袱
實務上就是面試時,我說我都自組團打kaggle耶
面試官:喔
並不是說不加分,不過實務上真的看公司了&面試官了
我會說還要五年。等我們這批人有辦法爬上那個位置
kaggle的資料近幾年也"不乾淨"了啦XD 光清理資料
就是競賽流程之一
其實大大們說的都對,就是現實世界各種還沒跟上潮流
或者是說,每個拿著片段的偏誤,就認定原來就是這樣
就會變成很可惜。就都是工具,能善用都是能打仗
在entry or jr level,要看的就是對模型等知識的了解程度
kaggle裡的已經很hands on projects了 很好證明有該有的
知識能力 等要面試sr level 考量的又是其他方面了 不能否
認 這時再拿kaggle的經歷出來 效益沒那麼大
補推
不Lecun自己都說過要正名了,因為沒有真正unsupervise
面試時 kaggle加分有限
第一作者+中上會議 = 真實案例算法有效益 > Kaggle
只有KAGGLE的人 會需要加上小專案測試真實能力
推~
kaggle太多奇技淫巧 如果奇技淫巧練到走火入魔反而沒有
商業價值
推唷
66
[心得] 2021 外商資料科學求職心得從高中以來一直在 PTT 潛水,從前輩們身上學到許多經驗,我也來回饋分享這篇求職經歷 ,希望跟我一樣略有工作經驗、想挑戰海內外資料科學家職位的板友,可以少走一點彎路 、為面試戰場做更有效率的準備。 2021 年接近尾聲,這篇文是我今年的求職經驗整理,著重在數據分析或產品分析相關職缺, 我選出我自己覺得面試中最重視的面向:數據指標、溝通能力、與統計學專業知識,35
Re: [請益] 想從零開始轉行當AI軟體工程師嘛,看到這標題,身為本命愛蜜莉雅的肥宅工程師也來鼓勵(?)分享一下 本肥在112讀大學時修過CSIE田神的ML 猶記得當初只會寫C/C++的自己 在沒人提示的情況下,矇逼的手刻各種矩陣運算,一個作業寫了上千行code 在EE的繁重課業下忍痛停休37
[討論] ML/AI 工程師需要的數學我換個標題比較方便未來有人需要的話可以搜尋。 我來拋磚引玉一下台灣業界現況。 我個人 112 CSIE 碩畢,但碩論跟 ML 無關,沒有 ML 相關的學術論文。 Kaggle 銅牌以上 x 5 (兩次是抱團靠隊友) 六年工作經驗,算是 deep learning 熱潮起來以前就入行。32
[請益] 成為 AI 工程師的進修方向(代po)(本文作者無帳號,協助在科技和軟體兩板代po ^ ^~) 大家好, 小弟目前在台北某傳產擔任數據分析師,學歷是國立統計所,碩論是做 ML 演算法改良(沒投期刊,我覺得是垃圾),碩班期間有自修 DL。 希望能用 DL 找工作,主力程式為 Python。 目前剛進去公司半年多,主要負責影像辨識的專案,內容是用 Yolo 進行 real time 的瑕疵檢測,專案目前也已經上線了,因此算是有一些實務經驗。23
Re: [請益] 想從零開始轉行當AI軟體工程師大家討論了很多高深的數學,或是頂會。 實際上,我真的很懷疑有多少人真的在業界上搞 AI。 只論台灣吧。首先市場上純研發,需要數學或考績強制發論文的職缺,占不到5%。而且這兩年職缺越來越少。更何況頂會… 台灣業界一年也沒看多少人在發頂會,幾乎沒有吧。就連國際研討會,比例來說也沒看到多少人在發,常常看論文的我都沒搜到台灣業界發的論與。板上動不動就需要數學與改模型架構,真的感受差很大,可能是我看得不夠多? 好啦,如果你在國外大公司當我錯了。的確很多人搞數學,但是人數比例還是超級少。 再來談產品。首先論產品的效果,資料面就決定結果論了。實際工作時,有大部份的時間在處理資料。然後還是要花很多時間做特徵工程。當然特徵工程你可以搞很深的數學啦,但是可能需求方,多給你一個有用的資料特徵,都比搞數學重要。17
Re: [請益] 我該找前端工作 或專心學習ai?我不知道內容有無違反版規,因為身為一個老人潛水很久了。 本來認為自己可能沒有機會再發文章。 個人認為AI是個很大的領域。至少,在我開始學這東西以前這名詞就存在了。 至今我仍然習慣自己所學叫做"機器學習",不習慣稱呼自己學的東西叫AI。 如果自介自我學習時間很重要的話,那我自學機器學習時間至今約11年。19
Re: [心得] 2021 外商資料科學求職心得之前在本板分享過我在 2021 年的數據分析求職經歷 我當時也找了機器學習演算法應用相關的工作 由於準備方法與數據分析領域大不相同,所以另外寫了這篇文章與大家分享經驗 尤其有很多資源是我在 Soft_Job 板找到的,也希望給這裡一點回饋 以下文章為了 PTT 排版有稍微精簡內容9
[心得] AI/ML software engineer工作心得之前還是學生的時候在版上發文詢問過方向,到現在已經工作約半年了, 分享一下我後來學習的方向和目前的工作內容,當作回饋。 簡單描述當初發文詢問的原因,想知道詳細內容可以a我的id: 碩班讀AI,畢業後想去日本工作,如果想進外商該如何準備。 ============================================================6
[請益] 醫療軟體與醫療DL職涯與技能走向請益手機排版請見諒 自我介紹: 小弟北科碩畢業,碩論是研究傳統CV方法, 此份工作已將近四年,也是第一份, 這份工作一開始是以C++開發醫療影像軟體。