Re: [心得] 神山異聞記實
不是很想要編輯滑到最後貼長文,所以直接回文
carryton 好奇裡面的要求程度,譬如用到KNN是只要套用k
carryton pi應用就好嗎
carryton 還是要自己設計數學公式,不能套用api
先不論女神和她兩個心腹以及阿港的組成,認識他們是損失,領Junior的錢還要負責教育他們能力有多不足。基本上他們碰過的東西就是黑歷史,做越多虧越多的那種。
其他的我大概寫個以後來和好主管跟他們團隊合作後的一個project為例的總體流程:
1. 有真正有Senior能力的人接洽產線對口,理解需求以及大致了解他們對成品的期望。這段
會花去不少時間,包含理解他們在意的是precision/ recall等evaluation metric,以及短期長期目標 (是否需要real time 之類得),還有 data 來源,有什麼data可用之類的。
2. 評估該project的優先順位,以及要花多少人力進行。
前兩點主要都由Senior跟好主管接洽,我最多就是花時間在跟著他們參加會議學習他們是怎麼接洽的,接下來才會是我主要
的工作。
3. 拿到project題目後,互相確定理解無誤。之後開始進行paper survey,從中找出適合的模型或技巧,並且評估在神山資源下的可行性。包含現有的package到什麼程度,我需要多少時間完善並在時間內完成prototype。
4. 報告prototype給對口,並確認接下來的方向及調整,以及上線還有之後的maintain。
回到問題,數學會用到多少,或者是整體的要求程度。提到的是KNN,以目前KNN的進展來說,Nearest Neighbor 最基礎的問題有 a) 用什麼measure b) 用什麼演算法加速距離計算跟sorting (例如 KD-Tree 或 LSH)。這類型的數學技巧跟證明(例如 epsilon-net) 我們基本上不會碰到,所以就是call別人做好的package (除了少數真的很需要卻沒有的可能需要自己刻),以這點來說,就是以call package為主,coding的部分大多數還是在各package間的整合。
但我不認為數學理論不重要,回到我主要負責的3.,大多數狀況下,3. 可能需要在一週內完成,至少要有一個prototype給上面的人看。舉個有一次我接到的為例,星期三下班前接到,星期五要先有一個proposal 並做好投影片寄給上面的人確定方法跟進度。隔週一二要實作並有基礎成果,星期三下班前把結果投影片寄出。
所以我在兩天內快速看了20篇左右的paper,這包含了下關鍵字做paper survey,快速看懂那篇要做什麼,判斷paper所擁有的數學統計假設適合不適合我要解決的問題,以及我有沒有辦法在剩下的時間內用那個方式得出一個不差的結果給個初步交代。好的數學能力以及實作能力在這裡變得非常重要,因為這可以給出一個快速且有效的判斷基準,判斷失準的話會需要更多的時間才能完成project,也會難以跟急著要看結果的廠區或對口交代。(話說最後可用的paper是在好主管建議下找到的)
當然這是好主管的部分組織運作模式,不代表好主管底下所有的計畫都是這樣運作的 (例如 DNN 相關的給的時間會比較長),也不代表所有神山的AI相關團隊都是這樣運作得 (至少有女神為另外一個例子,整天和她的心腹嚷嚷著演算法無用論 (一直阿狗阿狗的,洗個美國私校碩學歷連英文都沒練到,去看她領英還會寫in past experience, i am involved at big data warehouse creation, huge data
handling. while i was young, also writing code with C/ C++. Project
management and product management is my strength.之類狗屁不通文法亂搞的英文,還敢到處宣揚自己是留美的呵),或說別人的東西一定做不出來,因為她自己做不出來,完全惡搞的那種)。
Paper 裡的演算法雖然嚴謹,但往往嚴謹的背後就是有過多的假設,因此在一些比賽用的漂亮的data上面可能適合,但不一定適用於實務上的資料。比起創新更好更快的演算法或損失函數之類的,需要的更著重在以足夠的數學能力而達到為現實的資料篩選方法跟模型,以及不同模型間的選配與整合。另外除非特殊情況,大多數的package都是在很多人共同努力下的產物,完全的不套用也不切實際。
簡單回覆需要能力: 基礎的數學能力以及不會太差的實作能力。程度的話我覺得我會的都是簡單的,但四人眾就是辦不到,至於那種在母國混不下去,只好靠港僑加分逃來台灣的更是,也沒辦法所以也很難說好壞高低。希望有回答到問題。
--
變色失敗
GG
教主顯靈
教主要打第三劑了吧?
GG的同事快來推喔
你到底離開了沒?離開了就不用再想這些人了
就是沒料的,幹嘛一直想
走了喔,就只是看到所需技能回個,因為好像很多人以為只要call function 就可以做ML 至少我相信就是類似這樣的心態才養出那種人的
辛苦了 但從您這兩篇也大概看出您的問題...
37
[討論] ML/AI 工程師需要的數學我換個標題比較方便未來有人需要的話可以搜尋。 我來拋磚引玉一下台灣業界現況。 我個人 112 CSIE 碩畢,但碩論跟 ML 無關,沒有 ML 相關的學術論文。 Kaggle 銅牌以上 x 5 (兩次是抱團靠隊友) 六年工作經驗,算是 deep learning 熱潮起來以前就入行。33
Re: 本來學ML是該轉路還是繼續鑽研一個ML應用要落地產生商業價值 在data scientist把model訓練出來之後 還有很長一段路才能真正進到生產環境 ML系統的複雜度其實非常高 從資料收集,特徵處理, 模型訓練, 模型測試, 一直到後面的模型部署,模型監測32
[請益] 成為 AI 工程師的進修方向(代po)(本文作者無帳號,協助在科技和軟體兩板代po ^ ^~) 大家好, 小弟目前在台北某傳產擔任數據分析師,學歷是國立統計所,碩論是做 ML 演算法改良(沒投期刊,我覺得是垃圾),碩班期間有自修 DL。 希望能用 DL 找工作,主力程式為 Python。 目前剛進去公司半年多,主要負責影像辨識的專案,內容是用 Yolo 進行 real time 的瑕疵檢測,專案目前也已經上線了,因此算是有一些實務經驗。31
[心得] 台積 IT SRE 面試心得分享一下近期在台積電不錯的面試經驗。 人資主動邀請面試。面試一共會有專業項目三關 + 人資一關,由於主管希望面試者能有較 充足的準備,因此專業項目每一關的間隔時間預定是兩個禮拜,如果有需求需要加快面試 速度也是可以調整時程。現在疫情期間,除了測驗要去廠區之外,其他面試一率都是視訊 面試。22
Re: 本來學ML是該轉路還是繼續鑽研^^^^^^^^^^^^^^^^^ 恩..."後段國立科大資管",好一點的公司可能連HR那關都過不了 : 因為一些私人原因是不用當兵 : 所以論文完成後準備開始找工作 : 目前程度:23
Re: [請益] 想從零開始轉行當AI軟體工程師大家討論了很多高深的數學,或是頂會。 實際上,我真的很懷疑有多少人真的在業界上搞 AI。 只論台灣吧。首先市場上純研發,需要數學或考績強制發論文的職缺,占不到5%。而且這兩年職缺越來越少。更何況頂會… 台灣業界一年也沒看多少人在發頂會,幾乎沒有吧。就連國際研討會,比例來說也沒看到多少人在發,常常看論文的我都沒搜到台灣業界發的論與。板上動不動就需要數學與改模型架構,真的感受差很大,可能是我看得不夠多? 好啦,如果你在國外大公司當我錯了。的確很多人搞數學,但是人數比例還是超級少。 再來談產品。首先論產品的效果,資料面就決定結果論了。實際工作時,有大部份的時間在處理資料。然後還是要花很多時間做特徵工程。當然特徵工程你可以搞很深的數學啦,但是可能需求方,多給你一個有用的資料特徵,都比搞數學重要。13
Re: [請益] 統計所畢業是否不適合資料分析?看到這篇文章就手癢很想回一下 我現在工作大概快六年了,待了三間公司 我自己覺得統計背景是其實滿適合的 我自己是116經濟雙主修統計 後來唸116統計所 在台灣其實職缺不少,只是title都很不一致13
[請益] 成為 AI 工程師的進修方向(代po)(本文作者無帳號,協助代po ^ ^~) 前文少po段落就送出,因手機一直無法編輯,所以刪文重發QQ 大家好, 小弟目前在台北某傳產擔任數據分析師,學歷是國立統計所,碩論是做 ML 演算法改良(沒投期刊,我覺得是垃圾),碩班期間有自修 DL。 希望能用 DL 找工作,主力程式為 Python。9
[請益] 文組轉職後端請益各位前輩好 小弟我114管院碩班 目前在內湖一間小公司實習 主要是寫R語言 還有超基礎的SQL4
Re: [討論] 我就問,刷題強者的實務表現?這個問題其實可以拆解成幾個小問題 1.面試要不要考試? 我個人認為要,而且非常重要 2.面試要考甚麼? 2.1人少: