[請益] Web跟資料工程
各位好
小弟目前的工作是後端Web仔寫寫API
後來業務上有接觸到mapreduce Apache Flink 這種大數據運算框架
想請教一下各位前輩
如果為了下一份工作打算
會用這些框架 是有辦法往資料工程師當下一份工作嗎?
或者是說需要補足的知識工具其實更多?
靠刷題之後找Backend Engineer比較容易?
謝謝各位
--
Chatgpt問世後未來說不準了
很多資料工程都要值班維運喔
ETL很可怕
身兼backend和data 老闆最愛
要轉data eng ,看他的JD啊,或是去linkedin敲data
eng 然後問
這些都是高級excel 只是工具 沒啥優勢或門檻
AI 取代這種工具類的操作/分析者 是可預見的未來
Data Engineer 炙手可熱,就算沒落也可以轉後端,沒道理
不選
是怕資料工程這塊 是不是需要補很多東西 弄一弄反而沒刷題走後端高? 不然好像刷題走後端比較容易?
你可以試著取代看看啊 de的重點一直是人不是工具操作
我沒有說取代de 是取代初級的分析操作者
因為我認為原po敘述 離 de的能力需求還是差滿多
看你想清資料還是繼續當web仔
身為專業工程師,有時間可以拿實際證據與實作來說明吧。如
果DE可以被AI部分取代,真的歡迎拿實際例子來交流學習。
資料工程師養成,要實務一點,不要會一堆工具,然後什麼都
沒做過。舉例:有10億筆結構化資料,你要怎麼存與查詢,一
秒可以查到? 朝這種很實務的角度去學,才是正軌。沒環境
就自己造垃圾資料,架虛擬環境來玩。
只是用過工具,然後一遇到實際問題就掛,可能很難找類似工
作。
DE 在處理的主要業務不是分析操作,樓上 DrTech 說的才是 D
E 在關心的,需要根據業務需求規劃資料生命周期內的資料儲
存方式跟型態,說是高級 Excel 工具是在哈囉……
看起來你想走運算平台而不是倉儲?
對應該是資料工程那塊 倉儲應該算是資料分析? 可能比較像D大跟H大說這樣 因為我也是自己摸索來用 但說是高級EXCEL工具是有點怪 啦 這些框架大方向應該都算是強調大數據資料可以更快速的吧
原來現在DE只是專注工具的使用?那被AI取代剛剛好
大家都預設AI不能解決實務的問題也是挺值得討論的點
解決老闆不想用rdb想用mongo存結構化資料的問題
ai應該會叫我解決老闆
說mapreduce Apache Flink是高級excel是在搞笑嗎= =?先搞
清楚資料分析和data engineer的區別好嗎
好的DE跟日本原裝壓縮機一樣十分稀少,要對domain 的深入
理解跟大量的技術與經驗積累。遇過那種高手就知道,本來只
能等都更炸掉重改的中古垃圾屋,都能給你翻成漂漂亮亮的北
歐風溫馨文青宅。
想詢問哪裡可以學到相關知識
倉儲是資料工程喔,經典著作 The Data Warehouse Toolkit
有時間可以慢慢翻一下。會說是高級 Excel 工具應該是指看到
MapReduce 的部分,但這種操作並不是只能用在分析上……
哦哦 謝謝H大 我想了一下 現在業務上是用hadoop Flink這類的大數據框架 去應用 似乎好像比較偏向資料分析這塊不是資料工程? 聽起來只會應該這類框架還是需要補足很多相關知識才能走這條路? 那感覺是後端那種單純刷題會容易一些? 我目前是因為剛好接觸到 所以才想說有沒有走這條路的可能這樣
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:11:48至於待遇跟薪水問題,去看 DrTech 寫過的某篇文吧,國家跟
產業的權重會比職稱和使用的技術要高,你說資料工程跟後端
來比誰高,不提產業也無從比較起…
框架的大方向未必是處理效率問題,有的是處理擴展性問題
Hadoop 生態系沒有偏向資料分析呀~ 至於 Flink 是是為了處
我感覺會用這個應該主要是想用分散式集群的功能運算吧 把那些資料套用個什麼規則 整 理出某個 人能參考依據 這樣聽一聽 跟我實際摸索 好像真的不是會用一點工具就能往這 行走
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:25:55理一些需要實時計算的資料的,當大量資料實時產生的同時需
要分析計算會用到,要看一下你現在的業務到底接觸的是哪一
越接近用戶端使用的部分,相較是比較簡單的,上面 D 大提到
的,是偏向於提供資料使用人員(DS/DA)去做的 infra
多數 DE 會在串接跟維護 Data Pipeline,你說的套用某個規
則去整理出某人或是某個部門的資料,可能只是這條 pipeline
上,某一個資料出水口需要做的事~ 要挖的東西是滿多的,有
興趣可以從這個方向開始切進來~
的確在有些公司 DE 除了基礎服務設施和資料處理之外,還要
現在有人在用mapreduce? 我還真的沒在商業產品上看到過
包山包海去處理分析和視覺化…
公司資料量夠大都要靠 map reduce 來做分散式處理吧…幾
億筆資料的 indexing 難到你要一台機器做
還有大量 log 的 data pipeline,use case 很多
還有不少用 Hive 的,背後做還是 MapReduce,現在的確 Spar
k 跟 Flink 居多
只是比較沒有純寫mapreduce 框架背後還是mr啊
de會去服務使用flink分析的user de就要了解flink
DE 是個坑,每家DE 要的技能點可能都有點些許不同,進
來會發現包山包海,什麼能力都要,可以多看看,再看要
不要走 DE
mapreduce早被淘汰了,居然還有人在用Zzzz
分散式運算被後概念就是mr啊,還是你以為跑spark就
不是MR
那你應該先學Java,順便把原始碼、論文看一看,加油 Zz
zz
49
[請益] 純軟該往什麼方向發展(代po 各位年薪300的前輩好 目前就讀私校資料科學相關科系 未來會考研 以四中資管或資科相關系所為目標 對於這個產業有些疑問 想請教各位前輩22
[請益] offer請益各位軟體前輩安安 小弟web仔在年前收到一份offer,年後需要給答覆 但綜觀各個原因再加上手上暫時沒有其他選擇 遲遲做不出決定,因此上來求助各位的經驗 先說說現職狀況17
[請益] IT背景的求職選擇最近在找工作想問問大家意見 本身IT背景 上一份工作在金融業IT 除了前後端coding通包外就是維運跟打雜 前後端技能沒有很深入,主流框架只有自學過,上班沒用過15
[請益] 前後端的框架學習Hi 大家好 小弟118 CS碩畢+工作兩年(非web相關工作)。 本身一直對web相關的工作很有興趣,但對框架一直都不是很熟悉。 很想找到前後端相關的工作來邊學邊做, 但常常面試的時候被問到很多後端框架的應用,完全回答不出來。14
[請益] 第一份工作轉職各位年薪300萬的大大好 小弟朋友在原本公司因為某些意外離職了 由於事情來得太突然,加上上一份工作也做不到一年, 不曉得轉職會不會很困難,老實說真的很慌 不過木已成舟,雖然各方面都還很迷茫,也只能馬上摸索前進的方向13
[請益] 怎麼處理API版本不同的問題?我是後端工程師 要寫API給WEB跟APP前端 WEB跟APP有些API共用有些沒有 後端就只有一個STA版本 也就是說一個版本要同時滿足APP和WEB的需求6
[問卦] web仔不會設計api?姆咪欸!! web仔沒學過資料結構就算了 結果連api都不會設計 這不是中學生都會的嗎? 傳傳參數有這麼難??6
[請益] udemy新手課程選擇私立本科畢業,7月中退伍,面試了十家只有一家有上QQ 目前在傳產做MIS專員 已經做了一個月,也當了一個月的薪水小偷,什麼事都沒有做 MIS部門我來之前只有1個人,就是我的主管,沒有人帶我,也沒有交代我要做什麼事情 就叫我先熟悉系統(公司用的是Lotus Notes6
Re: [請益] 專精前端(或後端)vs全端工程師之前剛好有一份工作是全端,我不知道是否會趨勢化,但全端不一定是一人包前後的案子 事實上那是一份不小的專案,前後端各有數人在開發,甚至客戶 App 也會來串機器 簡單介紹一下那個專案架構 我方開發 web 前端,機器上跑大量 C 的程式,需要把既有 command line 東西視覺化 為了達成雲端操作,所以需要有一個全端來設計 API + SDK2
[請益] web仔職涯請益小弟是非本科系地名資管碩畢 這三年都在接案公司度過 其實就是板上俗稱的web仔 主要都是寫前後端 但是感覺技術能力沒有特別進步