[心得] FinMind 大數據專案X架構解析
大家好,我是 FinMind,開源金融數據的作者 ( https://github.com/FinMind/FinMind),今年花了 10 個月的時間,將 FinMind 所用到的技術、架構,整理成一本書,分享給大家 (書中包含程式碼)。
由於大數據時代,多數人做的都是 ML、DL、資料分析,反而資料工程相關資源非常欠缺,但資料工程其實在整個大數據領域,是一個非常重要的位置。
因此,我將 FinMind 從 2017 開始到現在,一路以來的經驗,濃縮到這本書中。
從最基本的分散式爬蟲架構 RabbitMQ、Celery,MySQL 資料庫、雲端,到 FastAPI、
Docker Swarm、Unit Test、CICD、ApacheBench 壓力測試、Traefik 反向代理、RedashBI 報表等技術,都寫在書中。
集合各種 Data Engineer 的技能樹,甚至進階到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重疊 ),目前書在天瓏書局預售中。
各位對大數據、資料工程有興趣的話,可以參考看看,也感謝大家對開源專案一路以來的支持。
https://www.tenlong.com.tw/products/9789860776522?list_name=b-r7-zh_tw
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.168.83 (臺灣)
※ PTT 網址
推
推
推
推
推
有電子書?
有,會在 11/20,跟實體書一起推出
推
推
推
推
推
同是DE推推
推
推
推
推
推
推,但要建議前輩下一版封面設計可以換一下 XDDD
太黑了是不是XD 如果有機會二刷,我問問看有沒有辦法用另一種封面
推
推 可否問電子書是哪一個平台
是指販售,還是電子書閱讀平台?
推
不好意思 是販售的平台
https://ebook.hyread.com.tw/index.jsp
※ 編輯: f496328mm (223.136.77.24 臺灣), 11/11/2021 09:37:34
推
推推
推
推
https://ebook.hyread.com.tw/bookDetail.jsp?id=272884
電子書上架囉
※ 編輯: f496328mm (1.162.140.253 臺灣), 11/18/2021 12:14:1950
[請益] 新手轉職 & 自己還差哪些技能如題 我知道這裏很多大神 身為剛開始跨領域的新手 想來求教一下 本身是研究所(心理學)才開始學coding 學的語言是 Python 爬蟲、資料分析 多少會一點24
Re: [討論] 團報《用 Python 打造你的 AI 股票交易引擎》我也來分享自己做的東西 市面上相關課程,有一半時間,都在教你做爬蟲 同樣的資料,為啥每個人都要重複抓一遍? 覺得很沒意義 我開發的 FinMind,提供台股各種 data,用 api 形式提供,任何語言都能使用 只要發 request 就好19
[心得] 2019冬_數據分析相關求職面試經驗各位大大晚安~ 前年2018年也有發過一篇數據分析求職面試心得文 去年年底,剛好也經歷轉職面試,就順手更新一下 大概分享一下這次面試的經歷及目前對於數據分析的職位看法 Medium好讀版:17
[創作] 分享 FinMind 股票視覺化工具大家好,我是 FinMind 作者 分享一個正在開發中的股市視覺化工具 使用現代化 BI tool - Redash 結合 FinMind data 只要寫 SQL 撈資料就能做 dashboard 以下是其中一個範例8
Re: [請益] 供應鏈(生管)工作的技能樹怎麼點1.Excel VBA Macro Excel VBA除了幫忙填公式,跑自動化報表 其實還可以搭配SQL,傳資料到SQL,或是從SQL抓資料 2.SQL 對大部分供應鏈部門來說,價錢跟合約都是很機密的事6
Re: [討論] 台灣軟體工程工作內容我玩的是搜尋引擎跟全文檢索、資料庫 玩到自己寫搜尋引擎、資料庫、分散式系統等 從平面數位內容轉行的時候(因為天花板實在太低了) 發現這些技能基本上沒有用 當然要說不是技能在台灣沒有用,是有這些技能的我沒有用也是可以的5
[請益] 資料工程師offer與職涯發展請益[背景] 工作4年的30歲資料工程師,過往的工作內容大概是 50% ETL程式開發與Data Pipeline設計 (java, python, scala) 30% 研究 Data Lake、Data Warehouse 等相關數據架構與開源技術 20% 後端 API 開發- 以前聽學校一位教授說,大數據、巨量資料不是新潮的新技術, 而是一個現象、一個問題。 “There were 5 exabytes of information created between the dawn of civilization through 2003, but that much information is now c reated every 2 days.” – Eric Schmidt (2010)