Re: [請益] 選擇mongoDB或是relational database ??
※ 引述《DarkKiller (System hacked)》之銘言:
: 推 frank910138: 請教一下,如果是物聯網資料,每秒收集的那種,才適 03/23 18:09: → frank910138: 合用mongo嗎, 還是要用rdbms? 謝謝 03/23 18:09
通常不會拿 RDBMS 來處理這塊,因為 1) 偶而掉一些資料沒關係,2) 不會用到
transaction,所以 ACID 之類的特性反而對效能有影響。
IoT 資料主要分成兩類,一種是以數字為主的資料 (在 IoT 常見),另外一種是以
文字為主的資料。
文字為主的資料其實就很像是 log,可以考慮丟到 Elasticsearch 裡面翻,所以
工具上就往 log 蒐集工具裡面找,像是 logstash 或是 fluentd。
數字為主的這塊早期也有用 ELK 架構在做 (Elasticsearch/Logstash/Kibana),
但 ELK 在效能上一直是讓賣硬體的廠商笑呵呵的解決方案。
現在處理數字類另外一個大領域是 TSDB (Time series database):
* https://en.wikipedia.org/wiki/Time_series_database
這塊這幾年發展蠻快的,我自己的單位是在用 Prometheus,我記得幾年前有簡體
中文的文章在討論各種不同的 TSDB,有點久但可以參考一下:
* http://liubin.org/blog/2016/02/18/tsdb-intro/
* http://liubin.org/blog/2016/02/25/tsdb-list-part-1/
* http://liubin.org/blog/2016/03/01/tsdb-list-part-2/
文章裡面提到的最新排名也可以看一下:
* https://db-engines.com/en/ranking/time+series+dbms
選好 TSDB 後,前面接個 Grafana 或是繼續用 Kibana 呈現應該都是標配,另外
商用的 Tableau 在這塊也有不少人頗愛,就看自家對工具的偏好了。
--
Resistance is futile.
https://blog.gslin.org/ & <[email protected]>
--
推influxdb
謝謝大大,開一篇回覆,受益良多,我會去了解的
我公司就用 rdbms 來做.......
感謝分享, 最近ELK慢慢轉成EFK了
14
當時在這邊寫的比較保守一點,最近剛好有題材可以描述一下另外一個不少人都不 太喜歡 MongoDB 的原因,就是這家公司不怎麼老實... 這次 MongoDB 惹毛了業界老大,我寫了一篇: * (MongoDB 的欺騙性廣告) 這邊列一下重點:15
: : jerry大的意思是mongodb的ACID只在document level : 所以如果我需要同時access multiple documents就會有dirty read的問題是吧?? : ※ 編輯: pracinverse (59.115.199.156), 11/02/2016 13:52:40 : → manaup: 作業? 11/02 14:24
28
Re: [標的] NVDA/AMD 討論周末閒聊, 如果這兩支股票要選一個, AMD會是個比較安穩的選擇, 因為在可預見的幾年內, AMD一直吃Intel的市場就夠了,23
[創作] 做了一個用Google Trend查美股趨勢的網站最近做了一個網站去抓美股數千檔公司的網路搜尋趨勢, 並整理成一張大表 & 搜尋趨勢 對應股價的走勢圖 Demo: 網站網址:17
Re: [心得] 為什麼99%轉職數據分析的人都失敗了身為資料分析師,來回一下這篇,手機排版傷眼請見諒。 我大學管院學士,工作剛滿10年,都是做跟資料分析有相關的職務。2012年底,我第一份工 作年薪大約在40左右,經過了10年自己有累積加上運氣不錯,去年年薪約在150左右。英文不 好,台商乙方行銷單位資深PM。沒有什麼值得炫耀,只是帶一下背景。 想轉職過來,很大機率失敗,以及這個職務其實也很不好找人,有幾個原因。最大的原因我17
[請益] Web跟資料工程各位好 小弟目前的工作是後端Web仔寫寫API 後來業務上有接觸到mapreduce Apache Flink 這種大數據運算框架 想請教一下各位前輩 如果為了下一份工作打算X
[閒聊] 台灣有聲優專門配遊戲這塊的嗎我玩的遊戲不多 最近報告資料缺這塊 知道的有像是劍靈配音南素柔的林美秀 但都算小咖 有專門配遊戲的中配大咖嗎!?11
[請益] 資料科學發展性各位前輩大家好 小弟不材,私校資工混畢業,礙於經濟因素沒有讀研究所直接就業,從事WEB ERP開發, 未來預計加強後端技能,在工作穩定後也有了想攻讀本科在職碩的念頭,今年也有幸上了 中興在職資工所 目前遇到一個研究領域的選擇問題11
Re: [討論] AI晶片現在業界單純說AI晶片是太籠統的說法了, 為了獲得最高效能與最高CP值, 業界把AI晶片細分成以下幾類, 1. Training 訓練: 這是目前業界最難做的部分,6
Re: [請益] 資料科學家,回臺工作前景基本上大家的回應都還蠻中肯的 不過有一點似乎沒有提到 就是「養得起資料科學家的單位不多」 因為養得起資料科學家的前提 就是要有「資料」、「大量的資料」、「大量而且乾淨的資料」5
Re: [討論] AI晶片多嘴插句話,除了Training跟Infer差異外,其實真的要細分還有從硬體、軟體的優化, 從最上層到底層跟硬體的結合才能夠把edge computing提升到產品落地階段。 像是閣下說的自然語言這塊把Transformer從軟體層面做降維優化、新一代更輕量的CNN模型 ,還有既有的半精度FP8這種跟指令集優化,另外這幾年學界比較有研究的從Complier上做 優化通用矩陣乘法。