PTT評價

[請益]高流量網站和資料結構

看板Soft_Job標題[請益]高流量網站和資料結構作者
ntpuisbest
(阿龍)
時間推噓 9 推:9 噓:0 →:30

先自承是非本科的新人

最近看了版上的討論串,覺得自己的確實是

沒有CS基礎的API工程師,以前在學校修過資料結構

但是只有一些很粗糙的觀念

像是hash function因為返回的是index,所以在查找資料上非常快

目前還在惡補基礎的DS,至於OS和計算機組織就真的完全沒概念了

每次看到thread,大概就止步於看到那種for loop 交叉印出不同函數的例子

自己稍微爬文下來,不太懂如果要往高流量網站的設計邁進

該怎麼去活用那些知識

我爬文的結果有點像是

如果一張資料庫數量超過百萬

那這樣就要想辦法把資料分成不同的表格

然後這時hashmap 就可以幫你找到不同的表格這樣?

爬文大概看到以下方法

1.建立多個File server , 寫hash function 將上傳的圖片及影音平均分散到File server上的Folder

2.Query優化、索引優化及將負載重的table做反正規化以減少資料庫負荷

建立Master /Slave 資料庫,分散Master主機loading,將讀寫資料庫動作分離,
Matster DB只負責被寫入及複製,Slave DB負責被讀取

3.可能還有一些cache之類的

比如說像是搶票網站好了

https://imgur.com/TON1Nid

看到有人說可以這樣解決

那像這樣的知識,是不是要想辦法進去大公司才有辦法學到

比較難在網路上,像是一般的前後端CRUD一樣容易獲得?

另外想問說,如果有一個API,他是getallemployee好了,打了url就要返回所有的員工

資料,這是如果是高併發高流量的網站設計

該怎麼活用資料結構,才能讓網站不要LAG

還是說這可能跟資料結構比較無關,我要去補充其他知識才會知道

如果可以的話,希望前輩們可以分享哪些關鍵字或是網站有sample code可以查詢


--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.91.22.53 (臺灣)
PTT 網址

MoonCode08/21 14:49百萬筆的話還是把機器加大吧

neo527708/21 14:49併發 高流量 可以分好幾段去解 你先理解流程

neo527708/21 14:50比較容易知道該自哪邊加東西,用那些工具沒有定論

neo527708/21 14:50都是試出來的

jason264166808/21 14:52認真講 先把基礎補好吧

jason264166808/21 14:52面試最討厭那種滿嘴高併發高流量

jason264166808/21 14:52問點基礎也不會的

alihue08/21 14:59你怎麼可以命名 master slave 這樣進不去 google

alihue08/21 15:00百萬筆而已 換個 SSD 就好

alihue08/21 15:02然後高流量網站很模糊阿:靜態網站、交易、寫log、一致性

alihue08/21 15:02latency要求、req payload大小 這些都先定義好再問高流量

alihue08/21 15:03靜態網站 那我會說買好 CDN 就好ㄏ

alihue08/21 15:04一致性不重要,那全載記憶體 aws 開個 auto scale out就好

alihue08/21 15:04沒定義好需求 根本無法討論

ldkrsi08/21 15:06"是不是要想辦法進去大公司才有辦法學到" 是

alihue08/21 15:08同上 要進去"高流量軟體"的 team 不一定要知道怎麼幹

alihue08/21 15:09因為你的知識在這個 team 可能幾乎用不上。除非你面資深缺

Hsins08/21 15:42小流量撐不住是 DSA 問題,大流量撐不住是架構問題

kvjo08/21 16:43不是高手 但經驗上...不見得

kvjo08/21 16:431. 應該說商業上有這樣的場景 那有機會接觸到

kvjo08/21 16:432.但你不是資深的也不是相關職位的 也不需要讓你碰

kvjo08/21 16:443. 更有組織的公司應該有資深的人在負責這個

kvjo08/21 16:444. 也不是說不會就沒有價值 軟體團隊上 還有其他角色價值

kvjo08/21 16:45也覺得滿奇怪的 很多人面試愛問高流量

kvjo08/21 16:45現在商業 有這麼多 未完成的高流量服務要給你做嗎?

kvjo08/21 16:46問了高流量經驗 阿你是每個缺都在找這樣的人 要大膽讓人改?

kvjo08/21 16:46其實很多面試官 也就平常人啊..... 不是因為面試什麼 他就強

kvjo08/21 16:46滿多面試官 感覺也倆光兩光的 哈

bjk08/21 18:15遇到很多博弈問大流量經驗,但感覺面試官自己也不會

ntpuisbest08/22 00:54謝謝各位

jej08/22 13:51總共百萬筆資料還是一天百萬筆

jej08/22 13:51總共才百萬 就硬體加強就好了

jej08/22 13:51一天百萬筆就是加強硬體 分散式 查尋 修改分離等策略

miku392008/22 14:28https://mark-lin.com/tags/it-鐵人賽-2019/

miku392008/22 14:29https://bit.ly/381gfX9

DrTech08/23 13:06資料庫才百萬筆資料,不就是用最基本的 Index 就好。又是

DrTech08/23 13:06基本能力都沒學,在好高騖遠系列。

ntpuisbest08/23 23:42抱歉 會在加強基礎能力qq