PTT評價

[心得] 處理服務讀取多個任務遇到的問題

看板Soft_Job標題[心得] 處理服務讀取多個任務遇到的問題作者
appleboy46
(小惡魔)
時間推噓 5 推:5 噓:0 →:8

標題: 處理服務讀取多個任務遇到的問題 (Go 語言)
連結: https://bit.ly/fetch-task

https://i.imgur.com/lbY6KzL.png


不同的服務都會有需要處理比較久的任務,這些任務是不能即時執行完成,才回應給前端,這樣使用者體驗會非常的差。將類型的任務存在資料庫或放在消息對列就是一種處理方式,接著啟動另一個服務來消化非即時性的任務,而常見的處理方式就是在服務內啟動多個 Worker Node 來平行消化任務(如上圖)。

## 讀取多個任務問題

先看看底下此服務內部的設計,用 Go 語言來當範例解釋當下問題,假設有一個 Task 服務負責存放所有的任務,而 Agent 服務內可以開啟多個 Goroutine 來平行消化任務,步驟也很簡單,第一步就去讀取任務,而第二步就是執行任務。想看看在步驟一的時候,如果目前 Task 服務內沒有任何任務需要執行,就設計每 5 秒才去向 Task 服務詢問是否有新任務需要執行,避免太頻繁發請求給 Task 服務。

先假設有 100 個任務需要等待執行,在 Agent 內開啟 10 個 Worker Node 去消化,這樣每次就會發送 10 個請求,而這 10 個請求有可能對於 Task 服務來說就是 10 個
SQL 指令,如果是 10 台 Agnet 就變成 100 個請求,這樣對於 Task 服務來說會負擔太大。

https://i.imgur.com/4csL9To.png


大家可以想看看如何解決上述的問題,底下提供一段 Go 語言實作多個 Worker 的代碼,步驟一就是開啟 Goroutine 來平行處理任務,就是在這邊會發送大量的請求到另一個
Task 服務

代碼放在 Blog 連結內




--
AppleBoy Blog: http://blog.wu-boy.com

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.244.123.129 (臺灣)
PTT 網址

foreverk11/16 09:22如果Task service會出現大量打到db的request,那應該先

foreverk11/16 09:22使用cache吧?

s06yji311/16 09:48不一定,如果每次query的條件或結果不一樣的話是無法Cach

s06yji311/16 09:48e的

lovdkkkk11/16 09:59應可用 socket 主動通知不用一直發 request 詢問?

GoalBased11/16 12:48關鍵字subscribe 吧 沒看圖和code

Nonsense811/16 19:31notify 回去吧

a478288711/20 09:23久仰AppleBoy. 以下淺見. 如果tasks限制是使用database

a478288711/20 09:23 queue來實作存取, 且task數量龐大, db loading會比較大

a478288711/20 09:23, 會比較難scale out worker, 這時候看看優化SP可否幫助

a478288711/20 09:23….不然另尋其他種work queue是值得嘗試的辦法. 敝司之

a478288711/20 09:23前用過OLTP database queue…db alert 常常發啊XD

a478288711/20 09:28剛看完blog, 敝司目前也是使用類似的作法XD