[請益] Python Selenium 多Chromedrive

lsps612 發表於 2021/8/9 下午4:27:28

看板PC_Shopping標題[請益] Python Selenium 多Chromedrive 作者

lsps612

(天氣晴。)時間Aug 9 16:27:28 2021推噓 3 推:3 噓:0 →:19

PTT評價

各位前輩好

小弟目前老電腦是 I5-8400 / 4*8G RAM / 256SSD
在跑 Python Selenium Chromedriver
模擬用戶操作(非網頁遊戲)，順便爬蟲。主要是CPU資源吃比較大一些

目前執行最多只能跑到12個chromedriver.exe (非分頁)，再上去就掛了
如果希望可以穩穩的跑到30個，請問如果要有感升級的話，應該要往哪方面著手呢？
預算抓25K左右。

自己本身是有兩個想法

A. 組一台DESKMINI H470 搭配I5-11400 但應該不太堪用，發熱量也是個問題。
或者
B. 賭人品，對岸淘一台洋垃圾，E5雙CPU，搭配64G的RAM

上述兩者完全是不同面向，但在同樣的價位下，似乎可以做個比較?

麻煩請各位可以給一點建議，不吝指教，謝謝。

※ PTT 留言評論

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.230.176.85 (臺灣)

※ PTT 網址

→

jior 08/09 16:48別買洋垃圾了吧，11400也不夠用，

→

jior 08/09 16:48礦渣收個半套他不香嗎？

推

filiaslayers 08/09 17:00這不是直上threadripper嗎？

CPU直接爆預算XD

推

arrenwu 08/09 17:15你確認瓶頸是在哪邊了嗎？

I5-8400 12開是保守穩定，15也可以，但考量到跑一次指令就要跑1.2天這樣真的不行而另台更老的E3-1231 V3也是穩穩15開上面兩台除了CPU不同，其他配置也都接近SSD/32G RAM I5 6C6T / E3 4C8T 因此推斷說CPU是最大的關鍵。題外話，兩台我都有額外裝RAMDISK切6G出來，15開RAM都沒有吃滿大概8X~90。

→

lingerkptor 08/09 17:39需要長時間來跑這些項目嗎

→

lingerkptor 08/09 17:44是跑在selenium grid上嗎?

→

lingerkptor 08/09 17:47分享我的作法，使用selenium grid

→

lingerkptor 08/09 17:48node不夠用的時候，用二手主機加nod

→

lingerkptor 08/09 17:49e，不需要這麼多的時候，就關閉二手

→

lingerkptor 08/09 17:49增加的主機就好．