[請益] Python Selenium 多Chromedrive

[lsps612 (天氣晴。)]

各位前輩好

小弟目前老電腦是 I5-8400 / 4*8G RAM / 256SSD
在跑 Python Selenium Chromedriver
模擬用戶操作(非網頁遊戲)，順便爬蟲。主要是CPU資源吃比較大一些


目前執行最多只能跑到12個chromedriver.exe (非分頁)，再上去就掛了
如果希望可以穩穩的跑到30個，請問如果要有感升級的話，應該要往哪方面著手呢？
預算抓25K左右。

自己本身是有兩個想法

A. 組一台DESKMINI H470 搭配I5-11400 但應該不太堪用，發熱量也是個問題。
或者
B. 賭人品，對岸淘一台洋垃圾，E5雙CPU，搭配64G的RAM

上述兩者完全是不同面向，但在同樣的價位下，似乎可以做個比較?

麻煩請各位可以給一點建議，不吝指教，謝謝。


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.230.176.85 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1628497650.A.C4F.html
→ jior        : 別買洋垃圾了吧，11400也不夠用，
→ jior        : 礦渣收個半套他不香嗎？
推 filiaslayers: 這不是直上threadripper嗎？
CPU直接爆預算XD
推 arrenwu     : 你確認瓶頸是在哪邊了嗎？
I5-8400 12開是保守穩定，15也可以，但考量到跑一次指令就要跑1.2天 這樣真的不行
而另台更老的E3-1231 V3也是穩穩15開
上面兩台除了CPU不同，其他配置也都接近SSD/32G RAM
I5 6C6T / E3 4C8T 因此推斷說CPU是最大的關鍵。
題外話，兩台我都有額外裝RAMDISK切6G出來，15開RAM都沒有吃滿 大概8X~90。

→ lingerkptor : 需要長時間來跑這些項目嗎
→ lingerkptor : 是跑在selenium grid上嗎?
→ lingerkptor : 分享我的作法，使用selenium grid
→ lingerkptor : node不夠用的時候，用二手主機加nod
→ lingerkptor : e，不需要這麼多的時候，就關閉二手
→ lingerkptor : 增加的主機就好．
→ lingerkptor : 不過３０個就掛掉讓我有點納悶．
→ lingerkptor : 打錯　１２個就掛掉就有點怪怪的
→ HamalAri    : 確定是 cpu 的問題? 感覺 ram 才是
→ HamalAri    : 瓶頸
→ yeeouo      : 差不多吧 8400也才6c6t
→ yeeouo      : 可能在互搶核心了
→ g37373737   : gui不是必要的話，headless brows
→ g37373737   : er
※ 編輯: lsps612 (114.41.206.248 臺灣), 08/09/2021 21:21:17
推 creepy      : 你有跑headless嗎
→ creepy      : 我用10400 常駐5個 看不出loading
→ creepy      : 沒必要的話js要關閉 載圖也關閉
→ creepy      : os的話...我是linux mint