[請益] 抓取網路上的資料存入DB

[kusoayan (瑋哥)]

最近再寫抓網路資料的程式

想請問一個問題

假設今天我要抓一批性質相同的資料

像是 300 個商品頁面，或 300 個個人名片頁面等等的

那我要每抓一個頁面 分析完我要的資料後就 insert 到 DB 中

還是要全部抓完後再一次存入 DB 中會比較好？

如果一直執行 insert 會讓速度變慢嗎？

另外，因為要訪問的頁面太多，所以我是用多個

<iframe src="getdata?abc=123></iframe>

的方式去摹擬同步的方式，那這樣如果我每個 iframe 裏面都有 connect insert

等等的動作的話，會不會讓 database 那邊錯亂阿QQ？

謝謝！

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 125.228.249.225
推 LaPass:單純insert應該不會
→ LaPass:不過.....php適合寫這個嗎? = =a php沒執行緒...不方便說
推 kerash:只要不要把DB開開關關應該都差不多
→ alpe:沒必要, 執行同時會有其他工作讓db loading變重嗎?
→ kusoayan:沒必要的意思是不用把資料一次性存入？
→ kusoayan:沒有   都是抓資料->parse->insert 而已
→ shadowjohn:資料庫瞬間2000個insert都不是問題，重點是下載要分散
→ shadowjohn:分散給不同ip、proxy去抓網頁，寫同一台DB ok的啦~
→ kusoayan:沒分散會怎樣嗎QQ
→ kusoayan:一批大約一千個頁面訪問量 總共有一百批 XDDDD
→ shadowjohn:沒分散的話，最好每幾筆之間設個 sleep 避免被 ban ?
→ mervynW:也要看對方有沒有做DOS防禦啊, 很多都沒做的
→ mervynW:不過還是要做個sleep比較好