作者jami520 (我的生命因你而發光)
看板PHP
標題[請益] curl萬筆資料中斷的問題
時間Sun Jul 22 06:37:52 2012
各位好,
想請教一下目前我在擷取相關資料因為有多筆數據
所以跑回圈利用cron排程來做資料擷取然後儲存到資料庫中
整體正確跑完全部回圈應該要有40幾萬筆資料,不過每次都只有抓10幾萬筆就停止了
我在程式碼開頭有加入 set_time_limit(0);
另外在curl的部份程式也有加入
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 300000);
最後curl_close($ch);
這樣不曉得會是哪邊的問題呢? 是主機 OR 程式?
不知道還可以從哪邊下手? 感謝
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.46.85.60
→ chaoms:可使用記憶體也許爆了.可能發生狀況的點作log.. 07/22 08:24
→ jami520:有啥方式可以做確認嗎? 或有啥方法可以解決呢? 謝謝! 07/22 12:57
→ chenlarry:curl都會吐狀態回來,看看他是吐什麼錯誤 07/22 22:07