[問題] HttpURLConnection使用上限?

[kondy (淨芯藍)]

不好意思  想請問一下
目前在用excel記錄網頁上的資料
但是在做io的時候發生了這個例外情況

發生了java.io.IOException: Server returned HTTP response code: 999 for URL:
   (我給的網址)例外

HttpURLConnection connection = (HttpURLConnection) url.openConnection();
                        //讀取連結
                        BufferedReader in = new BufferedReader(new
InputStreamReader(connection.getInputStream()));
                        //line = in.readLine();
                        while((line = in.readLine())!=null){
                                //處理我要的資料
                        }
                        in.close();

讀取連結的部份是爬板上的文得到的

在想是不是存連結資訊的陣列(或什麼東西)
被我塞滿了   才產生這個問題
那是不是那邊要釋放掉記憶體我沒有做到

因為這段程式會被主程式一直呼叫  去截取網頁上的資訊

或者是說因為過度的連結  是被網站那邊封鎖了?

謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 220.143.149.194
推 superlubu:Error 999 通常是你太用力去操 web server
→ kondy:請問那有辦法解決嗎??因為要更新的資料頗多  目前也在測
→ kondy:所以會更大量的呼叫  剛剛重開機完可以在呼叫  但很快又滿了
→ kondy:web server被裝滿了有沒有什麼方法能清掉或其他方式能再使用
推 slalala:那是他"response"給你的
推 superlubu:不是裝滿，你是短時間內扯太多了.
→ superlubu:在每次下載完一頁後 sleep 個一秒兩秒就該比較好
推 slalala:可以告知什麼網站?操過中時 聯合 USPTO 無名 都沒出現過XD
推 superlubu:Yahoo 好像會有這種情況，不過真的要蠻巨量的
→ kondy:是YAHOO的網站  因為所需的資料一個網頁只有一部份
→ kondy:所以拉會很快  一個網頁一個網頁過去  剛剛突然想到 抓到需
→ kondy:要的部份則結束這個網頁的搜尋   這樣會好一點嗎??
推 slalala:不會 乖乖的用SLEEP吧
推 nike4859:Yahoo的新聞要用Socket才不會被鎖
推 runtime:yahoo 有很多方法可以繞過
→ kondy:可以請問樓上要用什麼方式嗎??這兩天試了sleep還是被鎖
→ kondy:剛剛讓他sleep10秒還是一樣>"<  還是說我寫錯方向了??
推 nike4859:我自己抓YAHOO新聞的經驗，用HttpURLConnection必鎖
推 nike4859:上述經驗有誤，更正是抓YAHOO生活家～