看板 Ajax 關於我們 聯絡資訊
請問如何利用jQuery使client自己本身去抓取指定網頁的原始碼(例如指定去抓Yahoo) 然後再將抓到的原始碼存入伺服端PHP變數中! 因為如果使用PHP的函數去抓取指定網頁的話! 因為都是使用伺服端IP去抓,所以一定會被那個網站給封殺(鎖IP) 不過根據瞭解jQuery有辦法達到這個目的 所以想請教各位高手們!請問哪裡有我說的這種效果的範例? 或是有高手可以指點指點小弟我的:) 整個功能就像是http://imgs.ck101.com/?wretch這個網站一樣 利用client作為白手套來抓取原始碼然後加以利用! 有請高手指點:) -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 59.127.64.178
cloudccw:你上面不是問過了 java-script不能cross-domain抓東西 05/29 23:28
cloudccw:一個是你用php當跳板抓 另一個是你要抓的站有支援 05/29 23:29
cloudccw:回傳json 你才能用jquery接 05/29 23:30
cloudccw:我想到的 要cross-domain只有這兩種方法 05/29 23:32
chph:你給的網站是用後端抓的 05/30 00:58
jians:謝謝兩位大大的解答:) 05/30 04:16
jians:但是如果他們是用後端抓,那...怎麼可能不被無名封鎖呢? 05/30 04:17
wa120:因為後端抓的原理 就跟使用者在看網頁的道裡一樣阿XD 05/30 10:59
jians:不解!可以麻煩解說的詳細點嗎:) 05/30 11:10
wa120:客戶端在看網頁 看的還不是"按右鍵檢視原始碼"的那些字串處 05/30 11:45
wa120:裡的結果 php用curl就可以做到 05/30 11:45
jians:我的主要用意是使用客戶端IP連結!否則瀏覽頻繁會被鎖IP:) 05/30 12:05
Kelunyang:那你還是寫一個Windows Form程式吧XD 05/30 13:01
Kelunyang:或者你在後端機器上頻繁的換proxy不就好了XDDDDDD 05/30 13:02
jians:這太麻煩了XD所以才想找這種方法! 05/30 13:07
Kelunyang:寫一個shell script叫他換不就好了(誤 05/30 13:09
chph:只有用程式在短時間內大量存取才會被拒絕服務 05/30 13:32
chph:等你碰到這問題才來解決不遲, 大可不必剛開始就用複雜的方法 05/30 13:33
jians:我的網頁設計用途上確實會有這個問題...(做大的話)Orz" 05/30 13:33
jians:實不相瞞!我程式我本身已經用PHP函數設計完了! 05/30 13:34
jians:可是最近都碰到伺服器被鎖IP所以才再找替代方式的XD 05/30 13:35
jians:所以簡單來說!問題我已經遇到了Orz" 05/30 13:36
wa120:我寫這個自己有將它做成網頁cache XD 05/30 14:55
wa120:只要不要太頻繁就好了 05/30 14:55
jians:我的難做cache,因為每次要取得的東西都不一樣! 05/30 18:24
Kelunyang:可不可以拉長你的存取時間? 05/30 22:02
jians:如果是上網尖峰時段我就無法避免了… 05/31 00:13
TonyQ:那你需要的是多個proxy輪著用... 05/31 00:23
chph:如果你流量很大, 怎麼不乾脆找無名合作? 05/31 00:39
jians:找無名合作=叫我找死 XD 05/31 01:49
jians:proxy我有想過!只是想看看有沒有更好的!目前應該沒希望了 05/31 01:50
tka:有考慮用tor來做嗎? 方法越來越邪惡了 XD 05/31 02:16
tka:不過這東西叫使用者裝greasemonkey然後你放script應該也可以吧 05/31 02:18
jians:HAHA!我還是想找方便使用者使用的方法! 05/31 10:54
Kelunyang:對使用者本來就很方便啊,他們又看不到後端 05/31 11:09
Kelunyang:喔greasemonkey時在太不普及了XD 05/31 11:10
jians:其實我是在架某部落格的音樂語法產生器!我架設好一陣了! 05/31 11:31
jians:經常遇到被這個某部落格短暫鎖IP(999) 05/31 11:32
jians:以方便免安裝為原則,而且對象都是不懂語法的… 05/31 11:33