作者kanako (我是香民)
看板Python
標題[問題] selenium取網頁內容的問題
時間Thu Oct 20 17:52:05 2016
請問一下如何使用selenium取得瀏覽器出現畫面的完整文字內容?
單純用webdriver的page_source是不是無法完整取得某些動態網頁的內容?
我遇到的問題是瀏覽器載入頁面後page_source跟在瀏覽器中看到的頁面原始碼不一樣
https://goo.gl/wMi3LO 這是我嘗試載入的網頁
程式碼如下
driver = webdriver.Chrome("driver path")
wait = WebDriverWait(driver, 30);
driver.get(url)
try:
WebDriverWait(driver,
delay).until(EC.presence_of_element_located((By.XPATH,
'//*[@class="content__article-body from-content-api js-article__body"]')))
html = driver.page_source
print "Page is ready!"
except TimeoutException:
print "Loading took too much time!"
把html變數內容存下來卻沒有我設定等待其出現的網頁元件
試過phantomjs也是一樣的結果
請問一下應該要怎麼做才會取得完整的畫面原始碼
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.51.164.216
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1476957128.A.11D.html
推 BigBank: 之前用phantomJS可以取得完整內容 10/22 03:11
→ sky800507: 我用Firefox得到的page_source中有你要找的class喔 10/22 13:02
→ sky800507: 可能是你中間程式碼的問題? 10/22 13:02