看板 Python 關於我們 聯絡資訊
版上各位先進大家好 我目前正在嘗試用BeautifulSoup抓資料 但我碰到一個問題 我的程式有試出來 但是我發現我不懂如何使用RSS看到網頁的XML版 這樣日後會造成很大的麻煩 舉例來說 我首先以YAHOO測試 https://tw.info.yahoo.com/rss/ 然後以奇摩股市來當真正的目標 https://tw.stock.yahoo.com/rss/url/d/e/N2.html 因為我不知道如何看到XML版的資料 (原本書上可以,但我試不出來) 所以我反而是照著書嘗試出成果 https://pastebin.com/5503ppZs 所以我完全不知道第5行程式裡的item怎麼來的 我也有嘗試網頁+F12 但是也找不到item 而且在程式的結果中 底下各個文章的標題的標籤是<title>(例如第7行程式) 可是當我去看網頁時 卻是看到https://imgur.com/a/MUi5Vnu 根本沒有出現title 所以我想請教 如何看到網頁的內容 來決定要抓網頁的那個相對應標籤 例如看XML檔案(其他方法亦可) 不然我以後要到別的網頁抓資料根本走不下去 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.161.225.194 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1556357368.A.0DD.html
dododavid006: 你可以試著用 Python 內建的 urllib 或是如果你有 04/27 18:08
dododavid006: request 也可以 去把你貼的那個網址抓下來後再存檔 04/27 18:08
dododavid006: 開你抓下來的檔案應該就會看到 xml 了 04/27 18:09
dododavid006: Yahoo 的網站有判斷你是不是用瀏覽器開 如果用瀏覽 04/27 18:10
dododavid006: 器開你就會看到訂閱 rss 的說明 04/27 18:10
alubasteve: 給dododavid006,多謝你的建議,我有去找資料 04/27 21:23
alubasteve: https://reurl.cc/epq5m,不知為何上面兩組程式的寫法 04/27 21:25
alubasteve: 都沒有反應,https://imgur.com/a/RYXcLK9 04/27 21:37
alubasteve: https://imgur.com/a/qAchwwv,抱歉PASTEBIN忙線連不上 04/27 21:39
alubasteve: 再者,我也想請教您如何把結果抓下來存檔 04/27 21:40
dododavid006: 其實確實能抓下來 https://i.imgur.com/OpvFiOy.png 04/27 23:31
dododavid006: 至於存檔也只是方便你用其它軟體讀而已 就只是開檔 04/27 23:32
dododavid006: 再把內容寫進去而已 04/27 23:32
dododavid006: with open("檔名.xml", "wb"): 04/27 23:32
dododavid006: with open("檔名.xml", "wb") as f: # 更正 04/27 23:33
dododavid006: f.write(urllib.request.urlopen("url").read()) 04/27 23:34
vi000246: https://countwordsfree.com/xmlviewer 04/27 23:51
vi000246: 用這個看就看得到xml格式了 你研究看看是什麼原因造成 04/27 23:51
vi000246: 直接用browser跟用rss reader取回來的資料差異 04/27 23:52
vi000246: 可能是某個表頭會讓response吐xml 另個表頭是吐回html 04/27 23:52
vi000246: 你直接用rss xml python requests當關鍵字搜尋看看 04/27 23:53
vi000246: 喔喔 一樓有解答了 04/27 23:53
alubasteve: 給dododavid006,感謝你的協助,我照著打你給的程式 04/28 14:07
alubasteve: 嘗試,後面就有出現一堆資料,但也因此我發現了新問題 04/28 14:08
alubasteve: 出來的結果是網站的原始資料,所以不會出現中文名稱 04/28 14:09
alubasteve: 而且結果是連續的出來,即使我轉貼到WORD而比較有結構 04/28 14:11
alubasteve: 也依然沒有中文,包含我用vi000246給的網站也是如此 04/28 14:12
alubasteve: 請問這是否代表這才是抓資料的常態,也就是要去猜欄位 04/28 14:13
alubasteve: 因為我原本是想要讓抓取欄位資料匯出成檔案 04/28 14:14
alubasteve: 例如WORD或是EXCEL,但這在那之前我要去懂如何猜欄位 04/28 14:15
alubasteve: 與標籤之間的關係才行?請問兩位先進都是怎麼做的呢? 04/28 14:16
alubasteve: 另外我也有試著用RSS閱讀器,但不知為何是這樣 04/28 14:17
alubasteve: https://imgur.com/a/aOEAGs6,我是用Inoreader 04/28 14:19
alubasteve: 並沒有出現檔案的網頁程式資料,請問我是挑錯軟體了嗎 04/28 14:20
alubasteve: 還是我有地方不對,也想請教大家 04/28 14:21
alubasteve: 感謝dododavid006+vi000246,總算試出成果了 04/28 18:49
alubasteve: https://pastebin.com/b84hJAaw 04/28 18:49
alubasteve: 另外還可以略做調整成這樣(前面已知跳過去) 04/28 18:59
alubasteve: https://pastebin.com/KAs4n5bA 04/28 18:59