[問題] xpath的內容問題 求大大解答QQ

[NoneNaMey (NoneNamey)]

小弟最近在研究xpath，想說跟BeautifulSoup差不多，但是發現了一個問題

以這程式碼為例子:

http://imgur.com/MmtRkj5

就是當我想要抓取一則回文的內容，原本預計會像這樣回應

http://imgur.com/7s9VoNJ

但是當我加上text()的時候，他好像會自動抓取子節點做分段....
結果就變這樣

http://imgur.com/YMEA0Wd

求解QQ...

我要如何讓他不會自動分段

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.231.66.36 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1594100569.A.B25.html
※ 編輯: NoneNaMey (36.231.66.36 臺灣), 07/07/2020 13:44:12
※ 編輯: NoneNaMey (36.231.66.36 臺灣), 07/07/2020 13:44:35
※ 編輯: NoneNaMey (36.231.66.36 臺灣), 07/07/2020 13:44:54
→ alvinlin: 我覺得大家可能仰賴網路上的資訊了
→ alvinlin: 從你的問題來看，我都看不出你現在打算用什麼
→ alvinlin: BeautifulSoup裡也有xpath的，但你的xpath是用什麼模組
→ alvinlin: ？
→ alvinlin: Parsel也有xpath也有css。先把你用了什麼，程式寫了什麼
→ alvinlin: 寫清楚吧
→ alvinlin: 我估了一下，你可能是用lxml 的 etree
→ alvinlin: 但我懶得猜了
→ TakiDog: etree很好用 你資訊貼詳細一點吧
→ NoneNaMey: 抱歉，我是用etree沒錯。因為想學scrapy
→ NoneNaMey: 發現scrapy都是用xpath的語法，之前用bs4都是用find
→ NoneNaMey: 這個問題就是我想抓 索引、發文時間以及內文
→ NoneNaMey: http://imgur.com/nDR3sDK
→ NoneNaMey: 以這篇文為例子，總共只有15樓，我抓這行內碼
→ NoneNaMey: 出來的結果卻變成這樣 http://imgur.com/xPr8FMt
→ NoneNaMey: #抱歉 上面少給一張 http://imgur.com/Vlt2oTP
→ TakiDog: 你想要一個xpath抓一頁全部樓層的回覆?
沒錯QQ  而且樓層都要對到
→ alvinlin: 好吧。我大概懂了。但其實沒錯
→ alvinlin: 它中間變空白是因為它有圖及其他內容你沒處理啊
→ alvinlin: https://i.imgur.com/eyVS1QS.jpg
→ alvinlin: 參考這個吧
→ alvinlin: https://devhints.io/xpath
→ alvinlin: 這要再篩選啦，不是用一個篩選器就搞定的。你要再迴圈裡
→ alvinlin: 去判斷
→ alvinlin: 要再*在迴圈裡去判斷其實狀況
→ alvinlin: 其*他狀況
→ alvinlin: 另外，我建議你用Parsel套件。雖然它們可能同樣源自於lx
→ alvinlin: ml套件。但scrapy官方說也可以用bs4只是「它比較慢」（
→ alvinlin: 官方說的）。所以如果習慣bs4倒也不一定非用別的
→ alvinlin: 看起來有三種。chain在一起就行了
→ alvinlin: https://i.imgur.com/3c7b4dQ.jpg
→ alvinlin: https://i.imgur.com/wGfreYa.jpg
→ alvinlin: 看起來有三種。chain在一起就行了
→ alvinlin: 看起來etree和parsel結果有點不同。
→ alvinlin: 你那個應該是把空格strip掉就行了吧
我試過strip()和replace掉空白，只是最主要是PO文者有換行，他的list就多一個值，就對不到了
就像這篇 http://imgur.com/8owWR0I 他換了很多行，出來的結果就變這樣
http://imgur.com/NrDMGSP
→ alvinlin: https://i.imgur.com/CYs1hUf.jpg
→ NoneNaMey: 感謝大大細心的講解~   先把那個網站存到最愛XD
→ NoneNaMey: 等等來研究看看
※ 編輯: NoneNaMey (36.231.93.193 臺灣), 07/09/2020 12:45:37
※ 編輯: NoneNaMey (36.231.93.193 臺灣), 07/09/2020 13:24:18
※ 編輯: NoneNaMey (36.231.93.193 臺灣), 07/09/2020 13:48:43
※ 編輯: NoneNaMey (36.231.93.193 臺灣), 07/09/2020 13:49:14
推 Plot3D: Bs4也說能用lxml就用，快10倍
→ NoneNaMey: 嗯啊，而且速度上真的比bs4快很多
→ alvinlin: 我的是正常的。你用我的code吧。因為parsle是scrapy用的
→ alvinlin: ，可以直接對應scrapy的selector小改即可。而且我覺得如
→ alvinlin: 果你去看你那個網站回文的html結構，其實它真的是有三種
→ alvinlin: 以上不同的結構。
→ alvinlin: https://i.imgur.com/kxEjOJA.jpg
→ alvinlin: 它沒有多很多行啦。就是中間1235樓的內文是空的。你拿我
→ alvinlin: 程式去看每個內文就知怎麼回事了。
→ alvinlin: Btw,bs4也可以用lxml
→ alvinlin: 你的code可能看不出來哪一樓是因為你把它們全混在一起了
→ alvinlin: 。你參考我的再去看文章的HTML就應該懂了。這裡實在解釋
→ alvinlin: 不清楚。
→ NoneNaMey: 感謝alvinlin大的講解，我用你的方法是OK的。
→ NoneNaMey: 結構上我也有發現不一樣，因為發文者換行會多個<div>
→ NoneNaMey: 我是卡在我抓c-article那行內碼時會自動抓子結點分段，
→ NoneNaMey: 導致他list會因此分段，解決辦法就是用你用到的
→ NoneNaMey: following-sibling 不過我還要了解一下XD
→ NoneNaMey: 還有太多我不懂的用法了QQ  只能慢慢學了
→ NoneNaMey: 會想用xpath是因為找工作如果會xpath比較不會被嫌(?
※ 編輯: NoneNaMey (36.231.93.193 臺灣), 07/09/2020 15:54:58
→ NoneNaMey: 我過去是用bs4+lxml解析器，不過速度真的慢xpath語法的
→ NoneNaMey: 很多
推 alvinlin: Ok.讚喔^^