作者paranoia5201 (社會黑暗、行路難)
看板Python
標題[問題] 爬蟲:換頁與主題的雙重迴圈
時間Tue Mar 5 17:36:21 2019
我正在學習網路爬蟲,有個小問題想請教。
以下是我的想要爬的網址,有略作修改:
'
https://MainAddress?Page=1&city=tpe'
簡單而言,Page有超過200頁,而city有近30個。
想到一個簡單的做法是,把網址書寫如下:
link = '
https://MainAddress?Page={}&city={}'.format(n,m)
換頁的部分想到用下面的方式寫:
n = 1
while n < total_pages:
print(link, n)
n = n + 1
但是如果還要加入city的m......我就暫時卡住,不知道該要怎麼包了。
有什麼建議的方式可以把它全部包起來嗎?
p.s. 有個list把所有的city都先羅列出來,或許可以用它包第二層迴圈?
感謝指導~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.216.102.143
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1551778584.A.2CA.html
→ HenryLiKing: 網址連不到欸 03/05 17:41
推 nini200: 通常page和city有著順序關係 但你這裡我看不到 03/05 17:43
→ nini200: 直接給網址最快 不用猜你可能錯誤的想法 03/05 17:44
→ adrianshum: for (n,m) in {page,city for page in range(total_pa 03/06 06:52
→ adrianshum: ge) for city in city_list}: 之類? 隨便寫 syntax 03/06 06:52
→ adrianshum: 應該有誤。沒記錯的話 generator expression 或 list 03/06 06:52
→ adrianshum: comprehension 可以用兩個 for然後給出所有組合 03/06 06:52
→ adrianshum: 不然就直接寫對應的兩層for loop 就好 03/06 08:46
→ HenryLiKing: 大家太認真了 感覺他不會回來解釋和放網址了 03/07 00:49