[問題] 爬蟲下載影片 愈到權限問題

[neiltsang (楚留香雞排)]

如題目


我在下載某公開課的影片  基本上網站原始碼就可以看到url了

格式.mp4清清楚楚

不過後面會用"?"來加上一串字符  當作辨認權限



ex:
mp4.?e=1593381585&ri=1024&rs=85&h=d70001afb7cc65a247c2af14c1a242dc'


而小弟本人使用以下方法來下載影片  :


import requests
import shutil

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        with open(local_filename, 'wb') as f:
            shutil.copyfileobj(r.raw, f)

    return local_filename



除非影片本身純粹是.mp4 否則加上?後一串似乎就無法requests

成為Invalid argument  想請問各位該如何解決?


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.220.255.143 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1593373314.A.329.html
→ TakiDog:  去觀察是不是需要攜帶header or cookie吧
→ neiltsang: 我有加了 不是這個問題 主要是網站後面要加一串碼 但加
→ neiltsang: 了不知道該怎麼下載
→ kenduest: 若只是純 url, 你開無痕瀏覽模式瀏覽器貼上去是否可下載
→ alvinlin: https://curl.trillworks.com/
→ alvinlin: 細節網頁裡有
→ salmon12706: 工研院人工智慧課程推薦https://reurl.cc/4RDRaK
→ TakiDog: 你requests url有query string他也會一起送，爬蟲要模仿
→ TakiDog: 整個瀏覽器，先跟k大說的你用無痕看能不能載
→ TakiDog: 你貼的function中requests也不是session 你試試看吧
→ alvinlin: 和無  沒關係吧
→ alvinlin: 無痕*
對的  跟那個沒關係xd  我發現是因為存檔名稱是非法字元
所以檔名用000來排列就沒問題了

謝謝各位
※ 編輯: neiltsang (61.220.255.143 臺灣), 06/29/2020 21:32:04
→ TakiDog: 用無痕可以快速排除是不是會檢查cookie
推 vi000246: 其實你用無痕貼上mp4 url就能知道是哪邊問題了
→ alvinlin: 我看解釋是無痕會"自動移除"cookie,不是檢查.純討論非戰
→ alvinlin: 像這個網址我看不出來有什麼不同
→ alvinlin: https://tinyurl.com/ycjrop3z
→ alvinlin: 但你可以看到該url被拆解成不用成份
→ alvinlin: https://i.imgur.com/xj13rfg.jpg
→ alvinlin: 不*同成份