[問題] 取得大量數據的管道？

[dharma (達)]

一般人能拿到的大數據資料

除了股市、政府公開資訊(例如氣象)

還有自己爬蟲爬網頁

之外可能還有什麼門路取得大量有品質的數據？

且不用花什麼錢的


一般人指的是沒有身在什麼學術/研究單位

或相關的職場單位

thanks

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.72.78.253
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1547774508.A.A88.html
噓 ruthertw: 說個笑話,某美商大廠得意台manager,他只要把頭放在NB上,
噓 ruthertw: 任何已分析好的數據都會源源不斷的流入公司data center
推 michellehot: PTT
推 kaltu: 印象中有個dataset搜尋引擎
→ kaltu: 不然就kaggle之類的各種challenge網站下載他們的
→ kaltu: 醫學影像很多公開的像BraTS、ProstateX
推 sean50301: https://toolbox.google.com/datasetsearch
→ sean50301: 拿去不用寫ㄌ
→ sean50301: 謝
→ cplalexandta: GCP的Big Query有蠻多真的big data
→ Neroth: 可以去SRDA註冊, 上面有不少資料可以用