[問題] 爬蟲資料存入db 並製作成api

[relievezaoc (Nine9)]

目前的需求是想要將資料爬下來之後，再將資料存起來

並且可以做成一支api，讓手機app呼叫直接取得json資料

google之後的想法如下:

1. 寫好一個爬蟲的py檔, 並且將資料存到db

2. 要找一個平臺, 可以定時執行py檔（這樣app才能一直撈到最新日期的資料)

3. 要找一個平臺, 可以將db的資料變成api, 直接讓其它人撈取
   (想要讓app可以call一段網址就能拿到資料, 就像openData一樣)

--

目前找到好像（？）可以實作的平臺是heroku

發現按照想法做，好像還要花上很多時間研究

例如爬到的資料要存到heroku的db 一點也沒看懂怎麼做3口3

更不要說怎麼弄成api 實在不是複製貼上馬上就可以看到測試結果的XD|||

想先確認想法沒有完全走歪囧

請問這樣的想法有問題嗎？或是有沒有其它的方式呢？

--

目的是想要練習自幹前後端XD~~

後端負責把資料弄好, 手機app只要拿資料就對了XD"

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.179.223
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1524130786.A.536.html
推 gojane20: 第2點可以用windows內建的工作排程器定期執行py檔
唔 可是電腦會關機...@"@>
→ uranusjr: Heroku 確實可以
感謝XD!
推 vi000246: api可以用flask或hug來做
→ vi000246: 上傳到heroku就能寫手機app去call這支api
如果熊熊搞不定heroku的db跟排程, 就用內建排程+flask試試@"@+
推 fiorentino: 用flask 寫個Restful 的API server再用uwsgi運行，放d
→ fiorentino: igitalocean也可以
感謝提供其它方法 查了一下DigitalOcean居然沒有free(驚
暫排後補解法+v+>|||
推 TitanEric: 我有做過類似的 是存在MongoDB然後用Flask做一個rest A
→ TitanEric: PI
→ TitanEric: 補充一下排程我是用Linux的crontab就是了 要有server就
→ TitanEric: 是了
感謝提供其它解法 嗯？直接用Flask就可以做API出來？我好好研究一下Flask是什麼囧
→ coeric: google cloud platform
感謝提供其它解法 google居然也有這種功能@口@+ 插隊先研究googleXD!!
推 f496328mm: 可以用 MySQL   免費好架
→ f496328mm: 我目前是用 crontab 每天抓data  存在MySQL
→ f496328mm: 也有對外IP   只差在手機 app
→ f496328mm: 如果是用中華電信  可以免費申請固定IP
→ f496328mm: 再用  NO-IP 去轉成實體網址
咦？MySQL是指搭配phpMyAdmin那個嗎？那不就是把自己電腦當server嗎？
這樣電腦關了不就問網址就會拿到404嗎@_@？
→ coeric: 回樓上，既然都用no-ip了 ddns也可以處理這類問題
推 Falldog: AWS lambda可以考慮一下
感謝提供其它解法 哦哦 是amazon的 也有免費用 加入口袋名單@_@+
推 chessman416: 資料量體不大的話說不定google app script就可以解決
→ chessman416: 也有排程可以設定，也可以透過get或post拿資料
感謝速解法@口@ google試算表有那麼厲害@口@!!!! 再...再插隊研究這個XD!!
如果可以最快最簡單弄出一個會動的東西  實在是很大的動力啊TvT
※ 編輯: relievezaoc (61.231.52.105), 04/20/2018 13:32:58
→ chessman416: http://jamyy.us.to/blog/2015/06/7555.html
→ chessman416: https://tinyurl.com/yd6fv9h8
→ chessman416: https://tinyurl.com/y9e7hgt7
→ chessman416: 可以參考這幾篇，基本上運用方式很多元，小而巧
→ chessman416: 臨時搭建小服務很方便，我也有掛line bot的服務在這
推 vi000246: 感謝分享 原來app script也能寫api
推 Luluemiko: 推