推 ebullient: Prefect, Dagster 04/13 13:04
推 hsuchengmath: 最彈性的作法應該還是寫個script用排程來調動 ，air 05/01 09:35
→ hsuchengmath: flow之類的 05/01 09:35
如標題
敝人有一個case需要定期從某個api取得資料 稍微處理 並塞入到指定db中
同時往後有其他api資料來源的話因為格式可能不同
需要做針對異質資料來源其他處理模組 整合成統一格式再塞入
簡單來說就是整合異質資料並同質化的data loader
除了用比較土炮的爬蟲腳本服務化之外
還有比較好用的方式嗎
企業方向的解決方案也可？
感謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.11.173 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1649821270.A.231.html