推 sky800507: (作筆記),感謝分享 11/10 13:42
推 neo5277: 推分享 11/10 14:32
※ 編輯: pelicanper (202.160.48.168), 11/10/2016 15:32:19
推 drajan: ETL有很多面向 單純論datawarehousing 可以用Apache Kylin 11/10 18:09
推 kenshin528: ETL 很廣的 而且你說的工具有些小公司也不會用 11/11 09:44
※ 引述《sky800507 (B翰)》之銘言：
: 想請問一下各位前輩，小弟在許多職缺上面都會看到需要懂ETL,一般業界認定的懂ETL的
: 標準大概怎麼看? 有推薦學習的書籍或管道嗎，感謝!!
ETL有的時候也可以是ELT,要怎麼做說實在要看施作的環境
Data Warehousing有幾種不同的模式,尤其是現在需求和支援的軟體都越來越複雜
比較成熟的像是Kimball的Dimension Modeling,大部分搭配Wherescape Red
和MS SQL Server,重點是要把Slow Changing Dimension的觀念搞懂
Informatica是屬於比較彈性的軟體,不會像Wherescape Red跟Kimball綁得那麼死
作為ETL,Data Quality,Data Management都不錯,但是缺點是Informatica用的是
Pipeline模式,很多時候效能並不是很好,但是V10以後有Big Data模組可以像是
Scheduler軟體(像是ActiveBatch)一樣跑在別的平台上,尤其是Hadoop
是可以解決一些效能的問題...
ETL最難的部分是怎麼樣可以產生適當的Data Granularity
譬如說給每月和每周的Fact Table可能在ETL的過程中截然不同
Staging做得太鳥也有可能造成資料庫負擔太重
我個人覺得這個領域需要蠻長一段時間去看到全部的面向
能真的請到ETL的高手是公司的福氣
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 202.160.48.168
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1478754873.A.CFA.html
※ 編輯: pelicanper (202.160.48.168), 11/10/2016 13:17:50