Re: [請益] Data Engineer門檻問題

[leafwind ()]

→ sssh5566: 既然Data Engineer缺的人比較多。。何不多開幾個班       03/21 16:49
→ sssh5566: 目前大多是以教如何成為data scientist的課程            03/21 16:50

除了「model 比較潮、清 data 比較髒」這類潛在吸金難易度的差異之外

提供另一個面向做參考


一個原因是業界不清楚人才需求，所以人才雇用錯置

資料科學（要講AI也行）相關領域還不夠成熟

成熟到足以讓雇主意識到，目前的人力需求是偏向資料工程這一端

https://pbs.twimg.com/media/DHTgw9uXkAQ9MAm.jpg
（完整文章參考文末的 AI 需求金字塔）

非常多的雇用錯置，發生在各公司裡面

比如很常聽到的「學了 deep learning 想要建模，結果上班整天都在清資料」

大家都想用魔法做出小當家料理

很少人願意去摘水果(資料收集)、清洗食材(資料清理）、搬運食材（資料流）、

儲存（資料庫）、毒物檢驗（異常資料偵測）、中間產物（預處理）

這些都還只是拿到可以用的食材而已

還有大量反覆的實驗跟假設等繁瑣步驟要嘗試，才可能到最後的建模

甚至有些時候業界用不到複雜的建模，簡單的直覺作法即可，因為模型差距沒有那麼大

而這些可能還都會被歸類在「無聊」的範疇

不只工程師/科學家不想做，雇主可能也沒有察覺到重要性



另一個原因是養成困難

學校可能不太教資料工程，這不打緊，以前學校也不太教前端或網頁技術

但在資料科學領域，學界與業界都各自還有別的問題，加深了這個嚴重性

一是（至少台灣）學界把資源大量投注在 deep learning

人才及經費資源多少也排擠到其他更下層的領域（下層＝AI 需求金字塔下層）

（雖然這些資源不去做 deep learning 也未必會到資料工程啦..QQ）


再者是即使部分雇主知道資料工程的重要性

但資料工程的技能養成，不像其他領域已經有一套系統性的學習方法能教

幾乎都是 on job training 為主

如果只能拿到死的 dataset，即使數量級夠大，離要解決真實問題還有很遠的一段路要走

借用我之前寫的段落

「可惜的是這些經驗在學校、學術界極難取得，
  如同 Adam Gibson 的訪談中所說，很多東西是只有在業界產品才能學到的，
  像是 ETL、軟體工程、特定領域資料的知識。並且很遺憾地，也無法速成」

以目前資料被大公司壟斷的程度來看

能提供大量真實業務資料的公司，相較於需要的資料工程師缺額，還是不夠

（以台灣的軟體公司數量來看，那差距就更大了）


幸好這領域也慢慢地比較成熟，有很多框架跟知識被建立起來

預期熱潮退了之後，各方也會比較理性，回來檢視真正需要的技能是什麼

國外很多文章都已經有了比較系統性的討論

（上面很多東西也都只是拿人家講過的來用而已，可以看下面 airbnb 工程師的文章）


所以回到原本的問題

只要 1. 業界發現需求在資料工程端，有更多老闆買單
並且 2. 可以在課堂上被某種程度「教學」

或許哪天自學 data engineering 出師也不是不可能吧（？）

＝＝＝

參考資料們：

1. AI 需求金字塔的概念是從這篇來的
https://hackernoon.com/the-ai-hierarchy-of-needs-18f111fcc007

2. 這篇是 airbnb 的工程師寫的文章，非常淺顯易懂
A Beginner’s Guide to Data Engineering—Part I
https://medium.com/@rchang/a-beginners-guide-to-data-engineering-part-i-4227c5c457d7
縮：https://goo.gl/vzDYue

3. 自己的文章，想講的上面都講了，有興趣看其他想法再點吧
https://data.leafwind.tw/build-software-engineering-and-data-culture-before-doing-ai-6e345986f872
縮：https://goo.gl/kdiir2

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.116.34.165
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522248902.A.80B.html
推 Panthalassa: 推好懂
推 ranch941: 謝謝分享!
→ goldflower: 推個  像之前某個人資朋友說他們找data engineer和
→ goldflower: data scientist是1:1  結果到現在都還在清資料
→ goldflower: data scientist處於半掛網狀態
推 woogee: 推，自己在職場上遇到的問題是想要以碼農的方式管理
→ woogee: 常常都要看git上傳了多少Code
→ woogee: 但又不可能效果很差甚至某些只是實驗性套用的演算法都丟上
→ woogee: git管理，然後主管就會覺得好像都沒在做事..
推 lucien0410: 推 好文推廣
推 kokolotl: 老闆覺得：資料工程怎麼花這麼多時間，我要的東西呢？
推 shaform: 之前也有聽某個朋友說他們公司是招 scientist 可是其實
→ shaform: 大部分時間做的事比較像 engineer @@!
推 kokolotl: 看很多104上面的描述，從DB到模型到視覺化都一個人包
推 tay2510: 推這篇
推 clang: 推好懂+1
推 andrewkgs: 推
推 niceallen: 推 感同身受
推 taylor0607: 推