推 ripple0129: Chatgpt問世後未來說不準了04/10 06:13
推 kimoji: 很多資料工程都要值班維運喔04/10 08:35
→ gpctv: ETL很可怕04/10 08:55
推 BigCockman: 身兼backend和data 老闆最愛04/10 09:49
推 hsuchengmath: 要轉data eng ，看他的JD啊，或是去linkedin敲data04/10 12:24
→ hsuchengmath: eng 然後問04/10 12:24
推 acgotaku: 這些都是高級excel 只是工具 沒啥優勢或門檻04/10 12:46
推 acgotaku: AI 取代這種工具類的操作/分析者 是可預見的未來04/10 12:49
推 samhsu: Data Engineer 炙手可熱，就算沒落也可以轉後端，沒道理04/10 12:56
→ samhsu: 不選04/10 12:56
是怕資料工程這塊 是不是需要補很多東西 弄一弄反而沒刷題走後端高？
不然好像刷題走後端比較容易？
→ alan5: 你可以試著取代看看啊 de的重點一直是人不是工具操作04/10 13:00
→ acgotaku: 我沒有說取代de 是取代初級的分析操作者04/10 13:09
→ acgotaku: 因為我認為原po敘述 離 de的能力需求還是差滿多04/10 13:12
→ loadingN: 看你想清資料還是繼續當web仔04/10 13:39
→ DrTech: 身為專業工程師，有時間可以拿實際證據與實作來說明吧。如04/10 13:39
→ DrTech: 果DE可以被AI部分取代，真的歡迎拿實際例子來交流學習。04/10 13:39
→ DrTech: 資料工程師養成，要實務一點，不要會一堆工具，然後什麼都04/10 13:48
→ DrTech: 沒做過。舉例：有10億筆結構化資料，你要怎麼存與查詢，一04/10 13:48
→ DrTech: 秒可以查到？ 朝這種很實務的角度去學，才是正軌。沒環境04/10 13:48
→ DrTech: 就自己造垃圾資料，架虛擬環境來玩。04/10 13:48
→ DrTech: 只是用過工具，然後一遇到實際問題就掛，可能很難找類似工04/10 13:50
→ DrTech: 作。 04/10 13:50
推 Hsins: DE 在處理的主要業務不是分析操作，樓上 DrTech 說的才是 D04/10 14:36
→ Hsins: E 在關心的，需要根據業務需求規劃資料生命周期內的資料儲04/10 14:36
→ Hsins: 存方式跟型態，說是高級 Excel 工具是在哈囉……04/10 14:36
推 abc65379: 看起來你想走運算平台而不是倉儲？04/10 15:00
對應該是資料工程那塊 倉儲應該算是資料分析？
可能比較像Ｄ大跟Ｈ大說這樣 因為我也是自己摸索來用 但說是高級EXCEL工具是有點怪
啦
這些框架大方向應該都算是強調大數據資料可以更快速的吧
推 Sunal: 原來現在DE只是專注工具的使用?那被AI取代剛剛好04/10 16:00
推 cmcer: 大家都預設AI不能解決實務的問題也是挺值得討論的點04/10 16:22
→ alan5: 解決老闆不想用rdb想用mongo存結構化資料的問題04/10 17:15
→ alan5: ai應該會叫我解決老闆04/10 17:15
推 breccia: 說mapreduce Apache Flink是高級excel是在搞笑嗎= =?先搞04/10 17:30
→ breccia: 清楚資料分析和data engineer的區別好嗎04/10 17:30
推 TAKADO: 好的DE跟日本原裝壓縮機一樣十分稀少，要對domain 的深入04/10 19:45
→ TAKADO: 理解跟大量的技術與經驗積累。遇過那種高手就知道，本來只04/10 19:45
→ TAKADO: 能等都更炸掉重改的中古垃圾屋，都能給你翻成漂漂亮亮的北04/10 19:45
→ TAKADO: 歐風溫馨文青宅。04/10 19:45
推 kero961240: 想詢問哪裡可以學到相關知識04/10 20:47
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 22:34:30
→ Hsins: 倉儲是資料工程喔，經典著作 The Data Warehouse Toolkit 04/10 22:58
→ Hsins: 有時間可以慢慢翻一下。會說是高級 Excel 工具應該是指看到 04/10 22:58
→ Hsins: MapReduce 的部分，但這種操作並不是只能用在分析上…… 04/10 22:58
哦哦 謝謝Ｈ大 我想了一下 現在業務上是用hadoop Flink這類的大數據框架 去應用
似乎好像比較偏向資料分析這塊不是資料工程？
聽起來只會應該這類框架還是需要補足很多相關知識才能走這條路？
那感覺是後端那種單純刷題會容易一些？
我目前是因為剛好接觸到 所以才想說有沒有走這條路的可能這樣
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:11:48
→ Hsins: 至於待遇跟薪水問題，去看 DrTech 寫過的某篇文吧，國家跟04/10 23:09
→ Hsins: 產業的權重會比職稱和使用的技術要高，你說資料工程跟後端 04/10 23:10
→ Hsins: 來比誰高，不提產業也無從比較起… 04/10 23:10
→ Hsins: 框架的大方向未必是處理效率問題，有的是處理擴展性問題 04/10 23:13
→ Hsins: Hadoop 生態系沒有偏向資料分析呀~ 至於 Flink 是是為了處 04/10 23:16
我感覺會用這個應該主要是想用分散式集群的功能運算吧 把那些資料套用個什麼規則 整
理出某個 人能參考依據 這樣聽一聽 跟我實際摸索 好像真的不是會用一點工具就能往這
行走
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:25:55
→ Hsins: 理一些需要實時計算的資料的，當大量資料實時產生的同時需 04/10 23:18
→ Hsins: 要分析計算會用到，要看一下你現在的業務到底接觸的是哪一 04/10 23:19
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:27:12
→ Hsins: 越接近用戶端使用的部分，相較是比較簡單的，上面 D 大提到 04/10 23:29
→ Hsins: 的，是偏向於提供資料使用人員（DS/DA）去做的 infra 04/10 23:30
→ Hsins: 多數 DE 會在串接跟維護 Data Pipeline，你說的套用某個規 04/10 23:34
→ Hsins: 則去整理出某人或是某個部門的資料，可能只是這條 pipeline 04/10 23:34
→ Hsins: 上，某一個資料出水口需要做的事~ 要挖的東西是滿多的，有 04/10 23:35
→ Hsins: 興趣可以從這個方向開始切進來~ 04/10 23:35
→ Hsins: 的確在有些公司 DE 除了基礎服務設施和資料處理之外，還要 04/10 23:37
→ luce: 現在有人在用mapreduce? 我還真的沒在商業產品上看到過 04/10 23:38
→ Hsins: 包山包海去處理分析和視覺化… 04/10 23:38
→ alihue: 公司資料量夠大都要靠 map reduce 來做分散式處理吧…幾 04/10 23:42
→ alihue: 億筆資料的 indexing 難到你要一台機器做 04/10 23:42
→ alihue: 還有大量 log 的 data pipeline，use case 很多 04/10 23:43
→ Hsins: 還有不少用 Hive 的，背後做還是 MapReduce，現在的確 Spar 04/10 23:54
→ Hsins: k 跟 Flink 居多 04/10 23:54
→ alan5: 只是比較沒有純寫mapreduce 框架背後還是mr啊 04/11 12:17
→ alan5: de會去服務使用flink分析的user de就要了解flink 04/11 12:19
推 ab07275566: DE 是個坑，每家DE 要的技能點可能都有點些許不同，進 04/12 09:44
→ ab07275566: 來會發現包山包海，什麼能力都要，可以多看看，再看要 04/12 09:44
→ ab07275566: 不要走 DE 04/12 09:44
推 weinine32: mapreduce早被淘汰了，居然還有人在用Zzzz 04/12 10:00
推 daydream772: 分散式運算被後概念就是mr啊，還是你以為跑spark就 04/12 14:54
→ daydream772: 不是MR 04/12 14:54
→ weinine32: 那你應該先學Java，順便把原始碼、論文看一看，加油 Zz 04/12 18:18
→ weinine32: zz 04/12 18:18