Re: [討論] 資料分析的門檻

[liton (歐吉桑留學生)]

這篇回文我糾結幾天在想要不要回  要怎麼回
這一年來有在高中或是大學教書的同學或是親戚在問我,
怎麼讓學生知道這個行業在做啥  讓他們知道要怎麼學習
在這順便做個初步整理
---
我在台灣做了超過10年的信用風險模型
目前在大陸的互聯網行業
對我來說  把變量和模型丟進去算可能只占我5%的工作時間
其他的雜事占了我95%的工作時間

這95%的時間在幹嘛呢?

1.1 甲同學我要他做個增減量的特徵變量,
    結果說了好幾遍還用var算,還回說是一模一樣的東西..好吧我自己動手

1.2 乙同學對本組有著不切實際的幻想而申請轉崗到本組
    以為模型是很神奇的完全不想做贓活清數據做變量庫..TMD又是我做

1.3 丙同學模型做好XGBOOT後整包給負責上線的同學,中間層的變量完全沒設計變量庫
    現在哪偏掉了了都不知道  只能找另一個同學丁接手重建

1.4 丁同學調參之後上線但中間層近萬個變量也沒留
    只好找戊同學產出中間層變量的月切片追蹤模型表現

1.5 對了,甲丙丁同學剛畢業不久,還是習慣將server上的資料下到本機...一次幾十G
    數據安全部門同學不爽了  我又得擦屁股了
    跟老闆凹了台128G的linux,架上Jupyter和mysql連接上Hadoop暫時解決這問題

模型推進的過程中也一直遇到問題
2.1 不管是做傳統模型的甲同學  或是機器學習模型的丙丁同學
    都是埋頭猛做,跟他們說應用場景,資料覆蓋率,客戶畫像,數據源穩定性分析要先做
    結果每天都在鑽研算法 然後忽然要老闆接受一個新模型
    只要叫戊同學趕緊用SAS把這些前期分析補上了

2.2 跟乙同學談了好幾遍變量設計
    他拿客戶三個月的通話紀錄做變量,算出一些我看不懂跟預測變量有啥關係的特徵
    市內電話占比/手機通話占比/有撥出有撥入的電話佔比
    好吧  既然他沒事先問就先算出來了  我問那方向性呢?越高越好還是越低越好?
    他說看數據算出來如果參數是正就是越高越好 負的就越低越好(我臉上三條線)

    另外他也處理了一些財務變量  例如  毛利率/營業收入
    我問:如果營業收入是0怎麼辦?空值嗎?
         如果毛利率和營業收入都是負怎麼辦?跟兩個都是正數一樣嗎?
    (雖然這模型是我負責..還好最後沒上線)

最蛋疼還是平台問題
3.1 我們有hadoop  各種各種前端業務庫的mysql
    有的小夥伴在container上使用python  有的在linux上使用impala和hive連hadoop
    有的做監控的小夥伴用SAS
    有些數據在某些平台跑不動 有些平台卻沒連到某個庫
    不同平台的SQL語法不同  python2和python3的語法差異也困擾很久
    結果是我的東西你用不了  你的東西要用scp或用sqoop轉幾次
    NAS在123機房  計算平台卻在456機房  要連就要物理連接
---
恩  幸好我擠了5%的時間開發自己的模型

其實我想做數據科學家啊
https://imgur.com/P2TGXvr

5%的時間做模型  95%的時間做ppt

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.216.183
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1556471434.A.77E.html
推 sma1033: 看來在業界做dirty work的時間比例較高好像也滿正常？
我想強調的是這行的dirty work不是只有dirty data
系統  計算引擎  存儲的整合都是dirty work
→ sma1033: 其實根本就人人都是data engineer...
推 KuChanTung: 辛苦了
這行本來就這樣沒啥辛苦的
只是希望還在念書同學的不要有幻想  趕緊念書做些專題
台灣比較可惜沒實習
這邊大四生和碩二生已經到各公司實習知道產業在做啥
→ sxy67230: 真的有心搞高深算法的，出國唸博真的比較多機會。台灣要
→ sxy67230: 在業界要搞高深理論太難了，真的實作出來，你想實踐也要
→ sxy67230: 說服老闆，老闆通常不是搞這塊出生的，也只會出事在把
→ sxy67230: 問題丟給你
→ ice80712: 結果跟應用 遠比其他什麼理論重要
有個比較大的相關問題  也是從業人士很痛的一點
互聯網行業老闆還知道數據和模型的限制
但其他行業如果模型不準的話  老闆會怎麼處理?
所以衍生出來平常怎麼跟老闆匯報階段性成果
或是有些人說啥話老闆就信 我說啥話老闆就不信
不能賭最後一把模型準不準
推 ruokcnn: 好奇2.2 丟xgb有辦法先預知變數是正相關嗎？
→ ruokcnn: 如果跟其他變數一起做判斷的話變量設計可以怎麼進行呢
這是對於資料的敏感度
例如xgboost漏了一個字母  跟是不是抄襲是正相關?負相關?不相關?
在做特徵工程的時候總該有個想法

推 alibuda174: 辛苦了
推 tipsofwarren: xgboost吧？啥xgboot 這文章是不是抄對岸?
漏了一個字母能推斷是不是抄襲..你確定你適合幹這行?

推 goldflower: 樓上邏輯很屌 推個
推 thefattiger: 高深算法全世界也就幾個頂尖團隊在推進而已
→ thefattiger: 一般人真的別想太多，做應用也沒什麼不好
→ thefattiger: 話說任何領域的scientist本來就都是高門檻職缺
→ thefattiger: 不懂為什麼到這領域就大家都想當data scientist
https://imgur.com/6fQAp0Y
※ 編輯: liton (1.34.216.183), 04/30/2019 03:50:32