Re: [請益] 該點哪些技能?

[lovdkkkk (dk)]

個人之前研究所剛好也是唸資料探勘、機器學習的,
一點看法

演算法 OS
  要大概能估算運算次數、資料所需儲存空間
  除非公司超級有錢, 可以給你滿滿的記憶體
      或者超級悠閒, 可以放給它跑十天半個月
  不過就算這樣還是不能太兩光, 弄到要幾 T 空間或跑上年...

Scala (for Spark)
  雖然有 SparkR 可以用, 但印象中速度差很多,
  要用 Spark 的話可以考慮學個 Scala
  可是直上 Scala 有點虐...個人建議 JAVA -> Scala

  當然若 R 效能有大躍進, 或者 R 可以很方便轉 Scala 就不需要了

"資料來源" 的驗証...欸?
  在研究所時期, 有很多固有知名的公開資料可以拿來跑,
  但出來工作後很囧的一件事情是,
  資料來源 "不一定" 可靠

  比方假設是要分析電商網站的 GA (Google Analytics) 資料好了,
  有可能一個不小心, 攻城獅會在頁面多次載入 GA,
  造成所紀錄的資料嚴重失真
  也有可能本身操作流程上, 就是會寫入多餘的、重覆的資料

  所以有必要的話, 可能得自己檢查記錄原始資料的過程有沒有問題,
  比方可能需要有透過瀏覽器開發者工具檢查 request 有沒有亂發,
  或有個乾淨的獨立環境能讓你單獨操作做檢驗

  這部份比較不算技能, 算重要的注意事項,
  但是如果一開始儲存的資料就有問題, 之後再怎麼處理都是浪費生命,
  也是蠻重要的

相關專業或雜學
  比方要大~~~數據預測股票走勢或景氣,
  會一點總經、財會、交易心理學等等,
  會比較知道怎麼 選方法 設規則 調參數 重要的屬性 等等

其實個人是覺得, 假如目標是把事情 "做到好" 的話,
很難有明確的分界說什麼一定可以不用會,
有機會、有興趣的話, 能學盡量多學, 也不會有什麼壞處


※ 引述《linkpon5566 (大將軍 五六)》之銘言：
: 小弟應數出身   目前是統計碩  還沒畢業
: 本身是滿喜歡統計   但不看好純統計在台灣的發展
: 再加上對資工的東西有興趣    故想往資訊領域走
: 大概是   人工智慧.資料科學.大數據......etc.
: 這一類關鍵字的工作
: (長期在板上潛水，對這些關鍵字有一定的認知)
: 目前的技能：
: 統計相關模型.分析，程度應該還不錯(畢竟是統研...)
: 機器學習 : MLP.SVN.CNN.RNN.....etc.
: 主要是用tensorflow + Keras，但也可以自己手刻、數學推導
: 有Kaggle影像辨識前10%成績
: R語言
: python    目前主力
: C         指標.結構.記憶體都有一定的熟練度
: linux基本操作
: 目前coding能力
: 可以說  只要數學上看得懂的演算法   花時間就有把握實現
: 當然  速度跟品質還在琢磨
: 下個學期已經預定會修  資料結構&演算法
: 還剩一個學期畢業  論文也差不多了
: 想請問該點哪些技能   對求職比較有幫助??
: 目前考慮的選項：
: 離散數學.計算機組織.作業系統(資工6科)
: 資料庫(完全沒學過)
: Hadoop, Spark
: C++ (有物件導向觀念，但沒碰過C++)
: Java
: 或是其他建議也可
: 謝謝各位為大神

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.163.80.109
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1518058135.A.B00.html
推 maxqq: 看你要去哪國，在台灣的話，全點 還不一定高薪
台灣薪水 不期不待 沒有傷害 QQ

推 ggggggh: 台灣請點Ｃ
現在還用 C 自己刻 有點屌

推 Catbert: 最該點的應該是嘴砲XD
行走江湖是這樣沒錯

→ dreamnook: 最該點的就是詐欺(X
實際上 一堆拿著沒驗証也沒清理的資料在畫虎藍的
真的跟詐騙沒兩樣 QQ

→ jerry771210: 也有pyspark啊
試論 python 與 R 的效能優劣 XD

※ 編輯: lovdkkkk (118.163.80.109), 02/08/2018 23:16:47