看板 DataScience 關於我們 聯絡資訊
給想入行的人 你有3/4以上的時間都在清整資料 都在想辦法建置資料庫 都在想辦法要如何彙整資料 現在各大社群都在炒作建模 好像這些真的很重要 真的很重要 可是卻不是唯一重要的事情 從SQL或NoSQL資料庫建置 一堆環境的建立 資料進資料庫前的設計規劃 不同資料源間要如何彙整 要如何自動匯入 等到這些東西都弄好了 好來 我們開始去做資料清整 好不容易清整完了 又突然多了一個資料源來 再回去想辦法把資料庫弄好 弄好完再清整 清整完又發現哪邊有問題一直循環 好不容易都弄完了 我們才可能可以開始建模呢! 什麼? 你說你想當「資料科學家」負責建模就好? 你他媽的資料都拿不到手 你以為你可以坐著看大家忙得焦頭爛耳然後爽爽等建模? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.138.88.119 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1521602417.A.0F6.html
Jeffrey11061: 這篇怨念好深啊XD 辛苦了 03/21 12:36
kokolotl: 同意~ 把底層弄好後 整碗就被捧走了 幫QQ 03/21 15:18
kokolotl: 老闆表示:公司內部人員不足,找外部合作好了 03/21 15:20
kokolotl: 然後內部人員繼續苦苦幹黑手 03/21 15:20
kokolotl: 真的只想建模就去提供數據分析服務的公司當小弟 03/21 15:24
chen1025: 八成的時間都是在做資料倉儲 資料清洗 03/21 16:11
sssh5566: 好奇沒有Data Engineer幫忙做這些工作嗎? 03/21 16:48
sssh5566: 我原本是想改朝Data Engineer準備,但看半天時在不知 03/21 16:48
sssh5566: 怎自學 03/21 16:48
sssh5566: 既然Data Engineer缺的人比較多。。何不多開幾個班 03/21 16:49
sssh5566: 目前大多是以教如何成為data scientist的課程 03/21 16:50
applehpsh: 其實我是覺得實務上沒辦法分得那麼細 03/21 17:03
minikai: 這篇才是事實 03/21 17:19
kokolotl: 公司不會多找一個資料工程師,頂多IT抓人來協助一下 03/21 17:31
goldflower: 那是鳥公司吧我想 03/21 18:02
goldflower: 因為大家覺得data engineer不好玩啊 最不爽的部分 03/21 18:03
goldflower: 開課要開有夢的才好吸引人 03/21 18:03
kokolotl: 規模太小 /__\ 03/21 18:20
goldflower: 規模小的公司應該也沒分什麼唉踢啦 大概都全包了QQ 03/21 18:48
kokolotl: 數據分析人員就掛在IT內 說小應該是分析人員規模小XD 03/21 18:56
chen1025: 其實資料清理這些不會太難 都可以自己跳下來做 這樣資 03/21 19:10
chen1025: 料的彈性會很大 我認為不需要分太細 03/21 19:10
chen1025: 而建模是這部分最快的 不過建模好壞 牽涉到你對產業的 03/21 19:15
chen1025: 熟悉性 03/21 19:15
chen1025: 另一點則是 當你對資料處理深入的越細 你就對資料的熟悉 03/21 19:19
chen1025: 度越強 那麼訓練出來的效果會更好 不需要再分資料工程師 03/21 19:19
mk99: 我聽過:「建模已經好了,只需要一點點時間處理資料就好」 03/21 19:20
mk99: 然後我就肯定他真的一點都不懂ML 03/21 19:21
chen1025: 像是資料處理過程中 會感覺到資料分布是稀疏的 還是緊密 03/21 19:22
chen1025: 的 當你有概念時 這個建模就可以參考 有些並不是圖表能 03/21 19:22
chen1025: 馬上體會的 必須要在資料處理中才能發現 03/21 19:22
Kazimir: 難不難看資料來源啦 有一些使用者自定義輸入的 鳩咪窩 03/21 20:08
chungyiju: XD 03/23 11:16
alznn: 真誠推 04/02 14:56