Re: [請益] ML 技能樹要怎麼點

[lion741205 (獅子)]

原PO論文是做NLP相關的研究，我目前剛好也在專精NLP技術的AI公司；這邊直接以敝公司
的產業為例，在不涉及公司機密的前提下，回答您的問題，同時希望用較小的篇幅，為大
家揭開這個產業的神秘面紗，也歡迎有興趣的人加入NLP/AI產業。

公司主要業務是為電信、金融、政府及電商等領域，導入人工智慧技術及平台，最常幫
一些頂級客戶建置Chatbot等系統，來降低傳統客服的人力需求。

一般NLP/AI公司研發中心可以分為下列部門(舉例)，橫向為各部門名稱，縱向為組織架構:
A. 研究院 / 知識研究部(研究)
B. 自然語言理解(Natural Language Understanding)研發部/語音研發部(研究及應用)
C. 基礎研發部 / 雲端平台研發部(應用)
D. 產品測試部
E. 解決方案部
F. 專案實施部(應用)

NLP/AI產品開發流程：
1. 研究院負責與大學院校合作，閱讀論文並研究前瞻技術後，將研究成果提供給NLU研發
部。同時通報專利申請單位，將有價值的技術註冊成專利。
2. NLU研發部將研究成果，實作成底層引擎，並將其轉交給基礎研發部。同時通報專利申
請單位，將有價值的技術註冊成專利。
3. 基礎研發部負責市場調查、設計產品，並撰寫前後端邏輯，將引擎包裝成
Chatbot/Recommender system等產品。同時通報專利申請單位，將有價值的技術註冊成專
利。
4. Chatbot等產品的基本內容及行業知識，由知識研究部負責建置，如標註資料、建置知
識、知識圖譜、預置行業包等。
5. 解決方案部負責將Chatbot/Recommender system產品的各項能力，打包成各個行業的
解決方案，提供給業務單位兜售。
6. 如果客戶有興趣，專案實施部會使用該Chatbot/Recommender system等產品/解決方
案，為客戶無償做POC(Proof of Concept)；如果客戶滿意其成果，就會簽約付錢。
7. 專案實施部再根據合約內容完成Chatbot/Recommender system等系統建置及介接API
等二次開發工作，並提供售後維護服務。公司每年再收取License、維護及再開發費用。

若你有志投入NLP/AI相關產業，可以往以下幾種部門走，但著重的技術都不同：
A. 研究院：一般使用Python語言及TensorFlow、SKlearn、PyTorch等框架研究算法（
Algorithm），如分解詞性(Part of speech)、語法分析(Syntacitic analysis)、語意分
析(Semantic anaysis)、生成文法(Generative grammar)、詞向量(word2vec)、BERT等。
B. NLU研發部：由於Python不適合用於大規模平行計算(Parallel processing)，這裡常
使用Java語言，Mahout、Deeplearning4j等框架在Hadoop及Spark上實現算法、引擎、訓
練及部署模型。
C. 基礎研發部：這裡就比較沒有局限了，什麼語言和框架都可以用，譬如使用Java語言
及Spring MVC框架，撰寫後端邏輯，將底層引擎包裝成產品；以及使用Javascript語言、
React或Vue等框架開發前端。
D. 專案實施部：根據客戶需求選擇語言及框架，透過Chatbot/Recommender system等
產品/解決方案為客戶二次開發。


※ 引述《anivia0428 (AniviaGod)》之銘言：
: 小弟目前就讀119資管所 碩一
: 碩論是做NLP方面的東西
: 進研究所前寫Android App工作一年
: 現在對於畢業後要做的工作有點迷茫
: 目前想法有兩條路：
: 1. 把全部時間都拿去研究machine learning, 爬了板上的文-資料科學家工作分享
: 與 AI 產業觀察, 資料分析師, 科學家，工程師, 還有機器學習工程師在台灣好像
: 都是一起做的, 沒有在算分開職位，所以要學的東西其實蠻廣的，目前有開始在做
: Kaggle的東西, 然後日常就是看ML的論文(大部分是DL)然後努力實作, 然後念相關
: 的數學, 這樣持續一年半, 有辦法找到相關還不錯的工作嗎？爬文看到ML的缺似乎很少
: , 感覺要研究到很頂尖有辦法做這方面的東西, 所以想上來問問看這條路該繼續走嗎,
: 還有是不是有什麼技能樹要特別點的, 目前主要就是用sklearn和pytorch, hadoop或
: spark需要去學嗎？
: 2. 除了做論文的時間，其他時間都去摸java後端, 花一年半努力去做一些作品，
: 然後以後就靠這個吃飯, 選java的原因是想說對java很熟，然後銀行的缺感覺很多都是
: 找java的工程師, 所以寫得好去銀行養老沒問題, 上週去台大博覽會的感覺是,科技業
: 大公司感覺都不太想找資管的寫程式，職缺上面列出來的科系鮮少有資管的, 不過前幾
: 天台積電的學長po文説在找寫java spring的, 所以可能進科技業還是有機會, 所以目前
: 就計畫說那可以考慮摸java後端
: 然後猶豫的點就是，感覺走java不怕找不到工作, ML要要很強才會比較好找工作, 所以
: 希望板上的強者們可以給點建議, 謝謝。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.42.162.67
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1553106792.A.7F6.html
※ 編輯: lion741205 (114.42.162.67), 03/21/2019 04:10:50
→ aacs0130: 推大公司架構心得分享
推 ian90911: 感謝分享
推 XP: 推
推 king22649: 現在真的有大公司在用train出來的產品？？頗懷疑
→ king22649: 我指chatbot
→ king22649: 玩過一些簡易客服的 像win10的客服 沒幾句就轉真人了
→ king22649: 再不然就是一堆選項 不照著走 根本沒反應 跟語音/圖像
→ king22649: 辨識比起來 chatbot似乎都只是跑流程而已
為了控制對話合宜，並深入探討輸出原因，敝司Chatbot是混合引擎，系統會先走基於語
意理解、推理模型流程，如果無法找到答案，才會走基於深度學習模型流程(詞向量)
推 Morphee: 總監年薪有破150嗎？
→ DrTech: 真的有一堆train出來的對話或翻譯產品。而且都幾億人在用
→ DrTech: 。不過不在台灣。
→ DrTech: 實務上，用檢索的方式比較好維護。
敝司也不在台灣
推 king22649: 上億人使用且是train出來的chatbot 中國的小冰?
→ king22649: 有公開可以玩嗎? 想玩玩看ww
→ DrTech: 不過想不透幹嘛一定要用Java 的dl4j, 效能好差
→ DrTech: 我有在用小冰，他們最近發了幾篇論文，蠻值得閱讀的。
推 king22649: 貴公司有做自己公司的客服ai在網站嗎? 想玩玩
已用站內信提供給你
→ ice80712: 原來不在台灣...我想說鬼島什麼時候有這麼好的環境
推 touurtn: 如果總監沒破150的話... 不如去投下面的博弈業
推 Morphee: 台灣問150 大陸也問150 人民幣而已
推 Morphee: 這看起來是M社啦 換算台幣年薪税後應該350以上才對
敝司沒那麼知名的 但M社在這個領域的確厲害
推 hahach: 方便私訊了解貴公司產品嗎？ 我接觸的台灣 chatbot 廠商
→ hahach: 還未看過這樣的技術階層規模
推 johnny820515: 我自己也是做chatbot的，想看看貴公司產品方便嗎？
推 tonyadsl: 感謝
推 fantasycloud: 你好，目前敝公司正在找chatbot解決方案，希望可以
→ fantasycloud: 深入了解
推 shallmay: 想了解產品+1
推 baseguard: 想了解產品+1
推 TAMSHUI: 想了解產品+1 感謝！
已私訊提供
※ 編輯: lion741205 (114.44.53.191), 03/26/2019 13:56:37
推 Transfat: 推
推 aacs0130: 想了解產品+1
推 IamCobalt: 很有興趣 想更進一步瞭解
推 s1001643: 想瞭解產品+1 感謝~~
推 stu1130: 想了解產品+1