[請益] 關於 NLP 如何自學(書/公開課程)?

[cylee (Artisan)]

Hi 各位先進，

本人背景是畢業很久的資工碩，目前從事 infra 開發的 back-end
engineer，目前待的公司準時上下班，想學些能累積技術的主題

熟悉的語言有: C++/Python/Rust

因為在學時完全沒接觸過，想請問有碰過的先進們，自學的話有沒
有推的書、公開課能分享。另外 NLP 現在業界真的拿它來賺錢的公
司/組織是不是偏少(台商)，還是只是我沒碰到而已?

謝謝各位

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.229.53.217 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1653736816.A.47C.html
※ 編輯: cylee (36.229.53.217 臺灣), 05/28/2022 19:23:13
推 Lushen: 唯一推薦台大李宏毅
→ Lushen: https://bit.ly/3M35yFa
→ Lushen: 基本上算台灣講的最通俗易懂了
→ Lushen: 尤其推薦他的 ML 課程 講的真D猛
推 pha123661: NLP線上課程推薦 Stanford CS224N:
→ pha123661: https://www.youtube.com/playlist?list=
→ pha123661: PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ
推 NTUmaki: 台大2個教授有開放課程又有名的就是做NLP的 可以先看他們
→ NTUmaki: 的影片（陳  儂、李宏毅）
推 kkes0001: nlp只碰過學界的居多，業界很少
推 ElegonSin: 看教授影片+自己動手玩玩看簡單的
→ ElegonSin: python 我推simple transformer
→ ElegonSin: 我覺得NLP最常見的應用可能就像是YT的推薦影片
推 oachan: 電商搜尋、推薦、對話機器人、RPA也是有不少題目可以做的
→ DrTech: 差很多吧，推薦系統recommendation 與NLP，與搜尋引擎，在
→ DrTech: 學術界，業界完全是不同專業。
→ DrTech: 除非你去爛公司，亂做一通沒實戰的公司，不然你做search，
→ DrTech: nlp，recommendation 要做的事情，完全不同。資歷也不通。
→ DrTech: 搜尋，要怎麼ranking，nlp的人通常都不會。推薦系統，要怎
→ DrTech: 麼做多模態(multifmodal)的特徵，通常NLP，搜尋的人又沒碰
→ DrTech: 過。彼此之間專業真的差很多。
→ DrTech: 另外NLP的各種序列標注模型，搜尋與推薦的團隊，根本沒幾
→ DrTech: 個人有碰過。專業完全不同。
→ DrTech: 最後，搜尋與推薦，很多資料pipeline的工作，都與機器學習
→ DrTech: 與NLP無關。
→ sachialanlus: 我研究所學nlp 但工作找backend 跟你相反
→ sachialanlus: 賺錢與否不清楚 但nlp工作其實不少 台商也有
→ DrTech: 真正拿NLP來商業化賺錢的，不是哪種旁門左道，做好玩，或
→ DrTech: 是做了NLP沒效益也沒差的部門喔。我在台灣看了幾年台商不
→ DrTech: 到3家而已。
→ DrTech: NLP工作是很多啦，但是拿來賺錢變現的公司，台商絕對沒有5
→ DrTech: 家。
→ sachialanlus: 確實有可能是這樣沒錯 而且我看到的nlp缺都和medica
→ sachialanlus: l相關 我猜現階段應該都賠錢 放眼未來的感覺
→ DrTech: 而且大部分公司，就是要你會ope source 就好。講太多太深
→ DrTech: 的別人也聽不懂。
→ sachialanlus: 我選nlp是因為像是怕cv飽和 押寶nlp 但做了才發現自
→ sachialanlus: 己對nlp的興趣不高 後來就選有興趣的web 薪水也不錯
推 oachan: 同意大大說的，台灣純NLP工作少，大部分學NLP都是找外商
→ oachan: 或是其他相關應用領域
推 jamfly: Huggingface 套一下 應該是很多地方的常態…
→ recorriendo: Search跟NLP沒差那麼多啦  vector space model就搜
→ recorriendo: 尋引擎開始用的 NLP後來引進 (不過我後來發現很多人
→ recorriendo: 不知到這段歷史 以為vector space model是十年前左
→ recorriendo: 右NLP的大發明)   排序的部分也就幾個公式而已
→ recorriendo: 說實話現在很多搞NLP的幾乎都不懂IR的一些經典技法
→ recorriendo: 了 tf-idf之類的 其實很多時候可以拿來作快速proto
→ recorriendo: typing
→ DrTech: 樓上，現在線上有哪個主流的搜尋引擎或商品，是用vector s
→ DrTech: pace做的？或tf-idf做，然後去搜向量？沒有吧。速度慢，效
→ DrTech: 果又差。
→ DrTech: 排序部分就那幾個公式？你們的產品是什麼場景，CTR多少呢
→ DrTech: ？正常商品怎麼可能幾個傳統公式就能搞定。
→ DrTech: 另外，傳統IR根本不管用戶特徵，只管文字上表面相似度，這
→ DrTech: 也是現代化搜尋系統與NLP工作差異極大的地方。
→ DrTech: NLP為什麼工作少，是因為沒有獨立能賺錢的應用。到最後能
→ DrTech: 賺錢的搜尋，推薦，廣告業務，會用到NLP的技術比例其實沒
→ DrTech: 那麼高。
→ DrTech: 如果是純賺錢考量，還不如直接去學搜尋，推薦，廣告。NLP
→ DrTech: 有遇到需求再學較好。
→ cylee: 多謝各位的建議，我的起始點就是想要學一個有技術壁壘的
→ cylee: 技術，而不是別人學幾個月就宣稱他能上手的。
→ recorriendo: 我說IR以前用vector space model
→ recorriendo: NLP現在在用 上面是看不清楚推文亂曲解
→ recorriendo: IR排序比NLP多的就是那些公式  現在當然都
→ recorriendo: 用deep learning 你要說這個那差異更小
→ recorriendo: 另外 國內要做search 大多就給客戶內部使用而已 還
→ recorriendo: 真的是老公式套一套就夠了 (當然直接用package更快
→ recorriendo: ) 而面向大眾的搜尋引擎 現在就是google獨佔市場 其
→ recorriendo: 他做也是白做
→ recorriendo: 另外 tf-idf不是傳統IR用法而已 事實上它的idea很多
→ recorriendo: 地方都可以用 近期的像AllenAI的SciSpacy套件也用到
→ recorriendo: 了 我也說了它只是當一個baseline或prototype而已
→ recorriendo: 最終成品要SOTA當然就不是用tf-idf
→ recorriendo: 不過說到底 我同意如果要去做電商推薦、搜尋的 不用
→ recorriendo: 特別深入NLP
推 penniless: 推樓上，感覺某樓在diss傳統操作挺外行的。而且絕對沒
→ penniless: 有甚麼領域差很多這種事。ACL了解一下，看看有多少是搜
→ penniless: 索推薦相關....