[問題] r做nlp發現新詞的套件

[empireisme (empireisme)]

如題

我想問問看

如果想用r發現新詞，是否有相關的nlp套件或關鍵字(中文新詞為主)

我打find new word 或 discover new word好像都有點不太對

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.19.236 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1588606870.A.AC2.html
→ allen1985: 什麼是發現新詞? 一個詞不在字典裡?
→ allen1985: 還是NER model
→ empireisme: 對就是一個新詞不在詞典裡，例如習大大之類的
→ locka: 應該都可以自訂詞庫吧？
→ empireisme: 自訂詞庫要依靠人力，想要利用統計方法發現新詞
推 locka: 不確定目前有沒有套件可以做到你想做的，用統計方法自動產
→ locka: 生新詞…因為中文不像英文用空格分格；每個中文字都各自有
→ locka: 意思，連接起來可能又有新的意思，連接到多長停止也沒有規
→ locka: 則…所以好像輸入進詞庫給模型訓練好像是比較常見的做法@@
→ locka: (跪求版上NLP專家)
→ locka: 剛剛查了一下，一樓allen大大說的NER model好像就是用深度
→ locka: 學習方法自動做斷詞，原po或許可以找找看有沒有用R做這個的
→ locka: 套件(抱歉上面廢話太多QQ)
→ xiangying: 有一個頗簡單的方式是用中研院的ckiptagger，有支援做n
→ xiangying: er model，不過你要先將它用reticulate移植到R上，goog
→ xiangying: le一下有人做好
→ empireisme: 謝謝我來看一下什麼是reticulate