[問題] 想請問中文資料前處理

[wayne64001 (哥，閉嘴啦)]

小弟我是第一次處理中文資料的問題
目前是打算用Keras LSTM做新聞的 Multi label classification
但是4個epoch就遇到了overfitting的問題 validation loss開始上升 且validation的準
確率也只有5成

我稍微評估了一下 問題應該在我前處理的部份(有試dropout跟 L1 L2)

我目前處理的方法為讀取資料後就利用jieba.cut  並讀取別人建立的字典
同時也用stopword字典去除停詞
這兩個步驟後就放入keras Tokenizer, texts_to_sequences, sequence.pad_sequences
成為我的X  而後就在model內進行Embedding

想請問處理繁體中文資料要怎麼修改才不會overfitting呢？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.246.89.216 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1573200041.A.C8E.html
※ 編輯: wayne64001 (111.246.89.216 臺灣), 11/08/2019 16:02:02
推 st1009: 可以試試用字不要用詞(?
推 st1009: 我猜有可能語料太小OOV太多，而且一些論文顯示斷詞不會讓
推 st1009: 你得到更好的效果
推 xiangying: 試試ckipws
ckip處理大量資料要跑好久...是個人問題嗎?
※ 編輯: wayne64001 (101.10.98.164 臺灣), 11/09/2019 13:50:04
推 a810501: 直接用bert來做transfer learning吧～他有中文預訓練模
→ a810501: 型也不用管斷詞問題
推 shhs1000246: bert直接下去啊 斷詞用結巴效果不好 除非是有改過的
推 wainshain: CKIP本來就要跑很久是他的弱點
→ wainshain: 現在都bert就不用管懂不懂那個詞了，超好用
→ sheep1129588: 直接芝麻街好朋友系列一排試下來XDD, BERT, ELMO
推 ciaoPTT: bert真心好用
推 roccqqck: 大家bert都pip安裝哪個寫啊
→ roccqqck: transformers嗎
→ roccqqck: 還是bert-tensorflow
→ roccqqck: 我是用前者
推 sheep1129588: huggingface有bert的pytorch版，還蠻好用的
推 roccqqck: 我就是用huggingface的transformers 但我用tf版
推 somoskylin: 樓上大大能否給個關鍵字，我想看斷詞不太影響結果的
→ somoskylin: 論文
推 st1009: Is Word Segmentation Necessary for Deep Learning of
→ st1009: Chinese?   https://arxiv.org/abs/1905.05526
→ sxy67230: 我是用tf2.0的modeling模組
推 somoskylin: 感謝