同時feed Bert跟TFIDF to Dense layer

[e9904567 (晶仔)]

https://i.imgur.com/IbhEopH.jpg

最近在做一個kaggle challenge, 我們使用Bert 做sentiment analysis， 但準確率只有
60%。網路上有找到一份論文，他們是用weighted TFIDF 做 preprocessing, 然後再進Be
rt的pretrained network。而我們想做的有點不一樣，在想說是否可以加入TFIDF進fine
tuning的部分？(如圖）
但因爲網路上的討論多是TFIDF, Bert, word2vec的相互比較，好像很少一起合併使用。
所以想來問一下這個構想的合理性？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 130.83.136.15 (德國)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1603789413.A.A9E.html
推 steven95421: 個人經驗覺得bert在downstream task fine tune 的時
→ steven95421: 候後面額外接什麼做end2end的training都很容易壞qq
推 a75468: Bert 有跟 downstream 一起 finetune 嗎？
→ e9904567: 感謝經驗分享，我們會再找找其他方式
推 luli0034: fine tune會回去update BERT裡面的parameters吧 如果像
→ luli0034: 圖片這樣用feature-based的做法concat TFIDF這樣有辦法b
→ luli0034: ack propagation嗎（？
推 luli0034: 我自己的經驗這樣做的話就是將BERT當作一個representati
→ luli0034: on跟其他representation 結合訓練下游分類器了XD 不太
→ luli0034: 像fine tune