推 st1009: bert不是google幫你調好參數的transformer嗎？ 05/05 16:31
→ pppooqqq: 對 可以這講 只是不太懂為什麼是encoder of transformer 05/05 19:50
→ pppooqqq: 我理解transformer的encoder運作，但不曉得bert怎麼用 05/05 19:51
推 st1009: Bert是個被訓練好的encoder，所以使用時可以不用訓練就可 05/05 20:18
→ st1009: 以達到不錯的效果，你可以接在你自己的模型前面然後再進行 05/05 20:19
→ st1009: fine tune(訓練)讓他對於你現行任務擬合度更高 05/05 20:20
→ st1009: 手刻bert我覺得意義不會太大，因為你沒有Google的資源 05/05 20:21
推 sxy67230: 手刻不難啊，就只是transformer encode的部份疊上去， 05/05 21:51
→ sxy67230: 難是難在訓練，我自己試過隨意找少量資料訓練一樣mask從 05/05 21:51
→ sxy67230: 零訓練整個結果就是爛掉。要做到google那種質量的數據 05/05 21:51
→ sxy67230: 還要有足夠的gpu，我自己估算最少也要跑三個月以上，直 05/05 21:51
→ sxy67230: 接用fine tune的用前人智慧不好嗎 05/05 21:51
推 sxy67230: 補充一下，預訓練過程其實就是跟你做fine tune的過程是 05/05 22:08
→ sxy67230: 一樣的，google 當時的作法就是讓[CLS]輸出上下句是否 05/05 22:08
→ sxy67230: 有關，後面你看到的token embedding做克漏字測驗，過程 05/05 22:08
→ sxy67230: 很簡單，但是你沒有google 那些又大又好的數據集跟運算 05/05 22:08
→ sxy67230: 資源自己訓練也是爛掉。 05/05 22:08
推 OnePiecePR: 大金講得很清楚啊，就是資料灌進 變形金剛，用克漏字 05/06 12:13
→ OnePiecePR: 、關聯推論加弱分類器把 encoder 的權位值調到很聰明 05/06 12:13
→ OnePiecePR: 。你拿到後，直接接後段分類器，灌自己的資料，稍稍 05/06 12:13
→ OnePiecePR: 調一下，就沒了。 05/06 12:13
→ yoyololicon: 原po要看code 推文在講怎麼訓練zzzz 05/06 13:12
推 world4jason: 他內文講code 推文講怎麼用 也很讓人誤會 05/06 14:03
推 OnePiecePR: 一樓給code連結,可能有用。原po 三四樓說不知道怎麼 05/06 16:39
→ OnePiecePR: 用啊，所以當然大家幫忙解釋了 05/06 16:39
→ yoyololicon: 他的用應該是指bert怎麼使用transformer 吧 不是怎 05/07 12:13
→ yoyololicon: 麼使用bert 05/07 12:13