[問題] NLP跑BERT要什麼樣的機器才夠？

[lirpassmore (里爾-帕斯魔)]

文組PM剛接觸NLP，不懂機器的規格，但是之前上課的講師有提到一般小企業要短時間得到BERT的輸出結果不太可能，因為成本太高，但是有聽沒有懂。

請問為什麼？BERT真的很吃電還是買這個軟體很貴？

求大神解釋…GOOGLE都是一堆程式碼看不懂…
-----
Sent from JPTT on my iPhone

--

背叛的滋味
大概就像精液吧
淡淡的沒滋沒味卻能教人嘔吐
咬緊牙關吞下去也就沒什麼了
真的就沒什麼了...

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.83.33 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1644343510.A.CC2.html
推 OnePiecePR: 兩三年前看過新聞、訓練 bert large 只要一個小時…
→ OnePiecePR: 但是需要大約nvidia v100的1000 個gpu, 如果是一張 v
→ OnePiecePR: 100有16個 gpu, 略估是60張, 一張 如果1000美金…
→ OnePiecePR: 不過、我們應該不需要從頭開始訓練
推 ILYY: BERT如果用在一般應用只要Fine Tune 用一般顯卡就可以了
→ ILYY: 沒有必要的話不用重頭訓練
→ chang1248w: 最近的紀錄好像兩分鐘
→ chang1248w: bert有放出參數啊，單就預測一張1060應該十五秒就可
→ chang1248w: 以把一段文章轉成向量。
→ chang1248w: 但要從零開始訓練出bert，單就電費就要7000美
→ chang1248w: 資料集34億個詞，70GB以上
→ chang1248w: 好在這類大模型都有公開已經訓練好的模型參數，像上
→ chang1248w: 面講的通常只需要在訓練好的模型後面加兩層神經網路
→ chang1248w: 去適應你的任務，就能有可接受的結果了
→ chang1248w: 這樣大概一張2080就能跑
推 penniless: fasttext了解一下，便宜好用
推 peter308: 國高那邊要不要試看看？
→ peter308: 他們的Taiwania2 至少會有1000顆GPU吧？
推 KindWei: 很快的 只要找你們應用場域的 pretrain bert embedding (
→ KindWei: e.g. FinBERT) 甚至不用fine tune 就有不錯的效果了
推 Bujo: 只要拿現成的模型來訓練你的資料就好，然後再設計你的輸出
推 hsuchengmath: 通常是拿pretrain好的bert encoder來使用，基本的be
→ hsuchengmath: rt model的參數數量使用空間為400M, 你可以預留2G
→ hsuchengmath: 的記憶體 比較保險