[問題] 大數據批次更新的方式

[jfla (J-Fla)]

若在一mysql中有8個table要更新數據

每一table更新的數據約60萬筆資料

請問以下更新的方法是否可行?

開10條執行緒(需要10個connection)

第1條執行緒從第1筆開始更新

第2條執行緒從第5萬筆開始更新

第3條執行緒從第12筆開始更新

....

第10條執行緒從第50筆開始更新

請問這樣子的方式可行嗎?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.204.49.162
※ 文章網址: https://www.ptt.cc/bbs/java/M.1540374149.A.558.html
→ qrtt1: 為什麼要這麼做？你想解決什麼樣的問題？
單純更新資料，每天固定更新資料約60萬筆
推 pupuliao: 當然是可以啊? 變快 變慢 不知道而已
→ pupuliao: 你可以測試看看
→ kogrs: 60萬應該算不上大數據吧?
是的，不太算
→ qrtt1: 你是打算多快！？要有個門檻出來，拿工具量一量，再來看要
→ qrtt1: 不要改它吧。你資料產出的那一端，到底每秒能生多少筆？
→ qrtt1: 你的消耗端 (mysql) 只要能承受比它高，就算達標了唄。
希望這樣子的排程工作能在2小時之內完成更新60萬筆資料。
※ 編輯: jfla (180.204.49.162), 10/25/2018 09:47:00
推 jej: 用java這麼多次io當然慢 寫sp吧 60小case啦
推 now99: 先看60萬的條件吧
推 swpoker: 這應要該要用sp去弄啊，不要硬用java啊
→ adrianshum: SP 不見得會比較好，視乎OP 要做什麼。比如是每天拿
→ adrianshum: 到60萬筆的檔案，再根據檔案內容update, 用stored pro
→ adrianshum: c 不見得會跑得快，還要考慮整體架構