[問題]spring jdbctemplae batchUpdate效能問題

[u9423504 (緣投農夫)]

各位前輩/大神 好：
目前使用spring boot MVC開發後端web程式，使用jdbctemplate寫資料庫程式，
用到其batchUpdate方法批次更新5萬筆資料，共花了26.443秒，執行效能不是很好，
說明如下：

1.軟體版本說明：
  spring boot 3.0.2
  spring-jdbc 6.0.4
  mssql-jdbc 12.2.0
  資料庫 微軟SQL Server 2019 Express
  作業系統Windows 10

2.程式碼：
   StocksRepository.java
   僅列出batchUpdate方法的程式碼
   public void batchUpdate(List<stock> stocks) {

     jdbc_template.batchUpdate(
          "update stocks set amount = ? where parts_number = ?",
             new BatchPreparedStatementSetter() {
               public void setValues(PreparedStatement ps,int i)
                 throws SQLException{
                         ps.setString(1,stocks.get(i).getAmount());
                         ps.setString(2,stocks.get(i).getParts_number());
                       }
                         public int getBatchSize(){
                           return stocks.size();
                         }

            }//end BatchPreparedStatementSetter
     );//end jdbctemplate batchupdate
  }
-----------------------------------------------------------------------
  主程式 StocksMagApplication.java

@SpringBootApplication
public class StocksMagApplication implements CommandLineRunner {

@Autowired
StocksRepository stock_res ;

public static void main(String[] args) {
  SpringApplication.run(StocksMagApplication.class, args);
}

@Override
 public void run(String... args) throws SQLException{
  StopWatch timer = new StopWatch();
  //撈5萬筆資料餵給m_stocks list。
  List<stock>m_stocks = stock_res.findX86All();
  System.out.println("start update record：update table 50000 record");
  timer.start();
    stock_res.batchUpdate(m_stocks);//批次更新5萬筆資料
  timer.stop();
  System.out.println("batchUpdate -> Total time in seconds: " +
  timer.getTotalTimeSeconds());
 }
}
----------------------------------------------------------------

3.效能改善作法：
  StocksRepository.java
  同樣在其batchUpdate方法裡：
  /*
    stocks list裡有5萬筆資料，每5000筆切為1個子list，共切成10個子list
    sublist裡共有10個List<stock>。
  */
  List<List<stock>> sublist = ListUtils.partition(new
                              ArrayList<>(stocks),5000);

  for(List<stock> m_stocks :sublist) {
       jdbc_template.batchUpdate(
                 .
                 .
                 .
          程式碼實作跟上述相同，不再多述。


      );
  }

 執行結果為25秒多，效能改善不大。
------------------------------------------------------------

4.是否還有其他效能改善的方式，懇請前輩/大神指導，謝謝。
























--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.39.69.66 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/java/M.1680360028.A.FA1.html
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/01/2023 22:45:13
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:30:51
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:38:15
→ lycantrope: rewriteBatchedStatements=true
→ surimodo: 你最後那個只是把一個大List拆成小List
→ surimodo: 又串一起處理
→ achaos: parts_number有設定index嗎?
→ fgh81113: batch你要設定一次處理幾筆
→ u9423504: database talbe parts_number有設定索引
※ 編輯: u9423504 (114.33.57.160 臺灣), 04/02/2023 14:29:44
→ u9423504: 回fgh81113：batch是設定5萬筆，共花26秒，效能不好。
→ achaos: batchUpdate有一個函數可以放batctSize,改成500看看
→ achaos: batchSize,我記得建議是設定500~1000
→ kentyeh: 建議自己處理commit時機，可考慮每仟筆commit 一次
→ fgh81113: 原程式碼看起來沒甚麼問題  索引也設了
→ fgh81113: sql server還有一招  "聚集索引 非聚集索引"
→ fgh81113: 但這招可能不是你說想調整就調整的方式
推 mybluesky: 請將更新資料放另一暫存表，一次更新原表數據
推 sw12: 改r2dbc