Re: [J2SE]資料庫新增幾萬筆資料

[silver8250 ((阿信))]

請問您的問題有辦法用一條解決所有的問題嗎??

因為如過要用程式全部來解決的話

那請問您使用 DB 的用意只是要來存放 DATA 與純粹 query 嗎??

因為小弟我之前也有碰過類似的問題，是需要從多個 tables 計算薪資

最後將計算出的結果再寫回某個 table

一開始小弟跟您一樣，也是用程式暴力解決，後來發現，SQL其實很強大

我就開始去"兜"SQL語法，結果給我"兜"出一條就可以解決的 SQL

該功能就幾乎以 0.1 秒以下的時間完成我要的工作

我的意見是，您可以考慮 survey SQL，問題就會很輕鬆!!

以上是小弟的淺見~~
※ 引述《slalala (WIKI大學生寫作業的題材)》之銘言：
: 標題雖然是J2SE
: 不過卻是JSP/SERVLET的應用 (￣□￣|||)a
: 因為如果在jsp顯示上會有timeout等等的問題
: 所以有些疑問
: 目前程式流程大概是這樣(程式碼還沒寫 大概寫一下假碼 ，SET不是java.util的Set)
: DO
: SET SQL= SQL Command;
:   SET ResultSet = executeQuery(SQL)      //從資料庫取資料
:   WHILE( ResultSet.next() )              //大概兩萬多筆
:    BEGIN
:      SET DATA =  ResultSet.getData()    //從資料庫取得資料
:      DATA = DoSomeThing( DATA)          //處理資料
:      Statement.Insert(DATA )            //新增到資料庫其他欄位
:    END
: END
: 以上這樣的程式 我估計 大概要跑個幾分鐘
: 之前的經驗是用批次的方式結果會好很多
: 就假碼WHILE結束之後才執行statment.executeBatch()
: 現在的疑問就是:
: 要是一次兩萬多筆 這些資料在executeBatch之前
: 都暫存在記憶體吧
: 這樣要是資料量很大的時候 不就可能有爆炸的問題?!
: 我現在的想法是
: 在ResulteSet的迴圈內計數
: 當到達特定的mod值(ex:100、1000)
: 就執行executeBatch()與clearBatch()
: 不知道這樣的想法對不對?!
: 還是有更好的作法??
: 另外timeout的問題
: 我是想實作官方網站有教的JProgressBar
: 或者是乾脆寫成Thread
: 將頁面顯示跟SQL執行批次的程序分開
: 不知道這樣可行嗎?
: (只擔心有Thread-safe的問題 我JAVA很多觀念很粗淺ˋ(′_‵||)ˊ)

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.161.146.166
※ 編輯: silver8250      來自: 118.161.146.166      (07/02 21:53)
推 slalala: 如果是薪資計算就簡單多了~_~ 因為裡面包含很多邏輯判斷
→ slalala:至乎不是數學式可以的處理 不過我還蠻好奇 純SQL原PO用了
→ slalala:哪些特殊的語法? 還是使用SP之類的?
推 TonyQ:資料庫也是有if 之類的判斷式可以用  也可以用預儲程序之類
推 slalala:就是SP囉(Stored Procedure)
推 TonyQ:還是有一些function 可以用啦...不見得只有sp
推 slalala:實在跟MYSQL 不熟 要翻翻文件了ORZ
→ silver8250:我是用 M$SQL2K 語法方面，就旋轉一下tables
→ silver8250:頂多+,-,SUM計算跟CASE判斷囉!!對我來說就夠用了~~
推 Lordaeron:SQL2K比哪個號稱很快的, 和哪個當年跟SQL2K同個老爸的
→ Lordaeron:好太多了.
→ Lordaeron:哪個號稱很快的, 還會有莫明的key duplicate但照insert
→ silver8250:樓上的是說?? 小弟不才，請樓上大大指點~~
推 Lordaeron:簡單的講,就是沒必要,請換postgresql
推 Lordaeron:不要用哪個會key duplicate但照insert的.
推 slalala:原來只有一些運算子 不過之前聽某教授說MSQL的運算子效能
→ silver8250:可惜，老闆不是我~~
→ slalala:沒有比較好 除非一行解決 不然不建議給SQL運算(SP另當別論
→ Lordaeron:我的SQL有必要的,都寫個兩三百KB的,一行?不加換行是一行
→ Lordaeron:沒錯,但我無法讀一行512bytes的sql.
→ Lordaeron:要寫複雜的sql, 還是用PostgreSQL吧.
→ slalala:不是不喜歡聽人家推薦 如原PO說的 我不是老闆不能決定什麼
→ silver8250:我都盡量用一句SQL就做完，L大的意見不錯，只是離題了~