[請益] 資料庫速度問題

[stevekevin10 (hippo泡)]

最近遇到一個狀況
有4000萬筆select and insert sql指令要跑
本來是開一隻程式在跑
但看處理速度來說會花太久時間
因此改成10隻一起跑(懶得寫成multi thread QQ)
速度提升2~3倍
請問還有甚麼方式可以再加快資料庫的速度呢？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.58.64
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1462454745.A.B48.html
推 gn01838335: Index 建partition
index有建了
partition..忘記以前上課有上過了 謝謝><
※ 編輯: stevekevin10 (111.241.58.64), 05/05/2016 21:30:42
→ GoalBased: 去查大量新增的語法
他的順序是...先select得到結果 做些處理再insert><
※ 編輯: stevekevin10 (111.241.58.64), 05/05/2016 21:39:25
推 gn01838335: Sqlserver 找 bcp in
這...沒聽過我google一下 謝謝
推 sing10407: bulk insert，每秒幾千筆不是問題
目前每秒6000左右不知道能不能再快點..
推 ChiaHungChen: Merge
merge??
→ GoalBased: 學會變通阿..甚麼叫做他先怎樣怎樣..又不是定死的
推 vity: Hive
※ 編輯: stevekevin10 (111.241.58.64), 05/05/2016 22:53:49
推 et69523820: 先把Select的結果 先暫存在陣列裡面 比如Select 有一
→ et69523820: 萬筆資料 透過陣列取出資料 組出一次性 insert 在一次
→ et69523820: 寫入 絕對比使用多程式去執行Insert快好幾倍
→ et69523820: 會慢 主要是insert一次資料 就必須更新索引一次
→ ChungLi5566: 換一座storage
推 ian90911: https://technet.microsoft.com/zh-tw/library/bb522522
推 cobrasgo: 只select要的，很多人無腦select *
推 jinmin88: 先掃一遍select串成insert sql存檔 然後開檔bulk insert
推 cpper: 才4000萬筆根本不用上面一堆人講那麼複雜，你只要安裝hp ve
→ cpper: rtica , 把資料匯進去就行了，sql照跑薪水照領，哪來那麼多
→ cpper: 事，又不是吃飽太閒研究這些幹嘛
推 et69523820: 比較簡單付錢  想要免費比較複雜 有些公司想要免費
推 locklose: 推hp vertica
推 prae: 先把index的更新關掉，全部跑完再一次更新
推 xva: 真的要快，就不要用sql了
推 dingyuchi: elasticsearch
推 tloy1966: 好像再描述清楚一點比較好
→ tloy1966: 什麼DB, insert 跟select 都是4K w?
→ tloy1966: 有沒有可能卡硬體速度