[問題] 如何快速的從DB讀取非常大量的資料

[Gamakatsu (Gama)]

各位好

手上有一張大概有500萬筆紀錄（每個Row有31個Column）的 SQL Server 資料表

想把這張表的所有紀錄撈出來，再依據某個欄位的數值分類

最後將分類結果儲存到 .TXT、.CSV或.XLSX

目前已嘗試過用使用DataReader及Dapper這個第三方Library實作

但發現還是花費太多時間（至少10分鐘起跳）

因此上來請問各位高手 能給些建議嗎？

謝謝大家^^

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.184.30.90
※ 文章網址: https://www.ptt.cc/bbs/C_Sharp/M.1494504493.A.B42.html
→ testPtt: SSD
推 yeo1987: 燦笑 XD
→ erspicu: 要看速度卡在哪個部份 有時候io寫法換一下 就差滿多了
→ erspicu: 但有錢換硬體應該是最簡單有效的方式
→ erspicu: 另外印象中一些DB都有匯出功能 有可能根本不需要自己寫
推 J002: 如果是SQL server的話 可以用內建的SQL profier錄下查詢後，
→ J002: 用cleartrace去分析哪些查詢需要tune效能@@
→ konkonchou: 透過SSMS匯出資料時寫T-SQL
→ konkonchou: 分三次匯出應該也不用一兩分鐘
→ Litfal: 一張表500萬不算非常多吧？10分鐘實在有點久
→ Ammenze: 500萬需要10分鐘一定是哪邊程式寫法有問題
→ susty: 純撈資料就10分鐘? 還是完整跑完10分鐘?
→ erspicu: 我猜是讀完後寫出到特定格式檔案時間花最兇
→ erspicu: 如果原PO沒給更多資訊的話 只能鬼抓藥
→ y3k: 這應該是寫的問題...
→ testPtt: select 500萬筆 搬到其他地方其實差不多要這麼久
推 stosto: 卡在io 你得花錢了