[請益] php取DB(XX萬筆)到excel

[ernieyang09 (亂入)]

大家好 最近遇到這個問題
我之前是使用phpexcel寫的 然後是在demo做測試用
那時候沒考慮到筆數問題 結果移植到實體上面就爆炸了


原因想當然爾是memory不足
我已經爬過關於phpexcel&php memory的問題
公司只願意開128MB給一個user  似乎是很難解


請問各位有解嗎(環境為php5.2.x 非5.3)
試過pear但是會有utf8問題 其他的套件就很難找了 能google的八成都是phpexcel
用了他一個本身的cache_to_sqlite
memory使用變成1/4 但是只寫到3xmb還是死當跳出空白(那就跟原本120m差不多)

放寬條件的話頂多記憶體開開看512G 但是要寫入最少25w筆資料(現在才五萬多筆)


又如果無解 該如何告知公司上層比較好
我已經跟他們說過蠻多次關於memory的問題

但是由於我是剛入公司也是社會新鮮人 他們好像覺得這個都很容易解決
然後拿C&C++的概念跟我說應該很好處理
(公司寫php的都沒用過php寫大量資料 都只是用來做網頁呈現 最大的幾個上司是底層的)


邏輯我很早就寫好了 最近就被這搞了四五天 快發瘋了

--
 喜歡花的人，      　                   ╱  愛花的人，
            會把花摘走。              ╱             會幫花澆水。
                        ● ﹡       ╱                      ∴∵∴∵   ○
φkcetair               ■╯      ╱  ＊ ＊＊＊ ＊  ＊ ＊＊ ＊＊∴∵∴∕□
ˇˇˇˇˇˇ ˇˇ      ╯﹨     ╱    ˇ ˇˇˇ ˇ  ˇ ˇˇ ˇˇ   └▆ ∥


--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 114.37.117.82
推 dinos:一行一行吐csv？
→ kosjason:是吐出CSV檔? 不能分割成多檔嗎? 說真的25w筆在同一個
→ kosjason:sheet 你電腦要打開 也要讀一陣子吧
→ danny8376:看這邊應該是吐xls 不過用C寫也會用掉超過128M記憶體吧
→ kosjason:2003 xls上限不是65536嗎? 2007 xlsx才有辦法同sheet吧?
→ ernieyang09:是xls or xlsx N worksheet 每個sheet col皆不同
推 danny8376:總之PHPExcel記憶體就是吃很兇
→ danny8376:PEAR的Spreadsheet_Excel_Writer才有辦法
→ danny8376:至於UTF-8問題 找一下就有解了
推 alog:如果你不是應徵設計網站的，可以離開了
推 alog:不過環境也該升上去了吧，現在都5.4 5.5了
推 alog:純匯出可以用C or C#輸出好檔案 在伺服端的目錄
→ alog:php則是排程匯出指令跟控管檔案的輸出
推 alog:php本身設計不適合 這種需要長時間值行的工作
推 alog:忘記說，不見得需要C之類的，Python做做看也行
→ wildgoat:set_time_limit ?
推 pigwolf:用jQuery+PHP一次送500筆試試，還可看到即時回應
→ dlikeayu:先count筆數，再設個一次取的最大值，取資料用offset
→ dlikeayu:來取一個range，以上再用while迴圈去跑，取出的model每次
→ dlikeayu:結束再unset掉，一直加回同一個變數裏去render你的row