Re: [請益] 用PHP做運算 還是用MYSQL做運算 ?

[sunlights (sunlights)]

※ 引述《sunlights (sunlights)》之銘言：
: ※ 引述《jl844032 (湖藍者)》之銘言：
: : 如題
: : 想請問版上大德們
: : 一個PHP想要從MYSQL拉資料後 再用PHP做運算比較好
: : 還是在MYSQL做完運算後 傳回來PHP比較好
: : 關於效能方面 哪個方式會比較好?
:   大家都覺得用MYSQL做運算好..
:   可是我告訴大家一個實情..
:   當資料在3萬筆以上..sql的速度會奇慘無比
:   反而是php雖然也是要等待..但比起sql真是好太多了..
:   這是我的經驗..
:   所以我覺得..資料庫的軟體真的尚待努力

   當時的環境是mssql
   (mysql我沒有測過..但是當時資料筆數大概快5萬筆..現在己經10幾快20萬)

   A表放的是調查者的姓名和姓別,B放填寫統計表的項目(共有20筆複選)
   分別以b1,b2,b3...b20個欄位代表,欄位型態tinyint,有選為1,沒有選為0

   要做出
          b1 b2 b3............b20
---------------------------------------
    男
    女

  那時是用

  select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b1=1
  select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b1=1
  select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b2=1
  select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b2=1
   ......
  select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b20=1
  select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b20=1

  pid是帳號

  結果跑到快吐血..

  後來直接select index 欄位用php去run 才OK

  我現在都找不到用sql解決的方法..
  歡迎大家嘗試..

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 111.240.25.155
※ 編輯: sunlights       來自: 111.240.25.155       (11/04 23:13)
推 LPH66:5 萬筆 * 40 次 query = 總計看過 200 萬資料行...
→ LPH66:我會想用 select sum(b.b1),sum(b.b2),...
→ LPH66:然後出來會得到一筆 20 個欄位的資料就是輸出表格的一列
→ LPH66:這樣只有兩次 query 應該會好很多...
→ LPH66:這個方法也是考慮到 join 的效率問題才讓 join 次數越少越好
→ sunlights:但是怎麼關聯到A的sex呢??
推 LPH66:跟你一樣的 join 啊  只是不用 and b.b1=1
→ LPH66:where A.sex='F' 一次 where A.sex='M' 一次  共兩次query
→ sunlights:很棒..但是如果遇到值不是只有0,1..還有2,3,4...甚至是
→ sunlights:文字的話..是否也無解呢??
→ sunlights:對了..雖然我剛說很棒..但我實際去測6萬筆資料和6個複選
→ sunlights:欄位..只查男生 sex='M' 也要29秒..3萬筆資料用17秒跑完
→ sunlights:如果是20個複選欄位可能更多..
→ sunlights:如果A表格的查詢欄位從sex改成city(台北,台中,高雄..)
→ sunlights:可能也會查29X10(假設只有10個城市)=290秒=4.5分
→ sunlights:但要統計的選項愈多..就會愈慢..這點php跑的速度就超越
→ sunlights:這應該就是inav大的切身之痛吧.
推 cjoe:b.pid, A.sex, b.b1等等欄位都有做索引嗎?
→ sunlights:都要做索引嗎??那大概全部的欄位都要加索引了..這樣OK嗎
→ qwertmn:b1 b2 b3...b20..這些欄位都沒有關連性ˇˇ
→ qwertmn:硬是join 20次- -"" 我會用Union..把資料串接起來..