[問題] hadoop 如何一次跑三種reduce

[cklonger (22)]

我的問題是要把一個大log檔倒入db後
再下sql
select att_id , max(timestamp) , min(timestamp) , count(1) from table_a

這件事改成用hadoop的map reduce做

我已經寫好分別對 max, min , count三件事的的reducer

att_id是map output key, value前兩個Map來的是timestamp 包成longwritable

後面一個的是intwritable

但是要分成三次來做，實在是浪費了兩次maper的處理時間

而且分成三個輸出，要再另外合併

請問有沒有辦法在一次reduce裡完成

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 210.69.230.190
→ PsMonkey:這個... 你有沒有考慮在 Database 版問？
→ cklonger:這是java問題吧 我覺得會被請回來
推 qrtt1:這可以去 Programming 跟 Prob_Solve，因為是演算法問題吧
推 n3oanderson:Write imtermediate result to hdfs,
→ n3oanderson:Then read via (empty map + reduce)*(thrice)
→ ken915007:針對同一個key做事，應可以一次做完…
→ cklonger:我等等把一些code放上來
推 gmoz:有cloud板
→ gmoz:也可以到台灣雲端論壇發問 http://forum.hadoop.tw/
推 gmoz:你的問題應該不難解