看板 Cloud 關於我們 聯絡資訊
有問題想要請問一下各位~ 目前在研究DATA MINING使用在雲端上 現在卡到一個問題就是! 我想要去判別我的權重值有沒有過門檻值 我的文件格式資料如下 ------------------------------ all 63320.56 url1 120.56 url2 45.1 ----------------------------- 想在MAP的時候讓第一行的值跑進下面每一列URL所有值的最後~ (就會變成 URL1 120.56 63320.56 URL2 45.1 63320.56 ) 之後在REDUCE裡去做篩選! 只是都沒辦法成功~ 各位對於這個有甚麼想法嗎?還是說有其他解決方法可供參考? 再來因為MAP都是一行一行讀文字進去的,有辦法讓他用一個變數先儲存我的總門檻值嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.128.18.47
gmoz:1.貼個CODE出來看 然後希望輸入輸出說清楚點 07/11 21:09
gmoz:2.可以 在JOB裡面設定 07/11 21:09
gmoz:阿 你是要更動? 那可能不行 這是分散式架構 07/11 21:09
gmoz:除非用檔案的方式,但是會很麻煩 你還是先說清楚一點 07/11 21:10
nemo33:你map做啥reduce又做啥? 只是要過濾的話帶job conf 參數 07/11 22:21
nemo33:map階段就可以過濾了 07/11 22:21
ukliop:to gmoz 因為一直在專研這一塊把最基本的分散式架構都忘了 07/12 01:08
ukliop:所以我知道我錯在哪裡了! 謝謝你的提醒 07/12 01:09
ukliop:TO nemo33 關於job conf 我會再多去研究它,朝這方面試試看 07/12 01:10
gmoz:hadoop 0.20之後已經不用job conf了 07/12 23:30