Re: MapReduce (Re: [情報] 利用智慧型手機建構雲端

[ledia (下班後才下棋)]

※ 引述《yauhh (喲)》之銘言：
: 我想MapReduce是個model,不一定有個完整的底層平台.
: 既然是programming model,有可能從一開始寫程式就可以順著這個心法做.
: 從檔案文件處理出發,首先要從檔案系統取得檔案清單. 這是map:
:     TakeFiles(folder, nil):
:         for each file in dir(folder),
:             emit(file, nil).
: 可以叫好幾台電腦分別處理不同的目錄,把檔案抓出來.
: 檔案名字變成許多小片段,送到master node或是一些groupper.
: 接著,要把檔案和詞彙配對,好觸發每一個文件詞彙搜集的map工作.
: 假設詞彙的數目可以容許一個工作做完,將檔案與詞彙配對的工作是一個reduce:
:     Pair(file, terms):
:         for each term in terms,
:             FindTerm(file, term).
: FindTerm是個map:
:     FindTerm(file, term):
:         for each word in content(file),
:             if (word = term),
:                 emit(term, 1).
: 有何指教?
  我提供一個很 naive 的做法

  cralwer 們每抓到一個檔案, 或一個網頁
  就把這筆資料依照自己的格式存進 DFS
  並且把 (key:content_position) 發給 MQ server
  而 indexer 的 mapper 每次從 MQ server 拿一筆資料
  (這裡不需要 MapReduce)

  之後每次 mapper 拿到一筆資料

  IndexFileMapper(file):
    for each term in tokenizer(file),
      emit(term, file).

  IndexFileReducer(term, file_list):
    StoreToIndexDb(term, uniq(sort(file_list))).

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.30.51
※ 編輯: ledia           來自: 140.112.30.51        (08/20 10:16)
※ 編輯: ledia           來自: 140.112.30.51        (08/20 10:18)
推 hilorrk:是不是類似inverted index的作法?
→ yauhh:我沒有要file indexing.不過你提了一件相當好的概念,worker
→ yauhh:每次執行起來是主動從queue中取一項工作消化掉.
→ yauhh:你的方法仍有基本的問題,就是同一份程式多個"mapper"同時去
→ yauhh:拿資料,就會要彼此一致化. 程式又變難寫了. 而這個問題就是
→ yauhh:MapReduce打算要避開的. MapReduce是程式一定要好寫才行.
→ ledia:我說的這些東西 (such as MQ) 都是現成的, 不知道有什麼麻煩
→ ledia:建議你多看看, 再評論 XD
→ yauhh:我認為就你所講的,你並沒有多看看喔. 才建議你多看看.
→ yauhh:你MQ當然沒問題,問題是在你的程式啊,你要不要做鎖定?一定要
→ yauhh:另外,既然MQ是現成,沒麻煩,那你以為我不知道MQ是什麼東西嗎?
→ yauhh:而且我覺得,目前是想要談MapReduce該怎麼作,然而你卻回答
→ yauhh:普通的非MapReduce.這樣談有什麼好處? 任何好架構,你都一個
→ yauhh:大絕招就把它打翻,那什麼都不用談了. 可你不談沒關係,不要都
→ yauhh:只用你的想法來堵住別人也來討論的機會. 就我所看,你所講的
→ yauhh:其實我也知道. 可是跟你講分散系統要分配資源,你竟然聽不懂?
→ yauhh:那就表示是你應該要多加油.
→ yauhh:...嗯,上面我有講錯,或許鎖定是用MQ作到,不過,問題發生在另
→ yauhh:一面.本來MapReduce是講分散,結果你跑出一個MQ,又把計算給
→ yauhh:集中了. 雖然是可以分好幾個map各自算,但是你MQ讓這些map依
→ yauhh:序排隊,結果問題又回來了! 我想,請你別雞同鴨講了吧
→ ledia:哈哈, 送資料為什麼要用到 MapReduce, 你這才是誤用
→ ledia:資料分出去自然 mapper 就可以做自己的運算
→ ledia:要我多跟你一點講一些是可以, 可不可以態度好一點
→ ledia:懶得跟你說了, 自己慢慢摸吧~
→ hilorrk:@@ 兩位前輩請息怒...
→ hilorrk:就我所知 google的MapReduce並沒有送"資料"吧~
→ hilorrk:而是master assign map/reduce task給worker 而worker再去
→ hilorrk:DFS取資料...所要傳輸的是程式的fork?
→ hilorrk:而且採取的是類似master去polling 而非worker主動要工作?
→ hilorrk:不知這樣理解對不對...改天要來好好研究一下了- -||
→ yauhh:ledia你的習慣是一點都不承認你犯過的錯誤.這一點都不意外.
→ yauhh:你懶得說真是最好哦. 因為你推文跟回文真的是雞同鴨講而已.
→ yauhh:hilorrk,你說的第一句話有錯誤.請以分散式的範圍思考環境,
→ yauhh:環境中存在多少個map的instances,多少個reduce的instances.
→ yauhh:最少,每個map都要知道它該讀哪個檔案分段,而根據map的規格,
→ yauhh:---- 文太長,回文!