Re: [問題] MPI Non-blocking Communication

[justdemon (人生的轉捩點)]

※ 引述《justdemon (人生的轉捩點)》之銘言：
: 最近使用MPI_Isend的時候發現
: 雖然他的確是nonblocking  執行完MPI_Isend之後會繼續執行之後的程式
: 但是他並不會平行的運作
: 我如果傳輸花5秒  運算花5秒
: 總時間就是10秒  並不會因為使用Nonblocking Send而變成5秒
: 在單純傳輸時  CPU使用率只有30%~40%  理論上如果使用nonblocking send
: 應該可以壓榨出來剩下的70%  可是結果卻和blocking send一樣
: 省不了任何時間
: 上網搜尋關於MPI的資訊  卻也沒看到有人有跟我類似的結果
: 不過倒是搜尋到MPI有分為 single thread 和 multiple thread 不同的模式
: 可以使用 MPI_Init_thread 來啟用 multiple thread  有四個層級
: 不過不管我怎麼試  甚至使用buffered mode  都還是沒辦法讓它邊運算邊傳輸
: 最後我使出大決  寫個Pthread的程式  強迫開兩個thread分別運算和傳輸
: 結果卻是讓人失望  在一台雙核心的平台上  開nodes=2:ppn=2讓兩台電腦對傳
: 跑這樣的程式  卻會造成其中某幾個跑得快  某幾個跑得慢的結果
: 在MPI_Barrier之後  最慢的那個所花的時間  竟然很湊巧跟原來的時間一樣
: 意思是說  還是一點都沒省到時間
: 不知道板上有沒有板友曾經測試過MPI_Isend  並且成功的讓他同時運算與傳輸呢?
: --
: ※ 發信站: 批踢踢實業坊(ptt.cc)
: ◆ From: 140.112.101.114
: ※ 編輯: justdemon       來自: 140.112.101.114      (11/22 16:18)
: → tinlans:你的目的是 process 間協同工作所以要吃到 100% CPU 幾乎   11/22 23:50
: → tinlans:都會是有困難的，但是想完全榨出這種平行程式的效能，盡量  11/22 23:51
: → tinlans:別用什麼 barrier，然後 MPI_Irecv 盡量提前送，這樣其它   11/22 23:52
: → tinlans:process 有送東西來之前還能做一些事情，多少會賺一些。    11/22 23:55
: → tinlans:簡單說如果你先發 Irecv 再去忙一陣子，其它 process 用    11/23 00:04
: → tinlans:Isend 送資料時，等送 Irecv 的 process 忙完後去 test 時  11/23 00:05
: → tinlans:資料可能就已經 ready 了。                               11/23 00:05
: → tinlans:這樣資料傳輸跟運算就會同時進行。                        11/23 00:07
謝謝T大的推文

可是在我測試的環境相當的簡單  盡量讓每個process做相同的事情

我最原始的測試的code如下

http://nopaste.csie.org/b2860


經過測試之後發現  那個sleep(5)  就真的五秒都在那裡睡  背後並沒有繼續傳輸

我也試過用其他運算取代sleep  結果一樣

全部的時間  就是剛好等於  傳輸時間+運算時間


他的行為就像是  Isend只是標示出來有個東西要傳  直到wait的時候才開始傳輸

我也試過用MPI_Init_thread取代MPI_Init  結果也一樣


不知道有沒有板友方便幫我測試一下這個簡單的程式呢?

謝謝  ^^

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 140.112.101.114
→ tinlans:你的程式看起來都是在傳而已沒什麼運算啊，實際上的程式
→ tinlans:並不會長這樣。
→ tinlans:你應該要寫那種能把要處理的資料分割成 N 大塊，然後傳輸
→ tinlans:資料的量 (除了初始化分配資料) 遠少於計算的量，才賺得到
→ tinlans:，另外就我之前寫的經驗，Isend 只要碰到對面送 Irecv 就
→ tinlans:會在 background 開始傳輸了，所以 Irecv 提前送的話，
→ tinlans:只要 Isend 一被呼叫就會馬上傳，這樣只要 Irecv 到 wait
→ tinlans:之間你有做一些足夠的運算量，去 wait 的時候第一次就能吃
→ tinlans:到傳完的資料了。