作者sorryChen (陳揚和)
看板Programming
標題Re: 在cluster上多node同時寫入一個檔案
時間Mon Jun 1 04:32:51 2009
感謝回覆, 其實我的需求更簡單, 因為不同process要寫的檔案內容其實相同
(不需要合併, 任何一份就好),而且等沒關係, 只要不要讀到還沒建好的
或是大家一起建結果檔是壞的...
我原本是想問說..File system應該會有預先的保護機制..
如果有的話就不用自己擔心
如果沒有, 應該可以像我說的那樣簡單檢查一下,
先看有沒有建好的,有就讀, 沒有就檢查暫存檔在不在, 在就等
不在就建, 先寫到暫存檔, 寫好再改檔名..
(sorry..問題沒問清楚)
※ 引述《yauhh (喲)》之銘言:
: ※ 引述《sorryChen (陳揚和)》之銘言:
: : 感謝學長詢問, 其實我不需要同時寫一個檔
: : 只是怕很多node執行相同的程式時會出錯
: : 如果file system沒有保護的機制 就必須要自己加
: : 由於這個檔是個公用index
: : 原本的機制是 存在就讀入 不存在就建
: : 但如果有多個相同的程式在執行時
: : 就可能一個在建時 另一個process以為已經建好了要讀
: : 不然就是以為還沒建 要建一個準備寫入
: : 現在想到的就是先寫到一個暫存檔 寫好後再改檔名
: : 希望改檔名的時間非常短 不會有collision
: 都一同寫入目的檔,或是讓等待的程序寫入暫存檔,不是都一樣要等嗎?
: 如果讓它們寫入不同的檔案,並在某檔案內做個計數或等一段夠長的時間,
: 大家都寫完之後,再合併這些檔案,這樣如何呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 128.125.87.33
推 march20:有種你在自找麻煩的感覺 @@ 66.75.255.220 06/01 11:21
推 yauhh:讓許多process賽跑看誰先到嗎? 59.112.226.220 06/01 12:20