[問題] 部屬大量檔案至多台電腦

[jjooeeyy (陳阿燒)]

請問有什麼方法能夠穩定的複製同樣的檔案

且容量較大的情(況約60GB左右)

至上百台電腦?

有沒有較省頻寬較快速且不易出錯的方式

謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 118.168.233.124
→ bitlife:udp-sender ?
→ dyoll:local BT upload download?
→ jjooeeyy:udp sender我不知道是不是用過的同一款 沒有retry
→ jjooeeyy:而且容易斷...一斷一台就少一台
→ jjooeeyy:BT我現在的在用 但因為檔案變更機會大 要重新做種
→ jjooeeyy:但種都在遠端....做起來很花時間 所以才想有沒有
→ jjooeeyy:其他方式 還是說 上述兩種方法是我使用方式錯誤
→ bitlife:BT特色是WAN上多送端至一接收端,在LAN上沒有優勢,算總傳輸
→ bitlife:量就知道了
→ bitlife:http://linux.die.net/man/1/udp-sender  我沒管理多電腦
→ bitlife:沒實際用過,但它man page裏有request retransmission字眼
→ bitlife:理論上設對參數就能正確傳完
→ jjooeeyy:因為環境特殊 Source骨幹外 然後一台Server掛Source NFS
→ jjooeeyy:所以頻寬不是很夠 相對不可能讓Client抓取大量資料
→ jjooeeyy:BT雖然是互相share進度 但目前就卡在做種的效率
→ bitlife:BT不會賺到,我剛說過,你計算總傳輸量就知道
→ bitlife:真正會賺到的只有 udp 廣/多播 然後搭配selective repeat
→ bitlife:就是該man page中所謂的(request retransmission lost pac
→ bitlife:ket)
→ jjooeeyy:請問如果透過udp-sender 如何傳送資料夾
→ jjooeeyy:之前是將他壓縮成tar 但這問題也就跟BT一樣了
→ bitlife:udp-sender 看 man page 可以從 stdin 讀,所以應該是tar
→ bitlife:到pipe給udp-sender,這個load若不壓縮應該還好,每次全傳檔
→ bitlife:案本來就要全部被讀取一次
推 asdfghjklasd:網路架構是什麼,作業系統又是什麼
→ asdfghjklasd:不會是VOD吧.....
→ jjooeeyy:架構大致上 Source---WAN(NFS)---Server----LAN(100+)
→ jjooeeyy:系統為 Linux
→ jjooeeyy:不是影音相關資料 大都是VM
→ soem:不知道DFS是不是個選擇？
推 asdfghjklasd:這有方案啊......可以看看別人怎做
推 asdfghjklasd:看看NOVELL PlateSpin Forge 合不合用
→ jjooeeyy:謝謝 不過條件要Opensource跟free(最重要)
推 SunMoonLake:clonezilla?不知道是否可達成
→ SunMoonLake:打錯  應該是另外一套叫作企鵝龍的  英文好像叫DRBL?
→ bitlife:原po最後有處理方案了嗎?若有能否分享一下?
→ jjooeeyy:udpcast 有辦到做到斷線回復的部分嗎
→ jjooeeyy:目前測試用udpcast retransmit的情況居高不下 且還是會有
→ jjooeeyy:client斷線情況發生
→ jjooeeyy:此外企鵝龍clonezilla應該是限於partition
→ bitlife:--retries-until-drop retries 參數看看有沒有幫助?
→ jjooeeyy:應該說sender再傳送約10%左右r-xmit已經達到300%以上
→ jjooeeyy:我正在想如果最佳化網路環境 當使用udpcast時網路中
→ jjooeeyy:盡量避免有其他封包流動的情況看看能否改善
→ bitlife:其它參數思考方向:降低bitrate(因為你台數太多,HD速度跟不
→ bitlife:上發送速度的收方可能不少. 還有就是採用 forward error
→ bitlife:correction,減少需要重傳的機會. 都不行就考慮減少一次動
→ bitlife:作的收方數量,分成幾批發送。根據文件舉例15台,或許是可以
→ bitlife:以一次15台接收方為上限.
→ bitlife:以上調整都會降低throughput,總體來看是否划算要實測才知
→ bitlife:不過能讓一批n台參與的收方順利都收完又比逐台傳n次省就算
→ bitlife:有賺到.