Re: [問題] Google 雲端硬碟這樣搬會不會比較快？

[rick65134 ()]

今天白天總共移動(fclone move)了40多萬個檔案 大小77TB

除了一開始的沒有開啟垃圾桶 死了將近300個檔案外(17132->16852)

後面一個檔案都沒漏

結論就是 fclone的設定檔一定要開啟垃圾桶阿

use_trash = true

因為fclone move在搬檔過程中會發瘋似的把你的檔案刪掉

真的就是出現delete的訊息

2022-03-28 03:54:36 INFO  : 網版再造明清201901修訂版_checkedOK/網版再造明清
201901修訂版583種卷冊頁及圖書信息unicode-utf8b5/583種圖書信息/ZHSY100568風箏誤
傳奇 +（清）李漁撰+清翼聖堂刻笠翁傳奇十種本.txt: Deleted

沒有垃圾桶的話 你真的只能眼睜睜看著檔案消失了

我使用的參數是
--drive-server-side-across-configs --stats=1s
--stats-one-line -vP --checkers=256 --transfers=256
--drive-pacer-min-sleep=1ms

檔案搬完後 可能要等半小時 期間不斷用ncdu觀察目的地檔案到齊了沒有
(一開始可能會缺很多檔案 但檔案會慢慢的補齊)
(在搬動之前先用ncdu掃描來源資料夾 且掃描結果的視窗不要關閉)

同時也要去把TD對應的垃圾桶的檔案 全選->還原
(垃圾桶內的檔案也是會慢慢冒出來 不要急)

後面還有5百萬個檔案要搬 繼續再接再厲~~

對了 我是用主帳號去搬 因為sa帳號似乎沒有權限去移動檔案到TD 會跳錯誤訊息

你的750gb*20天 頂多15TB 應該算小case了...

※ 引述《LonyIce (耀西)》之銘言：
: 我 Google 雲端硬碟搬家，教育逃到企業
: 因為攝影、錄影工作，檔案大又多
: 大家不推薦內建的搬家是因為容易漏檔案
: 所以都推薦 rclone
: 但我的檔案多，每天傳輸流量也有 750 gb 的上限，這樣想想可能要花上 20 天以上。
: 那如果我用內建的搬家先搬（不用管流量問題），然後再用 rclone 檢查檔案是否遺失，這
: 樣搬家時間是不是有機會壓縮到 10 天以內呢？
: 這樣的方法是否可行？還是會有什麼問題呢？謝謝各位。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.72.78.30 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Free_box/M.1648478682.A.4DE.html
推 LonyIce: 看不太懂你用的那些功能QQ 只覺得一天能搬77TB 好厲害，
→ LonyIce: 不過還是感謝你的回覆…
推 Godist: 漏檔可能是有名稱相同的檔案，才會出現檔案被刪除的情況，
→ Godist: 跑之前可以先dedupe一次再觀察看看
→ Godist: 然後用SA是沒辦法跑server side move的，就算給了權限也只
→ Godist: 會變一般的move（跑流量）
→ rick65134: 確定不是重複檔名的問題 所有來源檔案當初從別人那邊復
→ rick65134: 複製過來時都有執行過很多次dedupe了 當時是為了確保複
→ rick65134: 製時一個檔案都沒有漏 當初的最大的手筆是百萬檔案沒漏
→ rick65134: 印象中分了3次複製
推 lux2668: 請問有沒有fclone move完整的指令？
→ lux2668: 我資質駑頓，77T我要搬好久...
我已經把設定參數都列出來了阿

完整指令是

./fclone move rick:{AAAAAAAAAA}/來源目錄 rick:{BBBBBBBBBB}/目的目錄

後面掛上前面貼的那串參數即可

/來源目錄 和 /目的目錄 可以很多層目錄
※ 編輯: rick65134 (61.220.100.12 臺灣), 03/30/2022 10:42:59
推 andy199113: 好文推
推 lux2668: 漂亮，謝謝你喔！！