[請問] 搜尋重複檔案 快速:只檢查部分內容

[i8i (狀況已經不能再糟了)]

因為NAS共用，上面的照片跟影片好多被重複上傳。

現在正在找刪除重複檔案的軟體。

試用了兩三個都有達到我的目的，但核對的時間非常久。



想要請問有沒有刪除重複檔案的軟體，

可以設定檔案大小相同的話就只核對前10MB 或前1MB的檔案內容(可設定)。


我的影片如果不是同一部的話，應該前1MB的內容就全都不一樣了。

前面檔案內容一樣的話，後面的內容就不要核對了。

用這個方式增加速度。


謝謝~~

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.228.72.139
※ 文章網址: https://www.ptt.cc/bbs/EZsoft/M.1480942070.A.F20.html
推 agreerga: 不能直接針對檔名就好嗎?
→ i8i: 我同檔很常有不同檔名 name 或 name(2) 或 name_2 都發生過
推 rick65134: 加上檔案大小為判斷依據?
→ i8i: 我想要檢查1.檔案大小 2.檔案前1MB內容 符合這兩項就當作相同
推 spfy: 這樣還是要解析影片吧 個人感覺沒你想像的這麼簡單...
推 agreerga: 我是覺得既然都確定是重複上傳了 檔名直接看不會錯吧
→ agreerga: 除非你又有改掉檔名
→ i8i: 我再補充一下別的狀況，太多人共用這個NAS，抓影片的渠道不同
→ i8i: 很常會有檔名不同，但內容物相同的狀況。
→ i8i: 例如：*****.HR-HDTV.AC3.1024X550.x264-人人影视制作.mkv
→ i8i: 跟  ：*****.國日音軌.雙語字幕.mkv
→ i8i: 是同個檔案，被重複抓下來。佔用太多空間。全部掃速度又太慢
→ y3k: CRC
推 spfy: 你指的相同是只有影片相同 還是要連壓縮編碼 音軌 通通相同?
→ spfy: 只對比前者的話應該不可能用軟體幫你找 同影片不同壓縮
→ spfy: BDRIP/DVDRIP 1080P/720P 這些對軟體來說通通是不同的
→ i8i: 我指的是完全相同的檔案,只是檔案名稱敘述不同。
→ i8i: 檔案大小不一樣就不檢查內容
推 eight0: 我 google 到了很多類似的工具，不過都在 linux 底下
→ eight0: 現在我用這個 https://github.com/mixu/file-dedupe
推 rick65134: 這種用途不錯 不過還真沒在windows下看過這種軟體...
→ rick65134: linux的話 感覺搭配head指令兜一兜就出來了