Dosya adına değil dosya içeriğine bakarak duplicate dosyaları bulacağız.
Vaka
Aynı dosya farklı isimlerle veya farklı klasörlerde birden fazla kez saklanmış olabilir.
Kod
from collections import defaultdict
from hashlib import sha256
from pathlib import Path
def dosya_hash(
path: Path,
parca_boyutu: int =
1024 * 1024
) -> str:
ozet = sha256()
with path.open("rb") as dosya:
while parca := dosya.read(
parca_boyutu
):
ozet.update(parca)
return ozet.hexdigest()
def tekrarli_dosyalari_bul(
kok: Path
) -> dict[str, list[Path]]:
gruplar:
dict[str, list[Path]] =
defaultdict(list)
for path in kok.rglob("*"):
if not path.is_file():
continue
gruplar[
dosya_hash(path)
].append(path)
return {
ozet: yollar
for ozet, yollar
in gruplar.items()
if len(yollar) > 1
}
for ozet, yollar in (
tekrarli_dosyalari_bul(
Path("arsiv")
).items()
):
print(ozet)
for yol in yollar:
print(
" ",
yol
)
Nasıl Çalışır?
- Dosyalar Pathlib ile bulunur.
- Dosya bir kerede RAM'e alınmaz.
- 1 MB parçalar halinde SHA-256 hesabına eklenir.
- Aynı hash değerine sahip dosyalar aynı gruba alınır.
- Birden fazla dosyası olan gruplar sonuç olarak döndürülür.
Beklenen Sonuç
abc123...
arsiv/dosya1.zip
arsiv/yedek/dosya1-kopya.zip
Dikkat Edilecek Nokta
Çok büyük arşivlerde önce dosya boyutuna göre adayları gruplamak, hash hesaplama maliyetini ciddi biçimde azaltabilir.
Yorumlar
0 yorum