Dosya adına değil dosya içeriğine bakarak duplicate dosyaları bulacağız.

Vaka

Aynı dosya farklı isimlerle veya farklı klasörlerde birden fazla kez saklanmış olabilir.

Kod

from collections import defaultdict
from hashlib import sha256
from pathlib import Path

def dosya_hash(
    path: Path,
    parca_boyutu: int =
        1024 * 1024
) -> str:

    ozet = sha256()

    with path.open("rb") as dosya:

        while parca := dosya.read(
            parca_boyutu
        ):

            ozet.update(parca)

    return ozet.hexdigest()


def tekrarli_dosyalari_bul(
    kok: Path
) -> dict[str, list[Path]]:

    gruplar:
        dict[str, list[Path]] =
        defaultdict(list)

    for path in kok.rglob("*"):

        if not path.is_file():
            continue

        gruplar[
            dosya_hash(path)
        ].append(path)

    return {
        ozet: yollar

        for ozet, yollar
        in gruplar.items()

        if len(yollar) > 1
    }


for ozet, yollar in (
    tekrarli_dosyalari_bul(
        Path("arsiv")
    ).items()
):

    print(ozet)

    for yol in yollar:
        print(
            "  ",
            yol
        )

Nasıl Çalışır?

  1. Dosyalar Pathlib ile bulunur.
  2. Dosya bir kerede RAM'e alınmaz.
  3. 1 MB parçalar halinde SHA-256 hesabına eklenir.
  4. Aynı hash değerine sahip dosyalar aynı gruba alınır.
  5. Birden fazla dosyası olan gruplar sonuç olarak döndürülür.

Beklenen Sonuç

abc123...
  arsiv/dosya1.zip
  arsiv/yedek/dosya1-kopya.zip

Dikkat Edilecek Nokta

Çok büyük arşivlerde önce dosya boyutuna göre adayları gruplamak, hash hesaplama maliyetini ciddi biçimde azaltabilir.