vergelijken back-up's

[hang-oor]

De afgelopen jaren heb ik diverse back-up's gemaakt op DVD. Ik kopieerde de gehele inhoud van mijn archief dan naar DVD. Omdat het nogal veel werd doe ik dit nu op een externe disk. Omdat ik van alle DVD's af wil heb ik deze allemaal gekopieerd naar de harde schijf. Erg veel data is dubbel, maar hoe zoek ik dat nu makkelijk uit?

Graag zou ik twee mappen (bijv. map A (eigenlijk DVD1) en map B (eigenlijk DVD2)) met elkaar kunnen vergelijken. In deze mappen zitten bestanden maar ook weer diverse submappen met bestanden. Het gaat mij alleen om de bestanden niet om de mappenstructuur (deze is ook gewijzigd in de loop van de tijd). Dus komen de bestanden in map A ook allemaal voor in map B?

Moeilijkheid: er komen soms bestanden voor met dezelfde naam, echter wel anders betreft omvang. Beide moeten worden bewaard / vergeleken.

Met rsync kom ik er niet uit omdat de mappenstructuur is gewijzigd.

Als ik een lijst kan maken met alle bestanden incl. omvang van map A en map B en deze kan vergelijken ben ik al een heel eind geholpen. Als ik immers weet dat alle bestanden van map A ook voorkomt in map B dan kan ik map A weggooien. en kan ik de volgende mappen DVD's vergelijken. Waarschijnlijk zal een nieuwer back-up alle bestanden bevatten van een voorgaande back-up (maar helemaal zeker is dat niet, vandaar het vergelijk).

[asilnevs]

Kijk hier eens: http://forum.ubuntu-nl.org/software-en-configuratie/dubbele-bestanden-49705/

[vanadium]

goede tip, inderdaad.

Een lijst van alle bestanden met hun attributen zou je kunnen maken met:

Code: [Selecteer]

find -type f -execdir ls -l "{}" \;

Een zeer belangrijk en mooi werk dat je doet, maar het zal toch voor een groot deel handwerk zijn om de data te sorteren, selecteren, en in één duidelijke directorystructuur onder te brengen.

[Paul Matthijsse]

Een goede raad: vertrouw niet blindelings op software voor dit soort acties. Zoals Vanadium aangaf: dit is handwerk!

Zelf zou ik het zo aanpakken. Als je twee dvd's wilt vergelijken die op een externe harde schijf staan geparkeerd (en die bijv. is aangekoppeld onder /media/externe_schijf) kun je ook dit proberen. Open een terminal en type (zonder de $):

Code: [Selecteer]

$ ls -lR /media/externe_schijf/dvd1 > inhoud_dvd1
$ ls -lR /media/externe_schijf/dvd2 > inhoud_dvd2
$ diff inhoud_dvd1 inhoud_dvd2 > verschillen
Dit laatste bestand in een editor openen en goed bestuderen!

[jan11000]

komparator
of doublekiller, is een windows programma via wine.

[Johan van Dijk]

Met "meld" kan je ook tekstbestanden vergelijken, en of er in verschillende mappen dezelfde bestanden zitten.
Verder zou je ook een scriptje kunnen maken die de md5sum van alle bestanden vergelijkt om dubbele eruit te vissen.
Omdat er niet echt een logica zit in je bestanden zal je toch een hoop handmatig moeten doen denk ik.

[koos4401]

Volgens het tijdschrift Linuxformat, Christmas2010 komen de volgende pakketten in aanmerking, in volgorde van gebruiksgemak:

1. Meld http//meld.sourceforge.net
2.TKdiff http//.sourceforge.net/projects/tkdiffen ook;
3. Kompare voor de KDE omgeving: www.caffeinated/me.uk/compare

Uit de beginformulering volgt al dat ik met géén van deze pakketten ervaring heb, ik geef alleen door wat ik gelezen heb.
De afbeeldinkjes erbij (helaas copyrigted, dus ik ga ze niet publiceren hier: ik heb de pest aan Engelse advocaten.

[ivo]

Een goede raad: vertrouw niet blindelings op software voor dit soort acties. Zoals Vanadium aangaf: dit is handwerk!

Zelf zou ik het zo aanpakken. Als je twee dvd's wilt vergelijken die op een externe harde schijf staan geparkeerd (en die bijv. is aangekoppeld onder /media/externe_schijf) kun je ook dit proberen. Open een terminal en type (zonder de $):

Code: [Selecteer]

$ ls -lR /media/externe_schijf/dvd1 > inhoud_dvd1
$ ls -lR /media/externe_schijf/dvd2 > inhoud_dvd2
$ diff inhoud_dvd1 inhoud_dvd2 > verschillen
Dit laatste bestand in een editor openen en goed bestuderen!

Dit zal niet gaan helpen omdat zijn directory structuur niet hetzelfde is.
De diff zal dus héél veel verschillen gaan vinden gewoon al op basis van de volgordelijkheid
van de bestandsnamen in de inhoud_dvd[1|2] bestanden.

Dit is een héél lastig probleem, ofwel een héél grote uitdaging voor een script kiddie.

[Paul Matthijsse]

Dit zal niet gaan helpen omdat zijn directory structuur niet hetzelfde is.
De diff zal dus héél veel verschillen gaan vinden gewoon al op basis van de volgordelijkheid
van de bestandsnamen in de inhoud_dvd[1|2] bestanden.
Dit is een héél lastig probleem, ofwel een héél grote uitdaging voor een script kiddie.

De 'R' - voor recursief - zou dit deels moeten ondervangen. Mee eens dat er iets van | grep of | sort op zou moeten volgen. Maar toegegeven, deze diff-aanpak is wellicht niet waar een eindgebruiker om vraagt. Ik heb het toegevoegd omdat ik heb ervaren dat programma's die een 'zoek de dubbele bestanden'-functie aan boord hebben, soms ernstig de fout in gaan. Digikam bijvoorbeeld, dat rapporteert dat twee foto's die vlak na elkaar zijn genomen (binnen een seconde, zelfde opnamesituatie) dezelfde zouden zijn. Als je op basis hiervan dingen gaat verwijderen, ga je beslist teveel verwijderen. Daarom ook het advies: verwijderen is handwerk!

Nog een advies aan de OP. Vermijd dit soort achteraf-problemen. Denk van tevoren goed na over wat je wilt backuppen. Doe dan een $ rsync -tva dit naar/dat/ergens en zet dat in een cronjob twee keer per dag. Scheelt veel gelazer, altijd je werk en je mails van de dag en de afgelopen paar jaar automatisch op (liefst) een andere schijf of een andere machine, zonder omkijken.

[markba]

Met diff kun je, naast bestanden, ook rechstreeks bestandsstructuren vergelijken:

Code: [Selecteer]

diff -ru <folder1> <folder2> > diff.txt

[hang-oor]

Volgens mij kan ik het wel vereenvoudigen in enkele stappen:

*wijzig de naam alle bestanden van MAP A incl. submappen
  - "oorspronkelijke bestandsnaam"+"_"+"omvang in bytes"

Hiermee worden alle bestanden uniek (misschien een enkele uitzondering) Bestanden met dezelfde naam is een bewerking van het origineel dus anders in omvang.

*wijzig de naam van alle bestanden van MAP B incl. submappen (zoals bovengenoemd aangegeven)

*kopieer alle bestanden van MAP A incl. submappen in een nieuw map zonder submappen

*kopieer alle bestanden van MAP B incl. submappen in een nieuw map zonder submappen

*vergelijk nu met ls de lijsten van bestanden.

-Hoe hernoem ik alle bestanden?
-Hoe kopieer ik alle bestanden zonder behoud van mappen?