Externe harde schijf (voor backup) testen: hoe?

[Jenske]

Ik gebruik al meer dan 10 jaar een harde schijf (een iomega schijf die draait, dus geen SSD) voor het maken van backups.
Dat draait goed en vlot, maar ... aangezien schijven niet eeuwig leven wil ik weten:

• hoe test ik zo'n externe USB-schijf grondig?
• heeft het zin om die externe schijf even te formatteren (als ext4, wat ze nu ook is) en dan alles opnieuw te bakkuppen? (ik heb nog een 2de backup-schijf dus het kan geen kwaad om mijn USB-schijf even te formatteren; ik heb immers nog een backup extra)
  
  

[emvedeesje]

Je hebt 2 backups, dat is slim, er is dus geen enkel risico.
Laat die ouwe rakker dus maar gewoon meelopen tot ie niet meer kan.

Zelf backup ik afwisselend naar de ene, de volgende keer naar de andere backupschijf.

[aartje]

Ik gebruik al meer dan 10 jaar een harde schijf (een iomega schijf die draait, dus geen SSD) voor het maken van backups.
Dat draait goed en vlot, maar ... aangezien schijven niet eeuwig leven wil ik weten:

• heeft het zin om die externe schijf even te formatteren (als ext4, wat ze nu ook is) en dan alles opnieuw te bakkuppen? (ik heb nog een 2de backup-schijf dus het kan geen kwaad om mijn USB-schijf even te formatteren; ik heb immers nog een backup extra)
  
  

Wat ik ongeveer eens in de vijf jaar doe is alle data herschrijven op de externe disk. Ik heb ook nog minstens een tweede backup
op een ander medium van de belangrijkste data.
Dat doe ik door het volgende commando :

sudo dd if=/dev/sdb of=/dev/sdb bs=16M conv=fsync status=progress

Waarbij "sdb" natuurlijk veranderd moet worden in jouw schijfnaam. Ik start het op voor het slapen gaan en
zie het de volgende dag of het goed verlopen is.

[Jenske]

Ik wil eigenlijk vooral weten of je door het testen van een schijf ook kan inschatten hoe lang ze nog zal meegaan.

Ik ga er immers vanuit dat doorheen het gebruik een aantal sectoren (of hoe noemen ze dat) als "slecht" zullen worden aangeduid (en daar dus geen gebruik meer zal van worden gemaakt). Maar op een bepaald ogenblik zal het aantal slechte sectoren sneller en sneller beginnen stijgen -- tenminste, zo stel ik me dat voor -- en kan je dus "voorspellen" of aanvoelen dat die schijf binnen nu en X maanden het zal begeven.

Of ben ik naïef en loopt het boeltje gewoon op een gegeven moment vast (en dan moet je natuurlijk een nieuwe schijf kopen)?

Ik vergelijk het met het inschatten van de tijd die een oude boom nog rest: een beetje bomenkenner kan aangeven of een boom nog 5, dan wel 50 jaar zal meegaan op basis van schorskenmerken, takbreuk en nog wat kenmerken. Ik wil dus weten of je zoiets ook voor een HDD kan inschatten: "deze schijf heeft nog een 3 jaar te draaien voordat de helft van de sectoren onbeschrijfbaar is geworden".

[aartje]

Of ben ik naïef en loopt het boeltje gewoon op een gegeven moment vast (en dan moet je natuurlijk een nieuwe schijf kopen)?

Nee, het is niet te voorspellen wanneer een HD onbetrouwbaar wordt. De HD kan ook altijd morgen al kapot gaan.
Wil je de kans heeeel klein maken dan zou je een RAID(5?)-configuratie moeten hebben, daarbij heb je meerdere
schijven parallel (bv 5 of 6), waarbij er eventueel één van de schijven uit kan vallen, waarbij de data toch behouden
blijft dmv de andere schijven (door foutcorrectie) en je zo snel mogelijk de defecte schijf moet vervangen etc.etc.

Als je het risico zo klein mogelijk wil laten zijn dat je je data van één dag kwijt kan raken, maak dan iedere dag een backup
en niet iedere dag op hetzelfde medium (zoals emdeveeje ook suggereert), maar die afwegingen maken zijn een vak op zich.

[vanadium]

Helemaal akkoord met wat reeds is gezegd. Backups zijn je belangrijkste bescherming. Daar voldoe je als het kan aan de 3-2-1 regel:

• Heb drie kopieën van je data hebben
• Op (minstens) twee verschillende media: harde schijven van een ander type en een ander model, zodat de kans dat ze er "samen" uitgaan, verkleind
• Eén kopie bewaar je buitenshuis of doe je in de cloud: die heb je nog als er inbraak is, brand, overstroming, ...

Met twee backupschijven, Jenske, zit je al heel goed.

Een backup, en zeker een dagelijkse backup, moet snel zijn! Indien mogelijk volledig automatisch, maar anders zo gemakkelijk mogelijk. Sedert enkele weken gebruik ik daarvoor restic (het grafische programma Déja Dup gebruikt dit nu ook).

Ik werk op een laptop. Ik heb altijd een externe SSD USB bij me. Daarop staan foto's en muziek waar op de laptop geen plaats voor is, maar daar maak ik ook mijn dagelijkse reservekopie op.

Dagelijks verbind ik het schijfje met de laptop, dan "bkup<enter>" in de terminal, en tien seconden later is de backup klaar. Het vraagt weinig moeite, dus het komt er gemakkelijk van.

Op mijn werk en thuis heb ik nog een USB schijf, waarop ik zowat wekelijks een reservekopie maak, niet alleen van Documenten, maar ook van foto's en muziek op dat SSD schijfje. Onlangs heb ik daar nog een backup op OneDrive aan toegevoegd, modat dit met restic probleemloos kan (linux permissies, hardlinks, … het wordt allemaal bewaard onafhankelijk van het bestandssysteem waarop de backup zich bevindt)..

Oude backups een tijdje bewaren is nodig! Stel, je begaat een fout, en ziet de fout pas nadat je al al je backups hebt gemaakt. Als je een oudere backup hebt, dan kan je die nog herstellen.

Voordelen van restic boven mijn oude rsync script met hard link zijn

• Het gaat nog sneller (op SSD 9 seconden in plaats van 12 om 114 Gb data te scannen, misschien niet zo belangrijk, maar op een klassieke HD ga je van 2,5 minuten naar onder de 2 minuten)
• Echte deduplicatie: je data wordt slechts één keer opgeslagen. Ook als je bestanden hernoemt of verplaatst moeten die niet opnieuw naar de backup geschreven worden.
• Compressie
• Foutdetectie: van bestanden wordt een hash gemaakt, zodat onmiddellijk kan gedetecteerd worden of data correct zijn.

[Jenske]

Ik draai Kubuntu en daarin zit een backup-systeem (waarvan ik niet weet hoe het eigenlijk heet*) en dat werkt heel goed.

Zo stel ik bv. in dat op het ene medium om de X dagen een backup moet worden gemaakt, op het andere medium om de Y dagen, een soort afwisselend systeem dus.

Dat Kubuntu-backupsysteem draait mooi en geeft aan wanneer ik achter sta met een backup (want ik hang mijn backup schijven niet altijd aan mijn pc, net om te voorkomen dat bij een brandje of brand, bomaanslag of gewoon ontevreden gezinsleden die mijn Linux-verhaaltjes kotsbeu zijn geworden al mijn backups én computer in één ruk vernield worden).

Ik stel hem in op "gesynchoniseerde backup" en niet op incremental (versies) omdat ik daar niet in geloof. Ik wil nl. dat mijn backup en mijn origineel exact hetzelfde blijven, zodat ik desnoods na een restore onmiddellijk gewoon terug van start kan gaan en me niet moet herinneren hoe dat programma weer heette dat een incremental backup had gemaakt.

Ik krijg dan een berichtje, "hé, Jenske, ge hebt nu al 2 weken geen backup gemaakt op schijf X, wordt het eens geen tijd om er een nieuwe op te zetten" (maar dan korter), koppel mijn schijf aan en klaar is kees.


*het heet in Synapcic "bup" en zoals ik het lees is "bup" een GUI dat in de achtergrond rsync gebruikt.

Naar een cloud backuppen doe ik niet, want het gaat om 300 Gbyte aan gegevens en dan moet het systeem eerst heel die schijf onderzocht worden op verschillen ten opzichte van de vorige backup.

[vanadium]

Ik stel hem in op "gesynchoniseerde backup" en niet op incremental (versies) omdat ik daar niet in geloof. Ik wil nl. dat mijn backup en mijn origineel exact hetzelfde blijven, zodat ik desnoods na een restore onmiddellijk gewoon terug van start kan gaan en me niet moet herinneren hoe dat programma weer heette dat een incremental backup had gemaakt.

Let dan maar op dat je niet tegenkomt wat ik pas enkele weken geleden ben tegengekomen!

Voor mijn foto's had ik toen nog een gesynchronizeerde backup. Na een herinstallatie van mijn laptop had ik die nog niet teruggeplaatst. Gevolg: bij de eerstvolgende backup worden alle foto's op de backup gewist! Ik merkte het te laat op: op het moment dat ik het zag, waren al mijn foto's van alle regelmatige backups reeds verdwenen!

Gelukkig had ik nog kopie op een grote schijf voor media, waar ik slechts sporadisch een backup bijwerkte. En gelukkig was die toevallig van niet lang geleden…

Een backup met versies beschermt tegen "menselijke fouten" en andere fouten die je niet meteen opmerkt, en zo ook in de backup terecht komen. Op het moment dat je het opmerkt, ben je (zeer) blij dat je versies hebt! Met jouw systeem, alternerend backups maken, maar niet geversioneerd, ben je slechts een heel klein beetje beschermd hiertegen.

Met rsync kan je wel degelijk geversioneerde backups maken die plaatsefficient zijn. Backup tools zoals rsnapshot doen dat. Ik deed dat met een eigen script. Bestanden die niet gewijzigd zijn, worden gelinkt met het reeds aanwezige bestand in de vorige snapshot. Alleen gewijzigde bestanden worden overgebracht naar de backup. Dat is een lichtere vorm van deduplicatie. Als je een bestand hernoemt, en/of verplaatst, zal rsync dat als een nieuw bestand zien en terug overkopiëren, waardoor het twee keer in de backup terecht komt. Moderne backup tools zoals restic en borg kijken naar de inhoud van het bestand, en zien of dat reeds in de backup zit. Daardoor wordt een bestand niet dubbel opgeslagen, zelfs al verplaats je het of hernoem je het.

[Jenske]

Da's inderdaad een sterk argument: als ik bepaalde bestanden onbedoeld wis op de bronlocatie (en er verder geen acht op sla), zullen deze bij de eerstvolgende (gesynchroniseerde) backup ook van de backuplocatie worden gegooid.

Ik ga er nog eens over nadenken, want je hebt me nu (terecht) wat ongerust gemaakt.

Zo kan ik me voorstellen dat ik op 2 september in mijn fotoverzameling (Digikam met 40.000 beelden met uitgebreide tags) de tag "Dit_is_interessant" te verwijderen. Gevolg: de tag is weg en hangt dus ook niet meer aan foto's. De foto's blijven nog wél staan. Dat hoeft niet erg te zijn, maar ...
... als ik dan pas NA een backup zou vaststellen dat ik die tag TOCH nodig had of wilde gebruiken, vind ik die natuurlijk niet meer terug, want de backup heeft het boeltje al overschreven ZONDER die "oude" tag.

Je hebt me dus aan het denken gezet.

[vanadium]

Je hebt me dus aan het denken gezet.

Ik heb dat dus weer zelf op de harde manier moeten leren. Ik die mezelf een back-up goeroe vond  , maar het niet nodig achte geversioneerde backups te hebben voor data die weinig veranderen (foto's, films), en waar meestal alleen maar iets bijkomt