Rsync en Dropbox

[flyerman]

Ik gebruik op mijn server Rsync om back-ups te maken, en automatisch wordt het in een wolk bewaard met Dropbox.

Werkt allemaal leuk totdat er bijv een HDD kapot gaat, Dropbox denkt dan dat er niks meer in desbetreffende map staat en begint vrolijk te synchroniseren, met het gevolg dat
de bestanden in de wolk verdwenen zijn.

Twee vragen, hoe is dat te voorkomen met Dropbox? En hoe gaat Rsync er mee om als data niet meer te lezen is, maakt Rsync de back-up dan ook leeg?

[jan11000]

Dit is ook een probleem bij een back-up systeem maken.

-Je kunt "delete on destination" uit zetten, dan wordt er nooit iets verwijderd. Dan regelmatig als je zelf controleert dat de verbindingen kloppen, dan wel met delete rsync gebruiken.
-Misschien dat je een scipt kunt maken die eerst kijk of de verbindingen kloppen en dan pas rsync toepast.
- Dan kun je nog met meerdere file versies werken per file, en dan nog back-ups maken op je opslag, zodat je terug in tijd kunt springen met je back-up. Of je dit bij dropbox kunt doen weet ik niet.

Je zou thuis een back-up kunnen maken, die om de zoveel tijd een back-up maakt(om terug in tijd te springen), en file versies bij houdt. Dan zou je hier nog op terug kunnen springen. Een zfs file systeem is zeer goed(bijv freenas, nas4free).

En rekening houden dat bepaalde virussen, een encryptie toepassen op je files, dus niet alles online laten, en zorg dat je terug in tijd kunt springen.

[Jenske]

Dropbox is een synchronisatiedienst; het is als het ware een soort spiegel. En dan is het erg logisch dat hij, indien het origineel beeld is verdwenen, dit ook wist uit je dropbox.
Rsync kan je wél gebruiken om een soort backupsysteem te maken. Door de juiste instellingen te kiezen kan je voor eenrichtingsverkeer kiezen, zodat bv. al de bestanden van je harde schijf A naar de backupschijf B worden overgeschreven. Ook als A dan crasht of in de fik vliegt, zal B dus niet domweg mee worden gewist.

Volgens mij is Dropbox géén geschikt systeem om écht als backup te gebruiken. Maar ik ben slechts een kleine garnaal in de zee die bevolkt wordt door haaien, walvissen en hektrawlers ;-)

[vanadium]

Omtrent het gedrag van rsync: als de bronschijf leesfouten vertoont, dan zal rsync wellicht aborteren. Standaard maakt rsync immers een nieuwe kopie op de bestemming, en wist het oorspronkelijke bestand pas als het nieuwe bestand succesvol toegekomen is. Als de bronbestanden echter op een andere manier softwarematig corrupt zijn geraakt, dan worden de corrupte versies overgebracht.

Daarom werk ik sedert enige tijd met snapshots: vorige versies worden bewaard. Bestanden niet niet gewijzigd zijn tussen backups, worden overgekopieerd als hardlinks, zodat het bestand wel aanwezig is is in alle momentopnamen, maar slechts één keer plaats opneemt.

Zoals Jenske zegt, werkt Dropbox in die omstandigheden zoals verwacht. Het is inderdaad geen backupoplossing.

[flyerman]

@vanadium, hoe doe jij dat met snapshots dan?

[Paul Matthijsse]

@vanadium, hoe ziet jouw rsync-opdracht eruit?

[vanadium]

In zijn eenvoudigste vorm is het een script met drie lijnen:

- De huidige datum wordt in een variabele gezet
- rsync wordt uitgevoerd met als bestemming een nieuw aan te maken folder (naam: <bestemming>-new). Niet gewijzigde bestanden in de backup (<bestemming>) worden gelinkt naar die nieuwe folder (--link-dest=<bestemming>), gewijzigde of nieuwe bestanden uit de bron worden overgekopieerd.
- Backup wordt hernoemd naar backup-datum (<bestemming> -> <bestemming>-datum), de nieuw aangemaakte folder krijgt nu de naam van de backup (<bestemming>-new -> <bestemming>).

Zo wordt er bij elke backup een nieuwe aangemaakt, maar de oude blijft bestaan en wordt gemerkt met de datum. Bestanden die niet wijzigen, komen in elk van die snapshots voor, maar omdat het hardlinks zijn, neemt het bestand maar één keer plaats in.

Code: [Selecteer]

#!/bin/bash

date=$(date "+%Y-%m-%dT%H:%M:%S")
rsync -av --delete --exclude '*/ImapMail/*' --link-dest="/media/vanadium/backup/Documents" "/home/vanadium/Documents/" "/media/vanadium/backup/Documents-new"
mv "/media/vanadium/backup/Documents" "/media/vanadium/backup/Documents-$date"; mv "/media/vanadium/backup/Documents-new" ""/media/vanadium/backup/Documents"