Nieuws:

Welkom, Gast. Alsjeblieft inloggen of registreren.
Heb je de activerings-mail niet ontvangen?

Auteur Topic: Hoe en waar maak je een back-up van +1Tb  (gelezen 3885 keer)

nahjo

  • Gast
Hoe en waar maak je een back-up van +1Tb
« Gepost op: 2018/12/29, 17:15:57 »
Ik maak wekelijks een back-up van mijn (voor mij) belangrijke data en heb het daar geen moeite mee omdat het gecomprimeerd minder is dan 1Gb.
Zo kan ik altijd nog terug naar 4 weken geleden en in het ergste geval is er ook nog een redelijk recente backup (uiteraard versleuteld) in de cloud.
Maar wat als je meer dan een Terrabyte aan data hebt wat je wil/moet gaan back-uppen?
Elke week een proces starten wat al je data moet gaan kopiëren lijkt mij tijdrovend en waar laat sla je zo'n back-up dan extern op?
Wat is een back-up plan en wat zijn de mogelijkheden tegen uiteraard de geringst mogelijke kosten?
Ik ben benieuwd.


Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #1 Gepost op: 2018/12/29, 17:48:57 »
Je backup't toch alleen de wijzigingen? (= incrementeel)
En niet elke keer weer alles?  :o
Tenzij je heel veel wijzigingen hebt, is het dan zo gepiept.

Ik maak 3 backups met LuckyBackup op met LUKS versleutelde externe HDD's:
- 2 in mijn eigen huis.
- 1 buiten mijn huis.
« Laatst bewerkt op: 2018/12/29, 17:52:02 door VuurVosje »

Offline vanadium

  • Lid
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #2 Gepost op: 2018/12/29, 18:21:46 »
Ik maak incrementele backups met rsync. Telkens wordt een nieuwe backup folder gemaakt. Die wordt gevuld met kopieën van bestanden die veranderd zijn, maar met hardlinks naar bestanden in de vorige backup als die niet gewijzigd zijn.
  • Zo neemt een nieuwe backup enkel extra plaats in voor de gewijzigde bestanden, niet voor de niet veranderde bestanden.
  • Zo gaat de backup zeer snel: enkel gewijzigde bestanden komen over.
Onder die voorwaarden is het geen moeite praktisch dagelijks de backup bij te werken.

nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #3 Gepost op: 2018/12/29, 18:27:36 »
Je backup't toch alleen de wijzigingen? (= incrementeel)
En niet elke keer weer alles?  :o
Tenzij je heel veel wijzigingen hebt, is het dan zo gepiept.

Ik maak 3 backups met LuckyBackup op met LUKS versleutelde externe HDD's:
- 2 in mijn eigen huis.
- 1 buiten mijn huis.
Dat lijkt mij een goed systeem en tegenwoordig zijn die externe schijven best betaalbaar.


nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #4 Gepost op: 2018/12/29, 18:32:34 »
Ik maak incrementele backups met rsync. Telkens wordt een nieuwe backup folder gemaakt. Die wordt gevuld met kopieën van bestanden die veranderd zijn, maar met hardlinks naar bestanden in de vorige backup als die niet gewijzigd zijn.
  • Zo neemt een nieuwe backup enkel extra plaats in voor de gewijzigde bestanden, niet voor de niet veranderde bestanden.
  • Zo gaat de backup zeer snel: enkel gewijzigde bestanden komen over.
Onder die voorwaarden is het geen moeite praktisch dagelijks de backup bij te werken.
Je geeft aan met rsync de bestanden (dagelijks) te synchroniseren en in eerste instantie ligt dat ook voor de hand maar wat als je ontdekt dat er de laatste week een probleem is met een bestand? Kan je dan een week terug?  En is het tweede systeem buitenhuis? Uitgaande van het ergste?

Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #5 Gepost op: 2018/12/29, 18:43:15 »
Dat is nogal, 1TB. Hier met 6 gebruikersaccounts incl toch echt de nodige grote bestanden slechts een HOME map van 127GB. en de hele hdd is bij elkaar 202GB.

Het kan, met een fikse verzameling films en zo.
1TB backuppen? Op een 2TB externe disc. Of op een fikse NAS.
- I ♥ Linux -
Bij irritatie, voeg hier 'partyrabbit' toe -> https://forum.ubuntu-nl.org/index.php?action=profile;area=lists;sa=ignore

Offline vanadium

  • Lid
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #6 Gepost op: 2018/12/29, 18:52:51 »
De backups zijn incrementeel:  de vorige backups worden bewaard. In de actuele backup wordt immers gelinkt naar reeds bestaande backups van niet gewijzigde bestanden. Links (hardlinks) in linux zijn als een tweede of derde naam voor hetzelfde bestand. De tweede of derde naam staat elders in je bestandssysteem. Dit voelt aan alsof het om verschillende bestanden gaat, maar in werkelijkheid verwijzen die verschillende bestandsnamen naar dezelfde data op de harde schijf. Een bestand in linux wordt pas effectief gewist als ook de laatst overblijvende link naar dat bestand gewist wordt.

LuckyBackup doet achter de schermen zowat hetzelfde, want dat programma blijkt rsync te gebruiken. rsnapshot (aanwezig in de Ubuntu softwarepacketten - sudo apt install rsnapshot) is een script die dit ook doet, gebaseerd op dit oude artikel dat mij ook heeft geïnspireerd.

Een ander voorbeeld van een eenvoudige rsync backup is dat de bestanden in de backup zonder meer direct te lezen zijn. Soms verpakken backup programma's, zoals het standaard Gnome Backup, dat op zijn beurt draait op duplicity, de backup in archiefbestanden. Als dat universele tar bestanden zijn, is dit nog niet zo erg, maar als het een specifiek bestandsformaat is van je backup programma, dan kan het moeilijker zijn om vlug aan een reservekopie te geraken zonder via het backupprogramma te moeten gaan.

nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #7 Gepost op: 2018/12/29, 19:03:45 »
Dat is nogal, 1TB. Hier met 6 gebruikersaccounts incl toch echt de nodige grote bestanden slechts een HOME map van 127GB. en de hele hdd is bij elkaar 202GB.

Het kan, met een fikse verzameling films en zo.
1TB backuppen? Op een 2TB externe disc. Of op een fikse NAS.
Jip het kan gaan om het van internet gedownloade films of gedigitaliseerde oude films van familie. Van de een kan je redeneren die kan ik opnieuw downloaden en van de ander zou het verlies onherstelbaar kunnen zijn. Dat is dus een soort van backup-plan van wat is weer te herstellen en wat niet.
 

nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #8 Gepost op: 2018/12/29, 19:13:09 »
Een ander voorbeeld van een eenvoudige rsync backup is dat de bestanden in de backup zonder meer direct te lezen zijn.
Ja klopt is ook heel belangrijk dat je snel kan restoren zonder het eerst et moeten downloaden van de nieuwste versie van je back-up software met de hoop dat die de oude nog kan lezen.

Een voorbeeldje (ervaring) collega vraagt om een oud programma wat ooit onder VB5 is geprogrammeerd. Na veel zoeken een diskette gevonden met de broncode. Volgende probleem is het vinden van een computer met een diskette station.... uiteindelijk een ouwe bak gevonden maar bleek diskette niet meer leesbaar. Conclusie ook oude back-ups moeten op zijn tijd weer eens opnieuw gerestored/getest  worden boor betrouwbaarheid.

Offline softbart

  • Lid
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #9 Gepost op: 2018/12/29, 23:54:33 »
Ik maak incrementele backups met rsync. Telkens wordt een nieuwe backup folder gemaakt. Die wordt gevuld met kopieën van bestanden die veranderd zijn, maar met hardlinks naar bestanden in de vorige backup als die niet gewijzigd zijn.
  • Zo neemt een nieuwe backup enkel extra plaats in voor de gewijzigde bestanden, niet voor de niet veranderde bestanden.
  • Zo gaat de backup zeer snel: enkel gewijzigde bestanden komen over.
Onder die voorwaarden is het geen moeite praktisch dagelijks de backup bij te werken.
Hier ongeveer het zelfde.
De "gedelete" bestanden worden weg geschreven als "old" en binnen de rsync bewaard. Pas als de de old handmatig wordt verwijderd is het bestand volledig weg.
Is meen ik een paar jaar geleden ook een discussie over geweest betreffende het wel wel of niet deleten van.

groet,

Theo

Offline aartje

  • Lid
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #10 Gepost op: 2018/12/30, 09:10:25 »
De moeder aller backupprogramma's en de meest betrouwbare, ook omdat het al ruim 30 jaar bestaat in allerlei
Unix-omgevingen (vooral professioneel) is  de combinatie dump en restore om Unix-filesystemen te backuppen.
Ik gebruik het al sinds de begin tachtiger jaren. Je kan er incrementele backups mee maken en alles wordt
gebackupt (ook special-files, symbolische links, harde links, sockets etc.etc.) Het is vooral gemakkelijk om je root-filesysteem
van grootte mee te veranderen. Het werkt alleen met Unix(ook Linux)-filesystemen zoals ext2,3,4-filesystemen.
Je kan ook gecompresste backups maken etc.etc. Het zijn echt Unix-commando's, je kan er scripts omheen bouwen
en het automatisch laten uitvoeren (bv. via een crontab)
Ik geloof dat alleen de professionals het gebruiken, ik heb het al meer geroepen op dit forum, maar ik denk
niet dat iemand op dit forum het gebruikt omdat niemand er ooit op gereageerd heeft. Als je er meer over wilt weten
kan je erover googelen (dump restore linux gebruik) of na "dump" te hebben ge-installeerd (het is heel klein)
 eens "man dump" en "man restore" doen.

nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #11 Gepost op: 2018/12/30, 10:47:37 »
De moeder aller backupprogramma's en de meest betrouwbare, ook omdat het al ruim 30 jaar bestaat in allerlei
Unix-omgevingen (vooral professioneel) is  de combinatie dump en restore om Unix-filesystemen te backuppen.
Snel gekeken in de man pages en dat is het echte back-up werk zoals ik dat voor ogen heb. Met de 'levels' heb je een terugval mogelijkheid wat je normaliter met rsync niet hebt.
De backup plaats is dat binnenshuis of buitenhuis met SSH?

nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #12 Gepost op: 2018/12/30, 10:50:43 »
De "gedelete" bestanden worden weg geschreven als "old" en binnen de rsync bewaard. Pas als de de old handmatig wordt verwijderd is het bestand volledig weg.
Dat is ook een steengoede opmerking! Je (of iemand anders) kan onbewust iets verwijderen. Dan heb je dus hiermee een terugval mogelijkheid.
Wat is de opdracht om verwijderde bestanden te hernoemen naar *.old met rsync?



Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #13 Gepost op: 2018/12/30, 11:16:29 »
dump ziet er erg verouderd uit:
- het gaat vooral over ext2/3... ???
- tapes...kuch, kuch...  :o
- laatste update alweer jaren geleden, en de maintainer zelf heeft er ook al 3j geen zin meer in... :|
Citaat
dump/restore is looking for a new maintainer. If you're interested, please contact me.

Mijn vermoeden wordt hier bevestigd:
https://askubuntu.com/questions/17697/when-is-it-appropriate-to-use-dump-vs-rsync

Ik zou het bij rsync houden en als je een mooie GUI op rsync wilt die je scripts onhoudt: LuckyBackup.


nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #14 Gepost op: 2018/12/30, 12:02:51 »
dump ziet er erg verouderd uit:
- het gaat vooral over ext2/3... ???
- tapes...kuch, kuch...  :o
- laatste update alweer jaren geleden, en de maintainer zelf heeft er ook al 3j geen zin meer in... :|
Citaat
dump/restore is looking for a new maintainer. If you're interested, please contact me.

Mijn vermoeden wordt hier bevestigd:
https://askubuntu.com/questions/17697/when-is-it-appropriate-to-use-dump-vs-rsync

Ik zou het bij rsync houden en als je een mooie GUI op rsync wilt die je scripts onhoudt: LuckyBackup.
Dat is niet aardig  :( In mijn ogen (oude ervaring) zijn tapes de oplossing voor het veilig bewaren van back-ups voor een langere termijn. Heel handig te transporteren en op een andere locatie te kunnen opslaan.
En om de tape goed te gebruiken is dump daarvoor gemaakt. En iets wat heel goed is kan niet meer verbeterd worden  ;)
Wat ik even niet zie zitten met rsync is het terugvinden van een <heel belangrijk iets> in een +Terrabyte omgeving wat er bijvoorbeeld 14 dagen geleden nog wel aanwezig was.


Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #15 Gepost op: 2018/12/30, 12:27:22 »
Dat is niet aardig  :( In mijn ogen (oude ervaring) zijn tapes de oplossing voor het veilig bewaren van back-ups voor een langere termijn. Heel handig te transporteren en op een andere locatie te kunnen opslaan.
En om de tape goed te gebruiken is dump daarvoor gemaakt. En iets wat heel goed is kan niet meer verbeterd worden  ;)
Tegen die logica kan ik niet op...  ;)
Postkoetsen zijn echt helemaal super; onmogelijk nog te verbeteren!
En als je toch sneller wilt koop je gewoon een extra paard.

Sorry, erg flauw, maar tapes geeft wel aan uit wat voor oertijd dit stamt (tapes hebben trouwens de nare eigenschap dat ze slijten en vergaan, en zijn dus helemaal niet meer geschikt als backup, maar een halve eeuw geleden hadden ze eenmaal niets beters.....).
En sommige delen vd website zijn in 2003 voor het laatst bijgewerkt, de eigenaar zelf wil er al sinds 2015 vanaf...
Say no more.... abandon ship!  =D


Wat ik even niet zie zitten met rsync is het terugvinden van een <heel belangrijk iets> in een +Terrabyte omgeving wat er bijvoorbeeld 14 dagen geleden nog wel aanwezig was.
Ik snap niet helemaal wat je bedoelt, en welk probleem je precies hebt.
rsync maakt direct toegankelijke backups, die je met elk programma/filemanager kunt doorzoeken files terughalen etc.
(zoals Vanadium al aangaf: blijf weg bij tools die je bestanden onleesbaar maken zoals Dejadup etc; lees dan eerst de huili huili verhalen hier op het forum van mensen die alles kwijt zijn)
Daarnaast kun je het aantal snapshots instellen.

https://rsync.samba.org/documentation.html
http://luckybackup.sourceforge.net/features.html
http://luckybackup.sourceforge.net/manual.html
« Laatst bewerkt op: 2018/12/30, 12:31:31 door VuurVosje »

Offline aartje

  • Lid
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #16 Gepost op: 2018/12/30, 12:41:58 »
Zelden zulke domme reacties gelezen  :rolleyes:
Ja, dump is uit de oertijd van Unix, ja, het default medium is dan ook tape, maar dat kan natuurlijk net zou goed een ander medium zijn. Dat is één van de essenties van Unix.
 Je zou natuurlijk ook meer dan een paar seconden naar deze mogelijkheid kunnen kijken
 Maar ik denk dat dit sowieso te hoog gegrepen is voor dit forum  :laugh: :laugh: :laugh:

ext4 is ook te gebruiken bij deze commandos, dat maakt nl niets uit zolang de goede libraries maar gebruikt
worden (libext2fs is ook voor ext4). Ach, de professionele wereld weet er niets van natuurlijk en
een commando dat standaard in die wereld gebruikt wordt en dat al een jaar of 40 zonder problemen
is natuurlijk veel te stoffig....

Ach , piel maar lekker verder met je rsync......


Dat is niet aardig  :( In mijn ogen (oude ervaring) zijn tapes de oplossing voor het veilig bewaren van back-ups voor een langere termijn. Heel handig te transporteren en op een andere locatie te kunnen opslaan.
En om de tape goed te gebruiken is dump daarvoor gemaakt. En iets wat heel goed is kan niet meer verbeterd worden  ;)
Tegen die logica kan ik niet op...  ;)
Postkoetsen zijn echt helemaal super; onmogelijk nog te verbeteren!
En als je toch sneller wilt koop je gewoon een extra paard.

Sorry, erg flauw, maar tapes geeft wel aan uit wat voor oertijd dit stamt (tapes hebben trouwens de nare eigenschap dat ze slijten en vergaan, en zijn dus helemaal niet meer geschikt als backup, maar een halve eeuw geleden hadden ze eenmaal niets beters.....).
En sommige delen vd website zijn in 2003 voor het laatst bijgewerkt, de eigenaar zelf wil er al sinds 2015 vanaf...
Say no more.... abandon ship!  =D


Wat ik even niet zie zitten met rsync is het terugvinden van een <heel belangrijk iets> in een +Terrabyte omgeving wat er bijvoorbeeld 14 dagen geleden nog wel aanwezig was.
Ik snap niet helemaal wat je bedoelt, en welk probleem je precies hebt.
rsync maakt direct toegankelijke backups, die je met elk programma/filemanager kunt doorzoeken files terughalen etc.
(zoals Vanadium al aangaf: blijf weg bij tools die je bestanden onleesbaar maken zoals Dejadup etc; lees dan eerst de huili huili verhalen hier op het forum van mensen die alles kwijt zijn)
Daarnaast kun je het aantal snapshots instellen.

https://rsync.samba.org/documentation.html
http://luckybackup.sourceforge.net/features.html
http://luckybackup.sourceforge.net/manual.html
« Laatst bewerkt op: 2018/12/30, 12:46:26 door aartje »

Offline vanadium

  • Lid
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #17 Gepost op: 2018/12/30, 12:49:26 »
Ik denk eerlijk gezegd ook dat "dump" zijn tijd gehad heeft, en relevant was in tijden van trage harde schijven en tapes. Het had een belangrijke rol in linux - veldje 5 in /etc/fstab, dat aangeeft of een bestandsyseem "gedumpt" moet worden of niet, is daar een overblijvende getuige van.

"dump", voor zover relevant, is er voor systeembeheerders. Je moet beheerder zijn om het te kunnen gebruiken. Met rsync is dat niet het geval. rsync is een tooltje dat zonder meer door de gewone gebruiker kan gebruikt worden om vlug en efficiënt kopieën te maken. Kopieën van wat echt telt: de eigen data, die onherstelbaar zijn.

Ja, we zullen zeker verder met rsync blijven pielen.

Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #18 Gepost op: 2018/12/30, 12:56:41 »
Ojee, lange tenen alarm; de discussie verschuift van argumenten naar persoonlijke bewoordingen .  ;)
You can lead a horse stokpaardje to water, but you can't make it drink.
Volgens mij is het punt wel gemaakt; ik laat dit draadje voor wat het is.  :)

nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #19 Gepost op: 2018/12/30, 13:13:20 »
Als oud systeembeheerder heb ik misschien een verkeerde gedachtegang  omtrent de moderne backup  :)
Stel de vraag kan je je systeem, of die van een huisgenoot, een x aantal dagen terug in de tijd zetten? Zo ja dan heb je een backup.
Zie je dit als onzinnig/waardeloos/faluwekul dan heb je dus geen backup.
Met rsync kan je een backup maken maar rsync is niet een backup programma is mijn stelling.

Ik gebruik een sync programma om mijn computers gelijk te houden. Daarnaast maak ik wekelijks een backup (tar) en hou die 4 weken vast en ook nog eens in de cloud. Een backup van mij is minder dan 1Gb dus ik heb makkelijk praten van zo zou het moeten.
Maar +Tb backups ergens opslaan is een ander verhaal besef ik en daarom dus dit draadje van hoe los je dat nou op.
Het kan op schijven, tapes , cloud, NAS etc. Tips voor de lezers?
Het kan geautomatiseerd met scripts. Tips voor de lezers?
Wat is de snelste of gemakkelijkste methode. Tips voor de lezers?




Offline vanadium

  • Lid
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #20 Gepost op: 2018/12/30, 14:03:21 »
Als oud systeembeheerder heb ik misschien een verkeerde gedachtegang  omtrent de moderne backup  :)
  =D
Citaat
Stel de vraag kan je je systeem, of die van een huisgenoot, een x aantal dagen terug in de tijd zetten? Zo ja dan heb je een backup.
Zie je dit als onzinnig/waardeloos/faluwekul dan heb je dus geen backup.
Met rsync kan je een backup maken maar rsync is niet een backup programma is mijn stelling.
Helemaal akkoord. rsync is in de eerste plaats een kopieerprogramma. Verschillende reeds genoemde backupprogramma´s gebruiken evenwel rsync en zijn algorithmen.

Daarnaast vind ik het voor persoonlijk computergebruik zinloos enige moeite te doen om een besturingssysteem te backuppen. In een half uur heb je er een nieuw opgezet, dat wellicht al verbeterd is ten opzichte van wat jij had. Ik vind dat de gewone gebruiker die energie veel beter steekt in een goede backupgewoonte voor zijn eigen, onvervangbare gegevens. Met die goedkope draagbare USB schijven is dit tegenwoordig zo gemakkelijk geworden.

Let op: ik ben er wel van overtuigd dat je die systeembackup er moet op nahouden voor servers.

Citaat
Ik gebruik een sync programma om mijn computers gelijk te houden. Daarnaast maak ik wekelijks een backup (tar) en hou die 4 weken vast en ook nog eens in de cloud. Een backup van mij is minder dan 1Gb dus ik heb makkelijk praten van zo zou het moeten.
Welk sync programma? Interessant voor de gebruikers hier.
Citaat
Maar +Tb backups ergens opslaan is een ander verhaal besef ik en daarom dus dit draadje van hoe los je dat nou op.
Het kan op schijven, tapes , cloud, NAS etc. Tips voor de lezers?
Vele terrabytes in de cloud? Moet ook kunnen, maar op een bepaald moment zal je dat niet gratis meer doen natuurlijk. Je data staan wellicht op harde schijven. Het meest evidente vandaag is het dubbele aantal schijven hebben voor minstens één volledige backup, en liever meer voor een incrementele backup.

Citaat
Het kan geautomatiseerd met scripts. Tips voor de lezers?
Wat is de snelste of gemakkelijkste methode. Tips voor de lezers?
Een script is eenvoudigst en meest zeker. Eens goed opgezet, volstaat het het script op te roepen en achterover te gaan zitten.

rsnapshot, reeds genoemd, is een script dat met rsync werkt om incrementele backups uit te voeren.

Zelf gebruik ik een script waarin al mijn mogelijke backups zijn opgenomen. Een specifieke backup wordt slechts doorgevoerd als de betreffende USB harde schijf aangekoppeld is.

Op de USB "Data" worden volgende backups geplaatst:
echo 'backups to Data'
backupinc "/home/vanadium/Documents/" "/media/vanadium/Data/bk/Documents"
backupinc "/home/vanadium/Pictures/" "/media/vanadium/Data/bk/Pictures"
backupinc "/home/vanadium/Music" "/media/vanadium/Data/bk/"

backupinc is een functie in het backup script, dat de eigenlijke backup en rotatie doorvoert:
function backupinc {
if [ -d $1 ]
then
if [ -d $2 ]
then
                date=$(date "+%Y-%m-%dT%H:%M:%S")
rsync -av --delete --exclude '*/ImapMail/*' --link-dest="$2" "$1" "$2-new"
mv "$2" "$2-$date"; mv "$2-new" "$2"
else
echo "Destination $2 not available"
fi
else
echo "Source $1 not available"
fi
}
De functie controleert eerst of de bron aanwezig is. Voor bestanden op mijn computer zelf is dat altijd het geval, maar het script kan ook backuppen van de éne externe harde schijf naar de andere.

Dan wordt gecontroleerd of de bestemming er is. Enkel als bron en bestemming aanwezig zijn, kan de backup doorgevoerd worden.

Het rsync commando wordt aangeroepen met de --link-dest optie. Dat is de optie die rsync toelaat een harde link te maken als het bronbestand niet werd gewijzigd, en dus al in de vorige backup aanwezig is. De nieuwe backup krijgt voorlopig de naam "-new" toegevoegd.

Daarna wordt de "rotatie" doorgevoerd: de vorige backup krijgt een datumstempel toegevoegd aan de naam. De nieuwe backup wordt nu de laatste, door "-new" van de naam te verwijderen.

Er is geen automatische voorziening om regelmatig oude backups op te ruimen. Doe ik om de paar maanden eens handmatig.

Het script wordt eenvoudig aangeroepen als "bkup" en ziet er uit als
#!/bin/bash

function backupinc {
if [ -d $1 ]
then
if [ -d $2 ]
then
                date=$(date "+%Y-%m-%dT%H:%M:%S")
rsync -av --delete --exclude '*/ImapMail/*' --link-dest="$2" "$1" "$2-new"
mv "$2" "$2-$date"; mv "$2-new" "$2"
else
echo "Destination $2 not available"
fi
else
echo "Source $1 not available"
fi
}

## Voeg hieronder je backups toe
backupinc "/home/vanadium/Documents/" "/media/vanadium/Data/bk/Documents"
backupinc "/home/vanadium/Pictures/" "/media/vanadium/Data/bk/Pictures"
backupinc "/home/vanadium/Music" "/media/vanadium/Data/bk/"
backupinc "/media/vanadium/Movies" "/media/Vanadium/Movies_bk/bk/"
# ... Eventuele andere backups
« Laatst bewerkt op: 2018/12/30, 14:05:46 door vanadium »

Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #21 Gepost op: 2018/12/30, 14:05:43 »
Het kan, met een fikse verzameling films en zo.
1TB backuppen? Op een 2TB externe disc. Of op een fikse NAS.
Jip het kan gaan om het van internet gedownloade films of gedigitaliseerde oude films van familie. Van de een kan je redeneren die kan ik opnieuw downloaden en van de ander zou het verlies onherstelbaar kunnen zijn. Dat is dus een soort van backup-plan van wat is weer te herstellen en wat niet.

Even redeneren.
1TB. Dat is pakweg 250 hoge kwaliteit films. 500 van mindere kwaliteit.
Voor een 2TB externe harddisk betaal je een tientje of acht. Dat is 40 euro per TB.
Deel dat over het aantal films...

Wat kostte een videoband wel niet waar maar 3-4 films op konden?
Wat kost een DVD met een film?
Wat kost een zelfgebrandde DVD?

Hetzelfde met backuppen van digitale foto's in hoge kwaliteit?
Wat was je vroeger wel niet kwijt aan het afdrukken? Aan lleen het lege rolletje al.

Wat is dan 40 euro storage kosten voor 1TB films, muziek en foto's?
- I ♥ Linux -
Bij irritatie, voeg hier 'partyrabbit' toe -> https://forum.ubuntu-nl.org/index.php?action=profile;area=lists;sa=ignore

nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #22 Gepost op: 2018/12/30, 15:15:35 »
Voor het gelijk houden van mijn computers gebruik ik FreeFileSync. Helaas niet meer in de repo's maar vroeger wel.
Het programma 2 richtingen syncen met een server die het middelpunt is en ook voor windows is er een versie.

Bij het starten van een computer gaat het met een scriptje automatisch (als er geen conflicten zijn).
Controle of het mounten van de gedeelde schijf gelukt is en dan de synchronisatie starten.
if [ ! -d "/mnt/smbshare/backup" ]; then
  notify-send --urgency=critical "Mounten netwerk niet gelukt!"
  exit 1
fi
if [ -e "/home/johan/scripts/ff/$(hostname).ffs_batch" ]; then
 FreeFileSync /home/johan/scripts/ff/$(hostname).ffs_batch &
else
 FreeFileSync /home/johan/scripts/ff/autostart.ffs_batch &
fi
Het systeem kijkt of er voor dat systeem een speciaal FFS script is of neemt een standaard FFS script

Tijdens het werken kan via het FFS programma extra synchronisatie gestart worden.

Het afsluiten van een systeem gaat ook met een scriptje (aan een knop op de taakbalk gekoppeld)
if [ ! -d "/mnt/smbshare/backup" ]; then
    exit 1
fi
if [ -e "/home/johan/scripts/ff/$(hostname).ffs_batch" ]; then
  FreeFileSync /home/johan/scripts/ff/$(hostname).ffs_batch
fi

Het tar backupscript (niet geschikt voor Giga data want langzaam)
VERVALT=+30
DOEL="/mnt/smbshare/backup/$(date +"%V")-$(hostname)-home-$(whoami).tar.gz"
NAAM="/tmp/$(date +"%V")-$(hostname)-home-$(whoami).tar.gz"

# alleen uitvoeren als de backup niet aanwezig is (1x per week)
if [ -f "$DOEL" ]
then
    /usr/bin/zenity --timeout 10 --question --text "Er is al een backup\n"$DOEL"\nWil je een nieuwe maken?" --width=400 --height=100
    [ $? -eq 0 ] || exit 1
fi

# naar de HOME map
cd $HOME
echo "Backup van $HOME naar $DOEL is gestart"
/usr/bin/notify-send "Backup is gestart"



# verwijder vorig backup.log en maak een nieuwe
echo "backup $(date) van $HOME naar $DOEL" >/tmp/backup.log
echo ------------------------------------------------------------------------------------ >>/tmp/backup.log
echo " " >>/tmp/backup.log

# leeg de prullenbak
trash-empty

echo "tar gestart"
# start de backup
tar -cpzf "$NAAM" \
--exclude "./Downloads" \
--exclude "./Google Drive" \
--exclude "./OneDrive" \
--exclude "./virtual" \
--exclude "./Image" \
--exclude "*/?rash" \
--exclude "*/??ache*" \
./ \
2>> /tmp/backup.log

FOUT=$?

if [ $FOUT -eq 0 ]; then
  echo "Backup is gelukt"
  echo "Backup is gelukt." >> /tmp/backup.log
else
  echo "Backup heeft fouten zie log!"
  echo "TAR HEEFT EXIT CODE $FOUT" >> /tmp/backup.log
fi

echo ------------------------------------------------------------------------------------ >>/tmp/backup.log
echo controleren van de backup "$DOEL"
tar -ztvf "$NAAM" ./ >>/tmp/backup.log
FOUT=$?
echo ------------------------------------------------------------------------------------ >>/tmp/backup.log
if [ $FOUT -eq 0 ]; then
  echo "Backup is OK"
  /usr/bin/notify-send "Backup is gelukt."
  sed -i '6 i\Backup controle OK' /tmp/backup.log
else
  echo "Backup heeft fouten zie log!"
  /usr/bin/notify-send --urgency=critical "Backup heeft error $? !"
  sed -i '6 i\TAR HEEFT EXIT CODE $FOUT' /tmp/backup.log
fi
mv -fv "$NAAM" "$DOEL"
# verwijder backups ouder dan $VERVALT dagen
echo "verwijderen backup ouder dan $VERVALT dagen"
find /mnt/smbshare/backup/*-$(hostname)-home-$(whoami).* -mtime $VERVALT -exec rm {} \;
« Laatst bewerkt op: 2018/12/30, 15:21:04 door nahjo »

nahjo

  • Gast
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #23 Gepost op: 2018/12/30, 15:17:42 »
Wat is dan 40 euro storage kosten voor 1TB films, muziek en foto's?
Dat is in verhouding niets voor het veiligstellen van iets wat onbetaalbaar is  :)

Offline softbart

  • Lid
Re: Hoe en waar maak je een back-up van +1Tb
« Reactie #24 Gepost op: 2018/12/30, 19:52:26 »
@nahjo,

Kijk even naar deze topic en de discussie.

https://forum.ubuntu-nl.org/index.php?topic=96175.msg975940#msg975940

groet,

Theo