Nieuws:

Welkom, Gast. Alsjeblieft inloggen of registreren.
Heb je de activerings-mail niet ontvangen?

Auteur Topic: Backup en synchronisatie  (gelezen 1595 keer)

Offline Dave

  • Lid
  • Steunpunt: Nee
Backup en synchronisatie
« Gepost op: 2012/04/18, 09:33:44 »
Kbackup en Grsync zorgen steeds voor een volle schijf en dan onbruikbaar.
home is minder dan 300Gb en de (interne)backup schijf is 500Gb.
In grsync zit ook de optie om verwijderde bestanden ook te verwijderen op het doel alleen werkt dat niet.
Alleen als je de backup schijf leegveegd kun je weer een nieuwe backup maken maar dat synchroniseren zou ook moeten werken.

Iemand nog de tip voor andere software?
Zitten er nog wel wat in het pakketbeheer maar is veelal via de terminal en zie liever wat er gebeurd.


Offline markba

  • Lid
    • http://markbaaijens.nl/
  • Steunpunt: Ja
Re: Backup en synchronisatie
« Reactie #1 Gepost op: 2012/04/18, 09:51:43 »
In grsync zit ook de optie om verwijderde bestanden ook te verwijderen op het doel alleen werkt dat niet.
Grsync is een frontend voor rsync, wat grsync feitelijk doet is een commandline genereren tbv rsync. De gegeneerde commandline staat ook in beeld (onderin het scherm als ik het goed heb). De optie binnen rsync om verwijderde bestanden óók op de target te verwijderen, heet '--delete'; deze optie werkt zoals verwacht, in ieder geval bij mij (ik gebruik deze standaard bij al mijn sync-acties).

Je zou het volgende kunnen controleren:
- staat de optie '--delete' in de door grsync gegenereerde commandline?
- zo ja, wat gebeurt er als je de gegeneerde commandline rechtstreeks uitvoert in de terminal?

Offline Dave

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #2 Gepost op: 2012/04/18, 14:43:07 »
ja die optie staat er wel bij.
kan het niet selecteren dus eens zien om het over te tikken. tis niet altijd duidelijk waar wel en niet een spatie zit  8-)
Maar ik zie nu ook staan het bestaande negeren. Zouden die elkaar tegenwerken?


« Laatst bewerkt op: 2012/04/18, 14:44:38 door Dave »

Offline speculoos

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #3 Gepost op: 2012/04/18, 17:13:36 »

waarschijnlijk wel, anders test je dit eens in terminal met het commando zelf en zonder die --ignore optie

Offline Dave

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #4 Gepost op: 2012/04/18, 17:54:24 »
Nee die stond nu uit en had eea verwijderd van die back-up schijf om weer ruimte te kunnen krijgen om de backup te kunnen starten (foutmelding geen vrije ruimte)
en nu weer de 500Gb schijf vol met een synchronisatie van ong. 300Gb.
De schijf waar de diverse partities opstaan is evengroot als die back-up schijf dus de home die lang niet vol is moet altijd passen  :evil:

vannacht nog eens via de terminal laten draaien dan.

 

Offline Johan van Dijk

  • Administrator
    • johanvandijk
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #5 Gepost op: 2012/04/18, 18:10:04 »
Heb je niet toevallig een externe schijf of netwerklocatie gekoppeld?
In sommige gevallen komt die dan onder .gvfs te staan en wordt dus ook meegenomen met de backup.
Dan denk je dat je maar 300 GB aan het overpompen bent, maar als er op die netwerklocatie bijv. ook nog eens 300 staat dan past het niet ;)

Ik zou nog als extra optie meegeven dat .gvfs niet meegenomen wordt in de backup.
--exclude=.gvfs dus

Een andere mogelijkheid is de -x optie, zodat je alleen binnen 1 bestandssysteem blijft.

Offline Dave

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #6 Gepost op: 2012/04/18, 20:00:36 »
Doe niks binnen het netwerk. Die extra schijf zit gewoon in de computer en soms met een externe schijf via usb doe ik enkel copieren en overplakken (omdat synchroniseren niet werkt)


Dat met die -x optie gaat me boven de pet verder.

Het is allemaal ext4
« Laatst bewerkt op: 2012/04/18, 20:02:29 door Dave »

Online jan11000

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #7 Gepost op: 2012/04/18, 20:28:05 »
Er wordt bedoelt dat je bijv. home gaat back-uppen, maar in home heb je een map gemaakt, en die is gekoppeld aan een andere harde schijf(bijv. een 2e harde schijf).
Nu ga je een back-up maken, dan wordt je 2e hd ook meegenomen, terwijl je alleen de home wilt hebben.

Offline speculoos

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #8 Gepost op: 2012/04/18, 23:25:04 »
rsync -av --delete --progress /van/bron /naar/doel

zou het moeten doen

Offline Basel

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #9 Gepost op: 2012/04/19, 15:40:42 »
Als ik het goed begrijp, maak je iedere keer een nieuwe backup aan. Dus naast de bestaande. Om te zorgen dat je schijf niet vol raakt zou je de bestaande backup moeten vervangen door de nieuwe, ipv er naast zetten. Ik gebruik zelf wel eens Grsync om mijn home dir te syncen tussen twee pc's, niet direct voor backup. Maar bij een sync word alles geupdate en volgens mij niet dubbel op de schijf gezet, misschien is dat anders bij backup?

Om de tijd te reduceren en diskspace te sparen gebruik ik zelf onder Grsync de volgende opties onder advanced -> additional options:
--max-size=200M
--exclude=Trash
--exclude=Music
Zodat bestanden > 200MB genegeerd worden. Dat zijn bij mij toch voornamelijk mp4 bestanden. Scheelt hoop tijd tijdens sync. Ook sluit ik de Trash en Music directory uit.

Misschien dat je hier een optie kan toevoegen zodat de backup geupdate wordt ipv een nieuwe backup naast de oude plaatsten? Anders is er nog Extra options -> execute this command before rsync, daar kan je eventueel een commando inzetten dat de oude backup gewist wordt voor de nieuwe aangemaakt wordt. Maar als er dan wat mis gaat tijdens sync ben je wel je oude en nieuwe backup kwijt, dus misschien risicovol.

Just my two cents.

Offline Dave

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #10 Gepost op: 2012/04/19, 16:19:27 »
Er wordt bedoelt dat je bijv. home gaat back-uppen, maar in home heb je een map gemaakt, en die is gekoppeld aan een andere harde schijf(bijv. een 2e harde schijf).
Nu ga je een back-up maken, dan wordt je 2e hd ook meegenomen, terwijl je alleen de home wilt hebben.

Dat snap ik niet.
ik selecteer mijn home map om te synchroniseren en bij de doelmap selecteer ik een map met dezelfde naam maar op een aparte HD.
Deze is verder niet in gebruik binnen et systeem.

Had het nu via de terminal gedaan.
Eerst wat bestanden verwijderd want anders start het niet eens.
In ieder geval is de doelmap/schijf alweer vol én zijn alle bestanden niet eens meegenomen.
Het programma was wel geëindigd.
Dat van die errors was er altijd wel (voltooid maar met fouten). Zo is een bestandje van Lotus geblokkeerd zodat het telkens niet automatisch op start.

Citaat
sent 528280159 bytes  received 24787 bytes  57950.41 bytes/sec
total size is 275600522247  speedup is 521.67
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1070) [sender=3.0.8]
dave@dave-Yoy-it:~$

Wanneer ik bestanden verplaats, (zoals foto's en muziek naar bepaalde mappen) moeten die in de oorspronkelijke map verwijderd worden bij synchroniseren anders heb je alles steeds dubbelop.
Maar ook als ik niets verplaats heb ik bij een 2e backup de schijf weer vol.



Online jan11000

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #11 Gepost op: 2012/04/19, 17:20:32 »
Je hebt meerdere hd's, waar zijn deze gekoppeld, in je home map? Dan heb je misschien meer plaats nodig.

Zoek uit wat ignore existing files, vermoedelijk laat hij je kopie staan, en maakt een 2e kopie aan.
« Laatst bewerkt op: 2012/04/19, 17:30:08 door jan11000 »

Offline Dave

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #12 Gepost op: 2012/04/19, 17:59:02 »
Als ik het goed begrijp, maak je iedere keer een nieuwe backup aan. Dus naast de bestaande. Om te zorgen dat je schijf niet vol raakt zou je de bestaande backup moeten vervangen door de nieuwe, ipv er naast zetten. Ik gebruik zelf wel eens Grsync om mijn home dir te syncen tussen twee pc's, niet direct voor backup. Maar bij een sync word alles geupdate en volgens mij niet dubbel op de schijf gezet, misschien is dat anders bij backup?

Nope. kWil gewoon een synchronisatie tussen mijn home map van een 300Gm en die map op mijn extra HD van 500Gb.
Alleen die loopt steeds vol omdat verplaatste bestanden bijvoorbeeld niet verwijderd worden uit de oorspronkelijke map op het doel.

Offline Bloom

  • Lid
  • Steunpunt: Ja
Re: Backup en synchronisatie
« Reactie #13 Gepost op: 2012/04/19, 18:09:56 »
Dan moet je geen back-up maar een synchronisatie uitvoeren.

Backup: rsync -vau bron/ doel/
Synchronisatie: rsync -vau --delete-after bron/ doel/

Als het in een script moet draaien laat je die 'v' in -vau weg (dus -au blijft over) omdat hij dan niet verboos hoeft te zijn.

Offline Dave

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #14 Gepost op: 2012/04/19, 18:23:31 »
synchronisatie van een backup inderdaad.
Dus vandaar de optie om bestaande te negeren oftwel onveranderde bestanden en verwijderde(of verplaatste) te verwijderen.

Zal dat vanavond eens laten draaien in de terminal.


Offline Dave

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #15 Gepost op: 2012/04/23, 22:03:32 »
o ja moest ik nog melden. zie verder geen feedback in de terminal en de backup groeit weer gestaag.

Offline Johan van Dijk

  • Administrator
    • johanvandijk
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #16 Gepost op: 2012/04/24, 12:09:09 »
Met het programma "meld" kan je een vergelijking maken tussen verschillende bestanden en mappen.
Je zou dat eens kunnen proberen (open je home map in het linker paneel, de backuplocatie in het rechter).
Dan zou je snel genoeg moeten zien waar de extra data zit.

Offline Al Bunty

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #17 Gepost op: 2012/04/24, 18:44:02 »
rsync -av --delete --progress /van/bron /naar/doel

zou het moeten doen

Moet je niet altijd eindigen met een / als het om directories gaat? Dus rsync -av --delete --progress /van/bron/ /naar/doel/

Btw: Je kunt ook nog --exclude-from <File_name> doen en dan in een file opnemen welke directores allemaal overgeslagen moeten worden.
Intel P35, Q9450, 4GB RAM, GTX760, Dell 25" IPS, dual boot Ubuntu 16.04/Windows 10 === Intel G41, Q8400, 8GB RAM, Dell 24" IPS, Ubuntu 16.04 === HP Pavillion DM1 4000sd, 11.6", Windows 7 === Asus Vivobook R510CA, 15.6"touchscreen, Windows 10

Offline Al Bunty

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #18 Gepost op: 2012/04/24, 18:45:45 »
Met het programma "meld" kan je een vergelijking maken tussen verschillende bestanden en mappen.
Je zou dat eens kunnen proberen (open je home map in het linker paneel, de backuplocatie in het rechter).
Dan zou je snel genoeg moeten zien waar de extra data zit.

du -h?
Intel P35, Q9450, 4GB RAM, GTX760, Dell 25" IPS, dual boot Ubuntu 16.04/Windows 10 === Intel G41, Q8400, 8GB RAM, Dell 24" IPS, Ubuntu 16.04 === HP Pavillion DM1 4000sd, 11.6", Windows 7 === Asus Vivobook R510CA, 15.6"touchscreen, Windows 10

Offline Dave

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #19 Gepost op: 2012/04/24, 21:30:01 »
m'n systeem staat nu te upgraden naar 12.04 maar ga "meld" morgenavond eens uitproberen.

Offline speculoos

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #20 Gepost op: 2012/04/24, 22:52:40 »
rsync -av --delete --progress /van/bron /naar/doel

zou het moeten doen

Moet je niet altijd eindigen met een / als het om directories gaat? Dus rsync -av --delete --progress /van/bron/ /naar/doel/

Btw: Je kunt ook nog --exclude-from <File_name> doen en dan in een file opnemen welke directores allemaal overgeslagen moeten worden.

Ja, juist, bedankt voor deze rechtzetting, maar hoedanook een must vind ik :

Maak eens twee mappen  aan , zet er een paar bestanden in en test het eens gewoon met die twee mappen zodat je ziet wat er gebeurt of juist niet gebeurt, dat vraagt niet zoveel tijd en je weet waar je aan toe bent en hoe goed of niet goed iets werkt. En zo hou je ovezicht, een soort kleinschalige test, voor je het grote werk doet.

In die kleine test kan je dan ook eens met een exclude file werken dat is wel zo gemakkelijk, zo doe ik het toch.
Maar eerst eens gewoon testen met twee mappen met enkele bestanden lijkt mij geen slechte optie.

...

Offline Al Bunty

  • Lid
  • Steunpunt: Nee
Re: Backup en synchronisatie
« Reactie #21 Gepost op: 2012/04/25, 01:13:55 »
altijd testen! 2 mappen en met simulatie in grsync testen

Intel P35, Q9450, 4GB RAM, GTX760, Dell 25" IPS, dual boot Ubuntu 16.04/Windows 10 === Intel G41, Q8400, 8GB RAM, Dell 24" IPS, Ubuntu 16.04 === HP Pavillion DM1 4000sd, 11.6", Windows 7 === Asus Vivobook R510CA, 15.6"touchscreen, Windows 10