Nieuws:

We zijn er weer.

Na lange tijd van afwezigheid zijn we er weer  :laugh:
We hebben alle wachtwoorden gereset, je oude wachtwoord werkt niet meer.Je moet via het "wachtwoord vergeten"-linkje je wachtwoord resetten. Je krijgt hiervoor een mailtje op het adres dat je bij ons geregistreerd hebt.

De komende tijd zijn we nog druk bezig om de rest van de site op te bouwen, dus het kan zijn dat sommige onderdelen (tijdelijk) niet werken.

Welkom, Gast. Alsjeblieft inloggen of registreren.
Heb je de activerings-mail niet ontvangen?

Auteur Topic: grote file verplaatsen  (gelezen 576 keer)

Offline Spidey-Westland

  • Lid
  • Steunpunt: Ja
grote file verplaatsen
« Gepost op: 2018/03/31, 15:41:33 »
Ik kan op dit moment geen grote ingepakte file verplaatsen binnen mijn pc.

Ik wil een file uit Downloads naar mijn /media/gebruiker/MULTISYSTEM verplaatsen.
De file is 10GB en ik heb ruimte van 1,2TB op de lokatie waar de file naar toe moet.

Gewoon verplaatsen stopt bij de helft.

Zijn er terminal commands om dit te omzeilen?

SPW
Spidey-Westland

Offline jolo

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #1 Gepost op: 2018/03/31, 16:02:35 »
Gaat het hier wel om een ext4 partitie? Want FAT32 ondersteund geen grotere bestanden dan 4 GB. Zie hierover Wikipedia  https://nl.wikipedia.org/wiki/FAT32
Hoofd PC januari 2018 HP Compaq Elite 8300 SFF Windows 10 & Xubuntu 18.04.1
PC 2011 Asus P8Z68-V Pro i7 2600K 8 GB RAM GT730 Xubuntu 18.04 & testversie Xubuntu 19.04  
PC 2007 Asus P5B E6600 2GB RAM 8800GTS  
Notebook 2008 Lenovo ThinkPad R61i 8932GMG 2,5 GB RAM

Offline Spidey-Westland

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #2 Gepost op: 2018/03/31, 16:41:37 »
Mijn extrne harddisk is:

Disk /dev/sdi: 1,8 TiB, 2000398933504 bytes, 3907029167 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 33553920 bytes
Disklabel type: dos
Disk identifier: 0x621698c9

Dit is zeker niet om te zetten zonder dataverlies.
Spidey-Westland

Offline jolo

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #3 Gepost op: 2018/03/31, 17:16:12 »
Er zijn mij geen Linux tools bekend waarmee je FAT32 kunt converteren naar EXT4. Er is wel easeus maar dat is een Windows programma. Bovendien wordt EXT4 niet genoemd.

Waarschijnlijk zou je die bestanden op die FAT32 tijdelijk op een andere harddisk kunnen parkeren. Dan EXT4 formatteren. Als het om een ingepakte data gaat, zou je het eventueel kunnen splitten in meerdere files via terminalvenstercommando split. Of via cat

//Edit: Bij nader inzien: alleen via split. En gebruik je cat om van de gesplitte files, weer één grote file te maken.
« Laatst bewerkt op: 2018/03/31, 18:57:25 door jolo »
Hoofd PC januari 2018 HP Compaq Elite 8300 SFF Windows 10 & Xubuntu 18.04.1
PC 2011 Asus P8Z68-V Pro i7 2600K 8 GB RAM GT730 Xubuntu 18.04 & testversie Xubuntu 19.04  
PC 2007 Asus P5B E6600 2GB RAM 8800GTS  
Notebook 2008 Lenovo ThinkPad R61i 8932GMG 2,5 GB RAM

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #4 Gepost op: 2018/03/31, 23:05:24 »
Beter niet met zulke zeer forse bestanden werken, dat is vragen om problemen (op de pc's en besturingssystemen van nu). Gewoon in kleinere stukken knippen, zoals reeds gesuggereerd.

Offline vanadium

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #5 Gepost op: 2018/04/01, 09:35:19 »
Akkoord dat je probeert dergelijke grote bestanden te vermijden, maar als een bestand 10 GB moet zijn, dan zal het 10 GB zijn en moet je het er mee doen. Knippen is een mogelijkheid voor transfer, maar achteraf moet het zaakje dan weer aan elkaar, en dat vraagt extra tijd en schijfruimte.

Hoe dan ook, de oorzaak van het probleem is hier duidelijk: poging een bestand groter dan 4 GB op een dos geformatteerde harde schijf te plaatsen. Dat kan inderdaad niet: hiervoor moet een bestandssysteem gebruikt worden dat grote bestanden aankan.

Aan de OP: het is niet goed dat je moet zoeken voor een omzetting van het bestandssysteem zonder dataverlies. Dat betekent dat je je data vrij waardeloos acht. Hecht je waarde aan je data, dan heb je een reservekopie. Een harde schijf kan immers op elk moment breken. Dan herformatteer je de betreffende harde schijf en plaatst de data via de reservekopie terug.

Offline Nero

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #6 Gepost op: 2018/04/01, 11:06:28 »
Je kan het doen dmv Gparted, hoewel het risico op dataverlies blijft bestaan. Persoonlijk nog niet meegemaakt.

- Verklein de partitie op /dev/sdi tot ± de helft van de schijf, of zoveel als er vrije ruimte is.
- Maak in de vrij gekomen plaats een nieuwe partitie aan. Dit wordt dan sdi2. Gebruik je de schijf ook onder Windows kies dan voor NTFS, anders is ext4 je beste keuze.
- Koppel beide partities aan. Voor de eenvoud gebruik ik hier de benaming sdi1 en sdi2. Je kan echter beter aan de partities een label toekennen, anders worden die gemount met hun UUID.
- Geef dan de terminal opdracht
sudo chown $USER:$USER /media/$USER/sdi2
mv -v /media/$USER/sdi1/* /media/$USER/sdi2/
- Na deze bewerking is sdi1 leeg indien er voldoende plaats was op sdi2.
- Verwijder dmv Gparted sdi1 en vergroot sdi2 dan tot de volledige ruimte.

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #7 Gepost op: 2018/04/01, 21:58:33 »
Ehhh, nieuwe partities aanmaken om een bestandje te kunnen kopiëren...??
Dacht het niet hè..?
Een bestandsbewerking vraagt nooit om een nieuwe partitie. Als de bewerking niet gaat zoals verwacht, komt dat (in dit geval) doordat je simpelweg nooit met 10GB-bestanden moet werken, dat is echt megaveeltegroot. Er zijn maar weinig programma's (incl. bestandsbeheerders) die niet over de kop gaan met dit soort veel te grote bestanden. Probeer in eender welk programma (en met welk OS dan ook) een 10GB-bestand in te lezen en de boel gaat op slot, op tilt. Megaveeltegroot, nee, giga...

Offline youpie123

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #8 Gepost op: 2018/04/02, 00:05:16 »
Zeker nooit met een Blu-ray rip gewerkt? MKV (Matroska) bestanden van 20 - 30 GB zijn dan heel gewoon hoor  8-)

Offline Nero

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #9 Gepost op: 2018/04/02, 00:11:14 »
10GB te veel? ik heb reeds meerdere malen met bestanden van +500GB gewerkt.

De reden waarom er met een groot bestand gewerkt wordt doet niet ter zake. Ik geef enkel een mogelijkheid aan om met bestanden van +4GB te werken. En die komen echt wel meer voor. Denk maar aan een geripte DVD bv, of zelfs sommige ISO's van Debian.

Offline vanadium

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #10 Gepost op: 2018/04/02, 09:59:48 »
+1. Als iemand met een groot bestand moet werken, dan is dat zo. Moderne besturingssystemen kunnen daar mee om.
Citaat van: Paul Matthijsse
Ehhh, nieuwe partities aanmaken om een bestandje te kunnen kopiëren...??
Ik dacht het wel als de noodzaak bestaat om met 10 GB bestanden te werken. Zoals aangegeven, kan dat niet op de huidige msdos partitie.

Offline DeBaas

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #11 Gepost op: 2018/04/02, 10:33:30 »
Fat 32 kan max 4G files aan.
Disk wordt ook gebruikt onder Windows?
"Voorheen" kon Windows Fat 32 omzetten naar NTFS...............
en dat is te vinden op internet.
Voor Linux, stel de inhoud veilig op een externe, EXT4, NTFS of EXfat partitie, formatteer de probleem Fat 32 partitie naar EXT4, indien óók voor Windows naar NTFS of EXfat, en plaats de inhoud van de externe partitie terug.

Advies: voor belangrijke files doe altijd een kopie slag en, na controle of de files goed zijn overgekomen, verwijder dan pas het origineel.
Ik beantwoord GEEN hulpvragen via PB en/of MAIL

Offline Spidey-Westland

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #12 Gepost op: 2018/04/02, 14:46:01 »
@ all, ik heb het voor elkaar. De schijf die ik gebruik voor opslag even losgekoppeld en daar een reserveschijf in gezet die NTFS geformatteerd is. De file is over gezet. Daarna weer de andere schijf er in.

Bedankt voor de tips.

SPW
Spidey-Westland

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #13 Gepost op: 2018/04/02, 23:07:00 »
+500GB
Een recente pc heeft doorgaans 4, 8 of 16 GB geheugen. Alleen al een kopieeractie op een bestand van 500GB moet toch tot enorme I/O-problemen leiden, lijkt me? Zo niet, dat zal zo'n actie toch erg veel tijd in beslag nemen, of vergis ik me?

Offline Nero

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #14 Gepost op: 2018/04/03, 10:42:21 »
De meeste van deze +500GB bestanden zijn rescues can gecrashte laptop schijven. En dat vraagt inderdaad tijd, veel tijd. Doorgaans laat ik deze dd-rescue zelfs draaien op een Bananapi, een Rapberrypi clone met SATA aansluiting. Eentje heeft er zelfs eens 10 dagen over gedaan. Met Testdisk heb ik daarna meer dan 2000 foto's kunnen recuperen. De eigenaar had daarvan geen enkele backup op een ander medium.

Offline vanadium

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #15 Gepost op: 2018/04/03, 10:46:56 »
Om maar te zeggen, je zoekt het niet te werken met grote bestanden, maar met een modern besturingssysteem kan het wel degelijk indien nodig  =D En op een fat geformatteerde schijf kan het niet.

Offline jan11000

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #16 Gepost op: 2018/04/03, 11:00:05 »
+500GB
Alleen al een kopieeractie op een bestand van 500GB moet toch tot enorme I/O-problemen leiden, lijkt me?

Dit is natuurlijk onzin, elke pc kan dit aan.
of je hardware is niet in orde, of een driver probleem.

Als je nu nog fat32 gebruikt ben je niet bij de tijd, want dit is erg oud en voldoet niet meer.
En je weet waarom dit op elke externe hd en usb stick staat, omdat dit  gratis is, anders moet je aan microsoft betalen.

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #17 Gepost op: 2018/04/03, 17:28:22 »
+500GB
Alleen al een kopieeractie op een bestand van 500GB moet toch tot enorme I/O-problemen leiden, lijkt me?
Dit is natuurlijk onzin, elke pc kan dit aan.
Hieronder: bestandje van 50 GB aanmaken en kopiëren.

paul@graveyron:/media/barra2$ fallocate -l 50G test.img
paul@graveyron:/media/barra2$ ls -lh test.img
-rw-rw-r-- 1 paul paul 50G avril  3 17:10 test.img
paul@graveyron:/media/barra2$ time cp test.img test2.img

real 6m8,218s
user 0m0,255s
sys 2m3,479s
paul@graveyron:/media/barra2$ ls -lh test.img test2.img
-rw-rw-r-- 1 paul paul 50G avril  3 17:17 test2.img
-rw-rw-r-- 1 paul paul 50G avril  3 17:10 test.img

Deze cp-opdracht pakte tussen de 16 en 19 procent van de CPU-capaciteit op een niet al te modern 4-core systeem.

Ik heb geen zin om te timen hoe lang een 500 GB-bestand zal gaan duren.

of je hardware is niet in orde, of een driver probleem.
Drivers heb je natuurlijk niet nodig om een bestandje te kopiëren. Voor het overige is mijn hardware, hoewel al wat ouder, uitstekend in orde. Mijn punt was en is dat elke pc moeite zal hebben met een bewerking op een bestand van 500 GB.

Als je nu nog fat32 gebruikt ben je niet bij de tijd, want dit is erg oud en voldoet niet meer.
Dank u voor de informatie. Fat32 gebruik ik niet meer sinds ik Windows 98 het raam uit heb geknikkerd. 

Offline vanadium

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #18 Gepost op: 2018/04/03, 17:55:48 »
Wat probeer je te bewijzen, Paul  ? :) Ja, we waren het er al over eens dat grote bestanden kopiëren veel tijd kost. Het zal meer tijd kosten op een oude machine met een klassieke HD dan op een krachtige machine met SSD. En voor een groot bestand zeer beperkt langer op een systeem met weinig geheugen dan op één met veel geheugen. Maar werken zal het, langzaam maar zeker. Zolang je een besturingssysteem en bestandssystemen gebruikt die dat aankunnen, natuurlijk.

Geen zin om te timen? Wellicht zowat 10 keer langer, een dik uur dus op jou systeem, niet veel meer. (Is al bij al nog zeer doenbaar: eens rustig wat eten en als je terugkomt is de klus geklaard  ;) )

Kopiëren gaat in het begin zeer snel vooruit: het bestand wordt naar geheugenbuffers geschreven. Je ziet de voortgangsbalk vlug vooruitgaan. Eens in die buffers, begint het trage uitschrijven naar de harde schijf. En bij een groot bestand raken die buffers al gauw helemaal vol, en vertraagt dus ook de voortgang van het kopiëren: het systeem moet telkens wachten nieuwe data naar de buffer te sturen tot er een stuk uit de buffer naar de harde schijf is weggeschreven. Je voortgangsbalk gaat nu verder aan een slakkengangetje. Maar zal wel degelijk rustig verder gaan zolang je niet onderbreekt.

Het systeem gaat rustig verder. Geen risico je processor te oververhitten, zoals je merkt. Die processor moet immers zijn volle ding niet doen, want moet toch gans de tijd wachten op die trage harde schijf. Veel of weinig geheugen, voor een groot bestand maakt het minder uit: die geheugenbuffer raakt vol.

Ja, linux kan perfect met zeer grote bestanden werken. Maar traag zal het gaan.

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #19 Gepost op: 2018/04/03, 21:38:09 »
Wat probeer je te bewijzen, Paul  ?
Niets. Ik zei alleen dat het werken met een 500 GB-bestand een systeem flink zal belasten. Nog leuker is om een binair bestand van een dergelijke omvang in te lezen in een editor als vi of geany. Gaat allemaal prima (waarschijnlijk), maar je kunt je maaltijd-voor-het-wachten uitbreiden met een uitgebreid voorgerecht en een nog steviger nagerecht en daarna kun je gewoon aan de slag! ;)

Offline vanadium

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #20 Gepost op: 2018/04/03, 22:56:59 »
Gaat allemaal prima (waarschijnlijk), maar je kunt je maaltijd-voor-het-wachten uitbreiden met een uitgebreid voorgerecht en een nog steviger nagerecht en daarna kun je gewoon aan de slag! ;)
Inlezen in een toepassing zal doorgaans niet prima gaan, vrees ik. Hier gaan we wel aankijken tegen een tekort aan geheugen en een systeem dat vastloopt, bevriest en eruit vliegt.

Offline partyrabbit

  • Lid
  • Steunpunt: Nee
Re: grote file verplaatsen
« Reactie #21 Gepost op: 2018/04/03, 23:19:24 »
Ik vraag me af wat voor bestandje dat in godsnaam moet zijn?
Als het een volledig (ingepakte) backup is vind ik dat niet raadzaam, want 1 kapotte byte en je kun het hele bestand in de prullenbak gooien. En bij kopieren van zulke grote bestanden wil er nog wel eens (understatement) een byte fout gaan. Ik zou dus niet graag werken met bestanden van 500gb.

Edit: Inmiddels duidelijkheid ontvangen over de werkelijke grootte. Geen 500gb (overheen gelezen) en geen persoonlijke bestanden dus.
« Laatst bewerkt op: 2018/04/03, 23:40:52 door partyrabbit »
- I ♥ Linux -

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Ja
Re: grote file verplaatsen
« Reactie #22 Gepost op: 2018/04/04, 22:57:55 »
Inlezen in een toepassing zal doorgaans niet prima gaan, vrees ik. Hier gaan we wel aankijken tegen een tekort aan geheugen en een systeem dat vastloopt, bevriest en eruit vliegt.
In VI kun je (schijnt het) een compleet besturingssysteem inlezen en daarna bewerken/hacken.