Nieuws:

Welkom, Gast. Alsjeblieft inloggen of registreren.
Heb je de activerings-mail niet ontvangen?

Auteur Topic: [opgelost]Kopieeren naar USB stick traag en kost veel CPU power  (gelezen 10011 keer)

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Ik ben het onderwerp al heel vaak tegen gekomen op het engelstalige forum maar een echte oplossing heb ik nergens gevonden. Wat is het geval; als ik een avi-bestand (700MB tot 1.4GB) kopieer naar een USB stick gaat dit eerst snel maar het tempo neemt daarna snel af. Ook blijven alle andere processen op de computer hangen. Na heel veel tijd (30 minuten of meer) komt het bestand uiteindelijk wel op de stick. In Windows duurt dit ca. 2 minuten op dezelfde stick.
Ik heb ook vanuit de terminal een 'cp' actie gedaan maar ook dat blijft hangen. Het is een USB2.0 stick, FAT geformateerd. Kopieeren naar een USB harddisk gaat wel redelijk.

Voorzover ik begrepen heb is het een bug in de Linux kernel maar ik zie het al jaren opeenvolgend in 8.04, 10.04 en 12.04 op verschillende hardware. Iemand heeft een work-around bedacht m.b.v. een script dat het bestand opsplitst in 100MB bestanden en met een kleine wachttijd tussen de stukjes doorstuurt. Dat moet toch beter kunnen?
« Laatst bewerkt op: 2012/12/26, 20:25:16 door paultje1965 »

Offline jan11000

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #1 Gepost op: 2012/11/25, 22:01:53 »
In stukjes knippen heeft natuurlijk geen zin, want de file grootte blijft het zelfde, en met meer files duurt het langer.

Snelheid van usb stick? Dus de usb stick zelf.
Snelheid in windows?
Snelheid in linux?

Kijk/zoek uit  welke usb snelheid linux aan je usb stick geeft?(google hier dus op).
Probeer voorkant usb en achterkant usb van je pc, misschien is hier verschil in.
Usb hub misschien te langzaam? Indien je dit gebruikt.

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #2 Gepost op: 2012/11/26, 08:23:21 »
Bedankt voor de tips maar ik had al het een en ander geprobeerd. Het is een probleem met grote files dus het knippen helpt, in principe wel. De stick is een USB2.0 en is in Windows ca. 10 sneller dan in Ubuntu 12.04 64 bits. Ook de CPU wordt heel zwaar belast onder Linux. Voor meer info:

https://bugs.launchpad.net/ubuntu/+source/linux/+bug/500069

Ik kan inderdaad nog wel proberen om de stick eens aan de achterkant in te pluggen. Wie weet?

Offline DeBaas

  • Lid
  • Steunpunt: Ja
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #3 Gepost op: 2012/11/26, 09:55:56 »
Al eens geprobeerd de USB als native Linux te formatteren ?
Ik beantwoord GEEN hulpvragen via PB en/of MAIL

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #4 Gepost op: 2012/11/26, 11:20:48 »
Als ext4 of ext2 bedoel je? Liever niet want Windows moet ook nog met mijn stickje kunnen praten. Mijn baas wil helaas niet van Windows af...

Het zou waarschijnlijk wel wat helpen want de vertaling naar (v)FAT schijnt via de CPU te lopen.

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #5 Gepost op: 2012/11/26, 18:46:22 »
Klein testje gedaan: als ik de file in stukken van 100MB (m.b.v. comprimeren => RAR) opdeel dan gaat het kopieren van die stukken, een voor een, razend snel. Het lijkt erop dat, bij kopieren van een enkel groot bestand, het bestand eerst gebufferd wordt in de RAM. De USB stick is tenslotte relatief langzaam. Op dat moment heeft het systeem blijkbaar voor zichzelf te weinig RAM over en blijft hangen. Daarna gaat ook de filetransfer langzaam.

Nu ik dus de file opgeknipt heb in hapklare brokken van 100MB gaat alles prima. Er is immers RAM genoeg over. De laptop heeft 2GB RAM en een Intel Core2 T7400 @ 2.16GHz. Het schijnt allemaal te maken te hebben met de Tranparant Hugh Page feature in de Linux kernel. Zie link hierboven. Ik begrijp het verhaal niet helemaal (ben wel een techneut maar geen programmeur) maar dit is wat ik ervan maak. De theorie klopt in zoverre dat relatief kleine files inderdaad geen probleem geven.

Offline h2o

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #6 Gepost op: 2012/11/26, 21:52:00 »
Ik heb even voor jou gezocht en kwam deze link tegen: http://wiki.debian.org/Hugepages
Volgens mij is hier beschreven waar je tegenaan loopt. Dit is voor Debian, maar ook toepasbaar voor Ubuntu en Mint.

Edit: + dit artikel http://artipc10.vub.ac.be/wordpress/2011/05/27/linux-performance-improvements/
Laptops + werkstations: Debian Stable + backports, server Debian Stable.
Test-laptop: Debian Tesing/Unstable

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #7 Gepost op: 2012/11/26, 22:32:05 »
Bedankt! Interessante kost maar ik moet het wel een paar keer lezen.

Offline h2o

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #8 Gepost op: 2012/11/26, 22:50:36 »
Ik loop er zelf ook weleens tegenaan (bestanden van collega's) maar heb mij er nooit in verdiept. Dat zal ik wel eens doen, maar misschien zijn er forumleden die hier ook al wat mee kunnen doen?
Laptops + werkstations: Debian Stable + backports, server Debian Stable.
Test-laptop: Debian Tesing/Unstable

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #9 Gepost op: 2012/12/04, 20:50:08 »
Ondertussen heb ik twee methodes om grote bestanden op de stick te krijgen:
*in stukken knippen met RAR
*andere geheugenvreters (browser => Opera) eerst uitzetten.

Het is wel duidelijk dat extra RAM zou helpen maar ik ga daar bij een ruim 5 jaar oude laptop niet aan beginnen. Verder draait Ubuntu 12.04 (Gnome Classic) prima. Het is echt alleen het kopieeren van grote bestanden naar een USB stick dat niet prettig wil werken. Jammer.

Het probleem met het reproduceren van deze bug zal wel zijn dat waarschijnlijk geprobeerd wordt op een relatief 'dikke' machine de boel na te spelen. Als ik op mijn desktop met 6GB RAM en een flinke processor dezelfde actie doe loopt het ook prima.

Offline Gompie

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #10 Gepost op: 2012/12/09, 03:20:35 »
Misschien kan je beter je USB-stick NTFS formatteren.
Zelf nog geen problemen gehad met USB-stick (NTFS) en Ubuntu.
Met NTFS kan je ook grotere bestanden dan 4 GB gebruiken in Windows wat handig is als je een grote backup wil maken bijvoorbeeld.

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #11 Gepost op: 2012/12/13, 11:28:04 »
NTFS helpt wel iets maar is helaas niet de kern van het probleem. In principe wijst de Linux kernel teveel RAM toe aan de kopie actie en dat breekt machines met een beperkte hoeveelheid RAM op. Kwestie van RAM bijpluggen (alleen voor het schrijven van data naar een USB stick???) of alle geheugen vreters uitzetten en geduld hebben.

Offline h2o

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #12 Gepost op: 2012/12/13, 15:20:24 »
Wat je misschien kunt proberen is om het bestandje /etc/sysctl.conf aan te passen (als root).

Ik heb onderaan deze waarde:
Citaat
# Verminder de swapneiging
vm.swappiness=10
vm.vfs_cache_pressure=50

Probeer dat eens. Werkt het niet, dan hoef je alleen een # voor de beide onderste regels te zetten:
Citaat
# Verminder de swapneiging
#vm.swappiness=10
#vm.vfs_cache_pressure=50

Ik hoor of lees wel of dit helpt.
Laptops + werkstations: Debian Stable + backports, server Debian Stable.
Test-laptop: Debian Tesing/Unstable

Offline jolo

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #13 Gepost op: 2012/12/13, 15:32:42 »
Om welk model laptop gaat het eigenlijk? En welk model USB-stick? Hoe goed presteert die USB-stick als je deze test met Schijfgereedschap' Alleen-lezen-classificatie? Ik denk verder dat 2 GB wel voldoende werkgeheugen zou moeten zijn. Ikzelf heb even een test gedaan met de laptop uit mijn onderschrift. Die Lenovo R61i laptop heeft nog steeds 2.5 GB werkgeheugen. Als ik daarmee in Ubuntu 12.04.1 een zip bestand van 3.1 GB kopieer naar een NTFS partitie van een 16 BG Adata USB 3.0-stick, dan duurt dat ongeveer 2 minuten en 21 seconden. De kopieersnelheid zakt wel iets terug. Het CPU gebruik schommelt, maar blijft nog wel onder de 50 %. De laptop heeft alleen USB-2.0 poorten.

Zakt bij jou de kopieersnelheid alleen terug op een USB-stick? Of ook op een externe harddisk. En als je dat grote bestand van de ene map naar een andere map kopieert op de harddisk zelf? Het zou inderdaad wel een bug kunnen zijn. Want in deze thread [ubuntu] "stalling" while Copying large files, wordt dezelfde bugmelding hyperlink genoemd, als  die jezelf ook al vond. Check verder ook nog deze bugmelding https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1009433
Hoofd PC september 2011 Asus P8Z68-V Pro i7 2600K 8 GB RAM GT730 Ubuntu 14.04
PC 2007 Asus P5B E6600 2GB RAM 8800GTS  
Notebook 2008 Lenovo ThinkPad R61i 8932GMG 2,5 GB RAM
Test pc's AthlonXP 1700+ PC 1,5 GB RAM nVidia 7600GS en Dual P3 1000 MHz 1 GB RAM X1650Pro

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #14 Gepost op: 2012/12/13, 18:56:13 »
Het is een Dell Precision M65 (afdankertje van mijn werk maar 5 jaar geleden toch redelijk high-end). Het kopieren naar verschillende USB sticks gaat traag vergeleken met dezelfde kopieer actie op Windows, ongeveer een factor 10. Daar moet ik wel bij zeggen dat het helpt als ik bv. de browser eerst afsluit.

Het kopieren naar een USB harddisk gaat met normale (USB2.0) snelheid. Het is net bij USB (flash) sticks waarbij, in eerste instantie, het kopieren razendsnel gaat en daarna uiterst langzaam. Die sprint in het begin komt omdat de data eerst in de RAM gebufferd wordt.

Een gewone USB harddisk is daarna snel genoeg om het RAM geheugen weer te verlossen van de data maar een flash USB niet. Als de data in het werk geheugen gebufferd is gaat ook het CPU gebruik omhoog en blijft het hele systeem hangen.

*edit* de swappiness had ik al op 10 staan. Wat doet eigenlijk 'vm.vfs_cache_pressure=50'? Daar heb ik namelijk nog niets mee gedaan.
« Laatst bewerkt op: 2012/12/13, 18:59:13 door paultje1965 »

Offline h2o

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #15 Gepost op: 2012/12/13, 23:09:40 »
Lees eens dit: https://bbs.archlinux.org/viewtopic.php?pid=739051 en dan in het bijzonder dit gedeelte:
Citaat
Here is my system:Linux Galicja 2.6.33.2-ARCHMOD #1 PREEMPT Fri Apr 2 13:44:32 CEST 2010 x86_64 Genuine Intel(R) CPU 575 @ 2.00GHz GenuineIntel GNU/LinuxI've just added the following to /etc/sysctl.conf:# Prevent the kernel from swapping memory pagesvm.swappiness = 0
# Kernel will aggressively reclaim the memory which is used for caching of directory and inode objects, hence dentries and inodesvm.vfs_cache_pressure = 1000
Result: Impact is positive. System is fast and responsive, nothing gets written out to swap, and everything is done with current physical RAM.

en iets verder..

Citaat
thestinger wrote:the thread is from 2007... that's quite the necro ejmarkowIf you read carefully, the last comment on this thread, prior to mine, was on 2009-04-11 07:27:01. Not quite the 'necro'.thestinger wrote:but just to clarify before this gets closed - vm.vfs_cache_pressure is an integer from 0 to 200 - closer to 0 favors inode/dentry cache (which is usually quite small) and 100 is default behaviorIncorrect. The integer limit to vm.vfs_cache_pressure isn't 200. It ranges from 0 to beyond. Here is an example from:http://www.kernel.org/pub/linux/kernel/ … ning.patch----------Some people want the dentry and inode caches shrink harder, others want them
shrunk more reluctantly.The patch adds /proc/sys/vm/vfs_cache_pressure, which tunes the vfs cache
versus pagecache scanning pressure.- at vfs_cache_pressure=0 we don't shrink dcache and icache at all.- at vfs_cache_pressure=100 there is no change in behaviour.- at vfs_cache_pressure > 100 we reclaim dentries and inodes harder.
The number of megabytes of slab left after a slocate.cron on my 256MB test
box:vfs_cache_pressure=100000   33480
vfs_cache_pressure=10000    61996
vfs_cache_pressure=1000     104056
vfs_cache_pressure=200      166340
vfs_cache_pressure=100      190200
vfs_cache_pressure=50       206168Of course, this just left more directory and inode pagecache behind instead of
vfs cache.  Interestingly, on this machine the entire slocate run fits into
pagecache, but not into VFS caches.----------

Lijkt zelfs als ik dit lees interessante kost.

Ook dit linkje is interessant: http://forums.debian.net/viewtopic.php?f=5&t=44297
en de link die daarin staat: http://rudd-o.com/en/linux-and-free-software/tales-from-responsivenessland-why-linux-feels-slow-and-how-to-fix-that

Te beginnen bij dit gedeelte:

Citaat
The problem

What's the number one cause of desktop performance problems?

Let me answer that question with another set of questions:

    Have you noticed how slow your computer is after after unzipping a big file?
    Perhaps you can also notice this effect overnight as well -- you return to your computer, and every open application takes a while before they behave snappily again.
    Do you use Amarok? Then you'll notice this effect after Amarok has finished scanning your music collection.

This problem happens all the time. In fact, I would be willing to bet this is the cause most people find Linux to be slow.
The source of the problem

Here's my chief finding: desktop performance has very little to do with schedulers and real performance. It has everything to do with disk caching and perceived performance.

Now, bear with me for a second, because what I'm about to explain will let you understand the following. Based on my limited understanding of the Linux kernel (please correct me if I'm wrong, especially about the terminology), there are two distinct cache types:

    a block cache: caches block device contents
    a inode/dentry cache: one layer above the block cache, caches directory entries and other filesystem-related things that cost more to look up than just block device contents

Problem number 1 is that the block cache competes with applications for RAM. Problem number two is that the block cache competes with the inode/dentry cache.

On a normal desktop Linux computer, when you're short of RAM, Linux will aggressively try to free memory to enlarge the caches. It usually does this by paging out unused portions of applications to disk. This is not good.

Why? Since disks are slow, the following consequences follow:

Lijkt mij precies jouw verhaal.
Laptops + werkstations: Debian Stable + backports, server Debian Stable.
Test-laptop: Debian Tesing/Unstable

Offline jolo

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #16 Gepost op: 2012/12/14, 08:33:41 »
Het is een Dell Precision M65
Had je deze blog al gecheckt? Ubuntu 12.04 on my Dell Precision M65. Als je de prestaties met die nvidia-current drivers niet kunt verbeteren, kun je er beter geen grote bestanden meer mee kopiëren in Linux.   
Hoofd PC september 2011 Asus P8Z68-V Pro i7 2600K 8 GB RAM GT730 Ubuntu 14.04
PC 2007 Asus P5B E6600 2GB RAM 8800GTS  
Notebook 2008 Lenovo ThinkPad R61i 8932GMG 2,5 GB RAM
Test pc's AthlonXP 1700+ PC 1,5 GB RAM nVidia 7600GS en Dual P3 1000 MHz 1 GB RAM X1650Pro

Offline h2o

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #17 Gepost op: 2012/12/14, 08:57:27 »
Het is een Dell Precision M65
Had je deze blog al gecheckt? Ubuntu 12.04 on my Dell Precision M65. Als je de prestaties met die nvidia-current drivers niet kunt verbeteren, kun je er beter geen grote bestanden meer mee kopiëren in Linux.
Aha, ik heb zelf een Acer Aspire 9300 met een Nvidia kaart erin. Ik gebruik op deze laptop niet de Nvidia drivers, maar de nouveau drivers.  Mijn ervaringen met de Nvidia drivers is niet zo bijster positief. Regelmatig een automatische herstart, of dat je uit je eigen account werd geklapt. Met de nouveau driver heb ik daar geen last van.
Laptops + werkstations: Debian Stable + backports, server Debian Stable.
Test-laptop: Debian Tesing/Unstable

Offline Gompie

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #18 Gepost op: 2012/12/15, 02:57:55 »
Heb je wel eens getest of het RAM-geheugen nog goed is?
Ik ken een vrouw waarvan de laptop door een computerwinkel dagen onderzocht is omdat er wat problemen waren.
Zij erkenden de problemen, maar konden de oorzaak niet vinden.
Omdat de laptop nog binnen de garantie viel, stuurde de vrouw hem terug naar de fabriek.
Zij kreeg hem goed werkend terug met de mededeling dat de geheugenmodule vervangen was.

Offline paultje1965

  • Lid
  • Steunpunt: Nee
Re: Kopieeren naar USB stick traag en kost veel CPU power
« Reactie #19 Gepost op: 2012/12/26, 20:24:49 »
Sorry, even niet meer op het forum geweest. Inmiddels heeft de laptop het helemaal opgegeven. Het lijkt erop dat de CPU het begeven heeft. Geen BIOS post-codes, geen bios-piepjes (memory, video). Opstarten van CD gaat ook niet meer. Voeding is er wel.
Toch nog niet zo slecht na bijna 6 jaar als werkpaard gebruikt te zijn. Ik ga hem maar als donor gebruiken. Bedankt voor alle adviezen. Ik blijf het er maar ophouden dat het probleem veroorzaakt werd door het alloceren van teveel RAM bij het schrijven van bestanden naar USB waardoor te weinig overblijft om het systeem fatsoenlijk te laten functioneren.

Op mijn desktop (i7 950 met 6GB RAM) is er geen enkel probleem met het schrijven naar USB terwijl ik dat wel had op verschillende systemen met ca. 2GB. 'Opgelost' zal ik dan maar zeggen!
« Laatst bewerkt op: 2012/12/26, 20:26:49 door paultje1965 »