Nieuws:

Welkom, Gast. Alsjeblieft inloggen of registreren.
Heb je de activerings-mail niet ontvangen?

Auteur Topic: I7 langzaam bij grote bestanden kopieren  (gelezen 3854 keer)

Offline letstrynl

  • Lid
  • Steunpunt: Nee
I7 langzaam bij grote bestanden kopieren
« Gepost op: 2010/04/14, 00:22:03 »
Mijn desktop systeem (Ubuntu 9.10 of 10.04beta, I7 met SATA300 schijf) bevriest bijna als ik grote bestanden (9 GB in dit geval) verplaats van de ene XFS partitie naar de andere. Dit op een Samsung Spinpoint F1 1GbB schijf, toch niet echt een langzame schijf.

Ik dacht dat serial ATA de bus veel minder belastte, net zoals SCSI dat doet?

Hoe kan dit? en komaan zeg, een 4 processor systeem met 6GB memory ...

Zal ik m'n Ultra SCSI controller + schijven maar weer installeren?
Nadeel is dan weer dat ik geen 66MHz PCI slot heb  >:(

Offline jan11000

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #1 Gepost op: 2010/04/14, 07:46:19 »
Wat bevriest ?
Voor de rest geef je weinig info.
Hoeveel Mb per minuut word er gekopieerd, of hoelang duurt dit. Hoelang duurt dit in bijv windows.
Heb je andere hd's geprobeerd?

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #2 Gepost op: 2010/04/14, 11:53:06 »
De desktop (Gnome) wordt eeeerg langzaam.
Ook bijv. iets waarvoor een password moet worden ingevoerd komt er niet door, tijdens het kopieren.

Harde schijf BIOS instelling is AHCI.
Geen andere schijf geprobeerd.

AUS P6T Deluxe V2 motherboard, Intel ICH10 SATA ->  zou geen probleem mogen zijn
285GTX videocard -> zou geen probleem mogen zijn
6 GB geheugen -> zou geen probleem mogen zijn

Het verplaatsen zelf gaat met plm 25 Mb/s, van een geencrypte XFS partitie naar een ongeencrypte partitie.

Het gekke is dat ik met lsmod geen harddiskcontroller modules zie.
Inmiddels in de kernel ingebakken?

lspci:
00:1f.2 SATA controller: Intel Corporation 82801JI (ICH10 Family) SATA AHCI Controller
04:00.0 IDE interface: Marvell Technology Group Ltd. 88SE6121 SATA II Controller (rev b2)

dmesg:
[    1.075738] ahci 0000:00:1f.2: AHCI 0001.0200 32 slots 6 ports 3 Gbps 0x3f impl SATA mode
[    1.171453] ata1: SATA max UDMA/133 abar m2048@0xf7ffc000 port 0xf7ffc100 irq 54
[    1.171455] ata2: SATA max UDMA/133 abar m2048@0xf7ffc000 port 0xf7ffc180 irq 54
[    1.171457] ata3: SATA max UDMA/133 abar m2048@0xf7ffc000 port 0xf7ffc200 irq 54
[    1.171459] ata4: SATA max UDMA/133 abar m2048@0xf7ffc000 port 0xf7ffc280 irq 54
[    1.171461] ata5: SATA max UDMA/133 abar m2048@0xf7ffc000 port 0xf7ffc300 irq 54
[    1.171463] ata6: SATA max UDMA/133 irq_stat 0x00400040, connection status changed irq 54
[    1.171878] ata7: PATA max UDMA/100 cmd 0xcc00 ctl 0xc880 bmdma 0xc400 irq 16
[    1.171880] ata8: PATA max UDMA/133 cmd 0xc800 ctl 0xc480 bmdma 0xc408 irq 16
[    1.700942] ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
[    1.707296] ata1.00: ATA-7: SAMSUNG HD103UJ, 1AA01118, max UDMA7
[    1.731325] scsi 0:0:0:0: Direct-Access     ATA      SAMSUNG HD103UJ  1AA0 PQ: 0 ANSI: 5
[    2.080797] ata2: SATA link down (SStatus 0 SControl 300)
[    2.450659] ata3: SATA link down (SStatus 0 SControl 300)
[    2.820825] ata4: SATA link down (SStatus 0 SControl 300)
[    3.190681] ata5: SATA link down (SStatus 0 SControl 300)
[    4.140007] ata6: SATA link up 1.5 Gbps (SStatus 113 SControl 300)
[    4.140728] ata6.00: ATAPI: TSSTcorp CDDVDW SH-S223B, SB02, max UDMA/100, ATAPI AN


Offline jan11000

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #3 Gepost op: 2010/04/14, 12:07:27 »
Kopieren van niet encrypted naar niet encrypted?

Heb je dit altijd gehad?
Zet compiz eens uit.

Start van een ubuntu livecd, kopieren van niet encrypted naar niet encrypted.
Andere kabel op de hd zetten.
Log files checken tijdens kopieren voor fouten.
« Laatst bewerkt op: 2010/04/14, 12:10:52 door jan11000 »

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #4 Gepost op: 2010/04/14, 12:11:17 »
hardparm -i:
 Model=SAMSUNG, FwRev=1AA01118, SerialNo=S13PJ9AS500068
 Config={ Fixed }
 RawCHS=16383/16/63, TrkSize=34902, SectSize=554, ECCbytes=4
 BuffType=DualPortCache, BuffSize=32767kB, MaxMultSect=16, MultSect=off
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=1953525168
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio1 pio2 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
 AdvancedPM=yes: unknown setting WriteCache=enabled
 Drive conforms to: unknown:  ATA/ATAPI-3,4,5,6,7

hdparm -t:
 Timing buffered disk reads:  330 MB in  3.01 seconds = 109.71 MB/sec
 Timing buffered disk reads:  332 MB in  3.00 seconds = 110.50 MB/sec
 Timing buffered disk reads:  332 MB in  3.01 seconds = 110.19 MB/sec

hdparm -T (linux cache)
 Timing cached reads:   17210 MB in  2.00 seconds = 8614.11 MB/sec
 Timing cached reads:   17150 MB in  2.00 seconds = 8583.84 MB/sec
 Timing cached reads:   17152 MB in  2.00 seconds = 8585.38 MB/sec

Dit systeem zou bloedsnel moeten zijn.

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #5 Gepost op: 2010/04/14, 12:13:54 »
Compiz staat uit (visual effects: none).

Kabels zijn in orde, anders zou de UDMA_CRC_Error_Count ongelijk 0 zijn.

smartctl -a /dev/sda:
  1 Raw_Read_Error_Rate     0x000f   100   100   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0007   070   070   011    Pre-fail  Always       -       9700
  4 Start_Stop_Count        0x0032   099   099   000    Old_age   Always       -       581
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   253   253   051    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0025   100   100   015    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0032   099   099   000    Old_age   Always       -       3910
 10 Spin_Retry_Count        0x0033   100   100   051    Pre-fail  Always       -       0
 11 Calibration_Retry_Count 0x0012   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   099   099   000    Old_age   Always       -       581
 13 Read_Soft_Error_Rate    0x000e   100   100   000    Old_age   Always       -       0
183 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
184 Unknown_Attribute       0x0033   100   100   000    Pre-fail  Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   081   062   000    Old_age   Always       -       19 (Lifetime Min/Max 11/19)
194 Temperature_Celsius     0x0022   076   061   000    Old_age   Always       -       24 (Lifetime Min/Max 11/24)
195 Hardware_ECC_Recovered  0x001a   100   100   000    Old_age   Always       -       396785
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   100   100   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x000a   100   100   000    Old_age   Always       -       0
201 Soft_Read_Error_Rate    0x000a   253   253   000    Old_age   Always       -       0

Offline siegi

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #6 Gepost op: 2010/04/14, 12:28:23 »
Het kopiëren van mijn geëncrypteerde home partitie naar een niet geëncrypteerd plaats geeft op mijn KDE desktop ook enorme vertragingen.
Ik heb de indruk dat "encryptie berekeningen" teveel voorrang krijgen op andere processen.
« Laatst bewerkt op: 2010/04/14, 12:30:27 door siegi »

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #7 Gepost op: 2010/04/14, 12:36:27 »
Zou het dan te verklaren zijn doordat:

1) grote bestanden niet in de cache passen en dus niet "on the fly" gedaan kunnen worden
2) er maar 1 processor mee bezig is (een andere processor voor kcryptd?)

Ik blijf het vreemd vinden, onder SCSI zou het systeem lang zo zwaar niet belast worden...
Of is SATA toch niet zo "serial" als SCSI?

... en nogmaals ... 4 processoren beschikbaar?

Wat ik ook wel vreemd vindt is dat hdparm meldt dat de schijf via UDMA 6 (=UDMA 133) aangesproken wordt, terwijl de schijf UDMA 7 (=SATA-150) ondersteunt. Ook wel weer vreemd voor een SATA-2 (=SATA-300) schijf trouwens.
« Laatst bewerkt op: 2010/04/14, 12:39:51 door letstrynl »

Offline siegi

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #8 Gepost op: 2010/04/14, 12:45:11 »
Het kan verschillende redenen hebben.
Ten heb je geen 4 processoren maar 1 quad core processor wat toch nog altijd een groot verschil is.
KDE en gnome schrijft constant informatie naar de configuratie bestanden in .gnome .gconf .kde etc.
Bovendien moet er constant informatie worden gegeven door gnome over de status van het kopieer proces.

Dit is mijn bug report, ik dacht eerst dat het te wijten was aan kio-file maar misschien is er toch een andere reden.
https://bugs.launchpad.net/ubuntu/+source/kdebase/+bug/443122

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #9 Gepost op: 2010/04/14, 12:50:47 »
Hmmm, mijn home partitie is inderdaad geencrypt.
Ik gebruik cryptsetup, maar dat mag volgens mij geen verschil maken met jouw configuratie.

Als je gelijk hebt, dan zou dus het kopieren van grote bestanden -ingelogd op een ongeencrypte home- sneller moeten gaan?

Kan ik wel even proberen.

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #10 Gepost op: 2010/04/14, 13:20:44 »
Er is inderdaad een duidelijk verschil merkbaar.

Opmerking: move met mc (midnight commander) in een shell ging nu met plm. 40 Mb/s gemiddeld.
Waarschijnlijk was het bestand eerder gefragmenteerd, en nu minder.

Maar in de Gnome desktop omgeving is het verschil duidelijk merkbaar.

Je bugreport geldt dus niet alleen voor KDE.

Zou het kunnen dat kcryptd niet multithreaded is?
M.a.w. dat KDE/Gnome voor filesystemupdates in de desktopomgeving moet wachten op een (blocked read/write) reply van maar 1 kcryptd proces?

Aan de filesystem driver (in mijn geval xfs) zal het waarschijnlijk niet liggen.
« Laatst bewerkt op: 2010/04/14, 13:22:48 door letstrynl »

Offline siegi

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #11 Gepost op: 2010/04/14, 13:43:11 »
Interessante denkpiste,
Ik vond dit bug report.
https://bugs.launchpad.net/ubuntu/+source/linux/+bug/246413

Ik ga is wat experimenteren met nice in te stellen van kcryptd.

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #12 Gepost op: 2010/04/14, 13:55:13 »
Yep, precies wat ik al dacht.

Tjongejonge, de bug (of feature request) dateert van 2008.

In de tussentijd zou je inderdaad kunnen experimenteren met re-nicen van het proces.
Lost het probleem natuurlijk niet op, maar maakt het wel draaglijker.

Ben wel blij dat het in elk geval niet in hardware lijkt te zitten  :)
« Laatst bewerkt op: 2010/04/14, 13:57:59 door letstrynl »

Offline Cumulus007

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #13 Gepost op: 2010/04/14, 13:57:31 »
Je kunt al die schijfinformatie ook uitlezen via Systeem -> Beheer -> Disk Utility in plaats van met al die commando's.

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #14 Gepost op: 2010/04/14, 14:00:10 »
Da's fijn, cumulus007, maar Disk Utility laat bij mij (om wat voor reden dan ook) geen smart informatie zien.

Ben dus veroordeeld tot smartctl commando's ;-)

En ja, het systeem is volledig geupdated...

Offline siegi

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #15 Gepost op: 2010/04/14, 14:20:26 »
Proces priotity lijkt me het grootste probleem.
Bij computers met 1 core zou de desktop toch ook nog bruikbaar moeten zijn.

Multicore support zou handig zijn, maar niet noodzakelijk.
Als 1 core al volledig bezig is met encryptie dan lijkt me dit toch voldoende :)
« Laatst bewerkt op: 2010/04/14, 14:22:16 door siegi »

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #16 Gepost op: 2010/04/14, 14:34:37 »
Multithreaded is multithreaded, alles voorzover mogelijk zoveel mogelijk verdelen over 1..n processoren.

Als je meerdere processoren hebt die toch niet voor 100% gebruikt worden, waarom zou je daar dan geen gebruik van maken?

Volgens mij redelijk normaal bij de grote jongens (Sun Solaris, SGI Irix etc.)

Waarom zou je op een multicore machine de ervaring/beleving van een single core machine willen ?
Ik zie het niet  :)

Offline siegi

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #17 Gepost op: 2010/04/14, 14:53:40 »
Een single core computer mag toch niet onbruikbaar worden tijdens het kopiëren omdat er een encrypted home wordt gebruikt.

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #18 Gepost op: 2010/04/14, 18:29:57 »
Ah, I begrijp je.

Als bij een single core machine het probleem wordt opgelost door te re-nicen is dat een goede oplossing.
Hoewel ik me dan wel weer afvraag waarom dat standaard niet gebeurt.

In het geval van single core zou je je ook kunnen afvragen of het encryptie proces de machine niet teveel belast.
Er is natuurlijk maar 100% processorcapaciteit aanwezig, en dat moet wel verdeeld worden.

En de Gnome/KDE/Linux processen vragen wel elk hun deel daarvan.

Ik zou vooralsnog het al of niet multithreaded zijn/worden van kryptd wel aanmoedigen.
Daarnaast vraag ik me af waarom ik crypto/0 t/m crypto/3 processen heb draaien.
Dit lijkt ook een verdeling te zijn naar processoraantal.

« Laatst bewerkt op: 2010/04/14, 18:31:30 door letstrynl »

Offline letstrynl

  • Lid
  • Steunpunt: Nee
Re: I7 langzaam bij grote bestanden kopieren
« Reactie #19 Gepost op: 2010/04/16, 15:52:58 »