SSHFS

[testcees]

Een andere  manier, naast samba en NFS, om mappen via een (lokaal) netwerk te koppelen is SSHFS:

https://wiki.ubuntu-nl.org/community/SSHFS

Het is een community artikel dus iedereen met een Ubuntu One account kan het onderhouden maar opmerkingen en/of aanvullingen via dit forum zijn ook welkom.

[Bloom]

SSHFS is wel een flink stuk trager vanwege de benodigde encryptie en decryptie. NFS is het snelst.

[jvecht]

Hoi Bloom,

Dit artikel (helaas Engelstalig) zegt toch van niet. In mijn eigen  ervaring is er ook qua snelheid helemaal niks mis met sshfs. Daarnaast is het imo wel fijn dat sshfs en ssh volledig encrypt zijn.

Ik gebruik deze verbindingen wel alleen binnen mijn eigen netwerk, maar dan nog heb ik graag veiligheid bij zulke datastromen. Zie ook mijn oorspronkelijke topic waar de discussie hier vanaf werd gesplitst: https://forum.ubuntu-nl.org/index.php?topic=97153.0 en in een totaal andere sectie weer wordt opgezet. De oplossing werd trouwens ingebracht door nero, niet door mij. Waarvoor hartelijk dank en alle eer natuurlijk naar nero!

Ik begin me erg ongelukkig te voelen bij de vreemde manier waarop dat afsplitsen is gebeurd en hier wordt voortgezet. Ik voel me duidelijk een beetje bestolen en dat terwijl ik destijds netjes antwoord gaf op een vraag van een lid van dit forum die er al geruime tijd mee had geworsteld, door niemand werd beantwoord en twee andere leden die mij zeer recent persoonlijk vroegen of ik er nog iets van op schrift had gesteld.

groet,

Just

[testcees]

Dit artikel (helaas Engelstalig) zegt toch van niet.

Ik lees in dat artikel ook dat sshfs veiliger maar langzamer is

SSH is a great thing for everything connected to Unix/Linux and networks, but it is really slow compared to NFS, FTP or SMB.

NFS is the fastest, but it is not encrypted

[Bloom]

Ik heb zelf snelheidstesten uitgevoerd tussen mijn Debian server en (destijds) een Ubuntu desktop en daaruit bleek het volgende qua kopieersnelheid van zo'n 10 bestanden van tussen de 650 MB en 8 GB groot:
1. NFS
2. FTP
3. Samba
4. SSHFS

[jolo]

Ook hier heb ik zojuist een snelheidstest gedaan.
Cliënt pc Hoofd pc onderschrift, via cat 5e netwerkkabel op router.
Server pc pc2007 onderschrift, via cat 5e netwerkkabel op router.
Server notebook R61i onderschrift, via cat 6 netwerkkabel op router.
Test bestand knoppix ISO 4,7 GB groot.
Het kopiëren via SSHFS duurt ongeveer 1 minuut en 31 seconden. Dus ongeveer 52 MB/sec.
Het kopiëren via Samba duurt ongeveer 1 minuut en 40 seconden.
Het kopiëren via NFS duurt ongeveer 1 minuut en 38 seconden.

Overigens kon ik de test via NFS pas uitvoeren, nadat ik de server computer opnieuw had opgestart. Dat zag ik niet staan in 'onze' NFS wiki.
 Het starten van de server met sudo /etc/init.d/nfs-kernel-server start was niet voldoende.
 

[Bloom]

Herstarten was niet nodig. Om wijzigingen in /etc/exports door te voeren, hoef je maar

Code: [Selecteer]

exportfs -ra
uit te voeren als root.

Een onversleuteld protocol zou altijd sneller moeten zijn dan een met encryptie, dat is logisch alleen al vanwege de overhead noodzakelijk voor encryptie. Dat dat bij jou niet zo is, vertelt me dat NFS met grote waarschijnlijkheid niet geconfigureerd werd voor de beste prestaties.
Welke versie van NFS heb je gebruikt en met welke parameters in je exports bestand? En welke in je clients /etc/fstab?

[jvecht]

Dit artikel (helaas Engelstalig) zegt toch van niet.

Ik lees in dat artikel ook dat sshfs veiliger maar langzamer is

SSH is a great thing for everything connected to Unix/Linux and networks, but it is really slow compared to NFS, FTP or SMB.

NFS is the fastest, but it is not encrypted

En deze quote dan uit dat artikel?

You might want to look at sshfs, which can be used to create mount points similar to NFS but in a secure way, and in my own humble testing had similar performance to NFS

Deze meneer heeft het dus getest, net als onze jolo en net als ik. Dat is drie keer en nou heb ik toch wel gelijk gekregen, wel. Doodvermoeiend, deze beweringen vanuit het grootste gelijk van de wereld.

groet,

Just

[jvecht]

Ook hier heb ik zojuist een snelheidstest gedaan.
Cliënt pc Hoofd pc onderschrift, via cat 5e netwerkkabel op router.
Server pc pc2007 onderschrift, via cat 5e netwerkkabel op router.
Server notebook R61i onderschrift, via cat 6 netwerkkabel op router.
Test bestand knoppix ISO 4,7 GB groot.
Het kopiëren via SSHFS duurt ongeveer 1 minuut en 31 seconden. Dus ongeveer 52 MB/sec.
Het kopiëren via Samba duurt ongeveer 1 minuut en 40 seconden.
Het kopiëren via NFS duurt ongeveer 1 minuut en 38 seconden.

Bedankt jolo! SSHFS blijkt bij jou dus het snelste, nog even afgezien dat een herstart ook nog tijd kost?

groet,

Just

[Anco]

Ik lees in dat artikel ook dat sshfs veiliger maar langzamer is

SSH is a great thing for everything connected to Unix/Linux and networks, but it is really slow compared to NFS, FTP or SMB.

NFS is the fastest, but it is not encrypted

Vraag is hoe relevant dat nog is 7 jaar nadat artikel is geschreven.  Op mijn pc trekt ssh / sshfs ongeveer 50% op 1 core. Ik haalde bedraad ongeveer 30-60 MB/s. En via wifi op de laptop ongeveer 5 MB/s, waar de cpu ongeveer 10% op een core gebruikt. (verbinding van wifi geeft 52-72 Mb/s aan). Met een i5 uit 2010 en een i5 uit 2012.

Nou heb ik de rest niet getest, maar als mijn wifi op 52 Mb/s zit, dan kan het niet veel hoger uitkomen dan dit resultaat.
En in link in artikel staat dat die cpu limited word. Dat lijkt nu niet echt meer het geval.
Verder vond ik nog interessant artikel uit 2014 (afgaande van de datum in screenshot) Sharing data with SSHFS waar ook optimalisaties in instellingen getest worden.

Dus ja SSHFS is neemt meer cpu (mijn cpu's hebben beide Intel AES New Instructions, wat waarschijnlijk voor lagere load geeft dan origenele artikel). En is dus trager als je de verbinding niet weet vol te trekken.
Maar als je genoeg cpu power hebt lijkt het mij vlot zat om mee te werken. (sowieso als 1 van die 2 computers via wifi verbonden is)

[MKe]

Klopt als een bus. SSH is iets meer afhankelijk van de CPU aan beide kanten. Op mijn zwakke NAS is het beduidend langzamer dan NFS of SAMBA. Bij mij is SAMBA weer 20% sneller dan NFS, wat maar weer bewijst dat het claimen dat het ene protocol sneller is dan het ander geen nuttige discussie is.

[jvecht]

Hoi MKe,

Aha! Dat maakt de zaak duidelijk en het lijkt me logisch. Nou ben ik in deze ook niet op zoek naar het snelste protocol. Ik heb hier ook geen i7 cpu's draaien, verre van. Maar SSHFS werkte gewoon prima voor normale klusjes en daar gaat het toch om?

Ik hoef me hier echt niet te profileren als een high tech wizard. Geen behoefte aan. Met een kleine ego en bijpassende portemonnee valt ook prima te leven

groet,

Just

[MKe]

Just, ik leef bijna met SSH. Elke keer dat ik op mijn werk achter de computer zit gebruik ik SSH om computers opdrachten te geven, bestanden over te hevelen (rsync over SSH) etc. SSH is een geweldige tool en heel simpel om te gebruiken. Het is ook flexibeler dan SAMBA/NFS omdat je geen share hoeft te definiëren om bestanden delen.  Niets mis mee, dus.

[jvecht]

Hallo MKe,

Leuk om te horen! Ik ben de enige Linux gebruiker in huis en normaal actief op mijn Dell laptop. Ik heb nog een desktop boven, maar er is geen reden om die dan ook aan te hebben staan. Dat zou alleen maar stroom kosten en mijn data staat op externe USB schijven. Even de trap op (heb ik gelijk weer wat beweging) en ik heb ze.

groet,

Just

[maasnet]

Even de trap op (heb ik gelijk weer wat beweging) en ik heb ze.

Zo kom je wel aan 2,5 uur beweging per week 

[MKe]

Misschien een leuke tip voor mensen die ook Windows machines in hun netwerk hebben: kijk eens naar de SSH cliënt MobaXterm. Hiermee kun je vanaf Windows inloggen op een Linux machine met SSH. Het heeft een paar leuke features. Zo is er een file browser waarmee je over de bestanden op de Linux machine kunt browsen. Kopiëren van en naar de Linux machine kan via slepen of knippen en plakken. Deze browser werkt natuurlijk via SSH  Via de command line kun je grafische programma's op de Linux machine starten en gebruiken vanaf de Windows machine ( via een ingebakken X-server). Het is echt veel handiger in gebruik dan Putty.  MobaXterm heeft een gratis versie voor thuisgebruikers.

[testcees]

Herstarten was niet nodig. Om wijzigingen in /etc/exports door te voeren, hoef je maar

Code: [Selecteer]

exportfs -ra
uit te voeren als root.

Bedankt voor de toevoeging. Opgenomen in https://wiki.ubuntu-nl.org/community/NFS#Server

En deze quote dan uit dat artikel?

You might want to look at sshfs, which can be used to create mount points similar to NFS but in a secure way, and in my own humble testing had similar performance to NFS

Er zijn vele situaties waar het protocol niet uitmaakt voor snelheid vanwege andere knelpunten.
De meerwaarde van ssh is vooral veiligheid en veelzijdigheid! Het netwerkverkeer is altijd versleuteld, aanmelden kan veilig (en automatisch) met sleutels in plaats van wachtwoorden.
Naast sshfs gebruik ik ssh ook veel als ssh-tunnel om andere protolen (zoals rdp) via internet te gebruiken. Met ssh kan je zelfs een vpn verbinding opzetten (sshuttle) maar dat is niet het onderwerp van dit wiki artikel, ssh is echt een fantastische tool.

Het is echt veel handiger in gebruik dan Putty.

Ubuntu in Windows 10 heeft ook ssh (dus ook veel handiger dan PuTTY) maar sshfs krijg ik in Windows 10 niet aan de praat omdat fuse blijkbaar (nog) niet wordt ondersteund:

Code: [Selecteer]

Module fuse not found in directory /lib/modules/4.4.0-43-Microsoft


[jolo]

Ik heb voor al die snelheidstesten de voorbeelden van 'onze' wiki gebruikt.
Voor NFS

Code: [Selecteer]

/home/jolo/Downloads    *(rw,sync)  R61i Notebook Xubuntu 16.04.3: Versie nfs-kernel-server 1:1.2.8-9ubuntu12.1
pc2007 Xubuntu 17.10 testversie: Versie nfs-kernel-server 1:1.3.4-2.ubuntu1
In de cliënt pc is niets toegevoegd in het fstab, voor deze snelheidstesten. Voor die NFS test doe ik bij voorbeeld

Code: [Selecteer]

  sudo mount 192.168.0.12:/home/jolo/Downloads /home/jolo/R61i [Enter]

Wellicht wordt de kopieer snelheid via het netwerk verder beperkt door de hardware.
Volgens applicatie schijven (gnome-disk-utility) heeft de harddisk van de server pc pc2007 een leessnelheid van 69 MB/sec. De notebook harddisk heeft een leessnelheid van 79 MB/sec.   

Als ik deze test doe met scp

Code: [Selecteer]

scp KNOPPIX_V7.7.1DVD-2016-10-22-EN.iso jolo@192.168.0.12:/home/jolo/Downloads  [Enter]

Dan kan de kopieersnelheid nogal variëren. De eerste keer is die bijvoorbeeld 44.0MB/s
De tweede keer dezelfde test wordt dan 71.7MB/sec.

De netwerksnelheid zelf, test ik liever via applicatie iperf. 

Op de server pc doe ik dan

Code: [Selecteer]

iperf -s [Enter]

En op de cliënt pc doe ik dan
 

Code: [Selecteer]

  iperf -c 192.168.0.12 [Enter]

De output wordt dan

Code: [Selecteer]

jolo@hoofd-pc:~/Downloads/knoppix$ iperf -c 192.168.0.12
------------------------------------------------------------
Client connecting to 192.168.0.12, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.0.11 port 54738 connected with 192.168.0.12 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.09 GBytes   936 Mbits/sec

Deze snelheid is dan wel stabiel. Omdat deze getoond wordt in Mbits in de plaats van MB, wordt het 936 : 8= 117 MB/sec.

Edit
Als ik die kopieertest nogmaals herhaal, maar dan als ik kopieer van de server pc2007 naar de cliënt hoofd pc (deze heeft SSD), dan zijn NFS en sshfs ongeveer even snel. Namelijk ongeveer 67 MB/sec. Waarschijnlijk kan de server pc ook beter een SSD hebben.

[testcees]

Ik heb voor al die snelheidstesten de voorbeelden van 'onze' wiki gebruikt.
....
In de cliënt pc is niets toegevoegd in het fstab, voor deze snelheidstesten.

Verschil met de mount in fstab is de blocksize, een typisch performanceparameter. Je kan eventueel testen wat het verschil is met een blockgroote van 8K:

Code: [Selecteer]

sudo mount 192.168.0.12:/home/jolo/Downloads /home/jolo/R61i -o rsize=8192,wsize=8192
en/of 64K:

Code: [Selecteer]

sudo mount 192.168.0.12:/home/jolo/Downloads /home/jolo/R61i -o rsize=65536,wsize=65536
Als het veel verschil maakt kan wellicht ook de (eenvoudige) mount in de wiki worden voorzien van een blocksize parameter

[jolo]

Ik heb even voor tijdelijk een SSD in die Server pc pc2007 kunnen plaatsen. Dan lijkt NFS inderdaad sneller te zijn, dan sshfs. De sshfs kopieersnelheid met die 4,7 GB ISO duurt dan ongeveer 53 seconden. NFS zonder extra opties duurt dan ongeveer 50 seconden. Met de blokgrootte van 8K of 64K duurt het ongeveer 43 seconden.
 

[Bloom]

Ik gebruik op de server dit:

Code: [Selecteer]

/data/pub        *(rw,async,insecure,no_subtree_check,no_root_squash)
en op de clients in /etc/fstab dit:

Code: [Selecteer]

server:/data/pub /media/nas nfs4 rw,hard,intr,async,rsize=1048576,wsize=1048576,actimeo=0,timeo=14,nodev,nosuid,noauto,x-systemd.automount,x-systemd.device-timeout=10 0 0
En daarmee haal ik dus beduidend hogere snelheden dan met eender welk ander protocol.
Voor de duidelijkheid: op mijn binnennetwerk mag iedereen overal aan en is de beveiliging dus erg laag, maar de prestatie maximaal.

[jolo]

@Bloom, Ik heb het uitgeprobeerd. Commando sudo mount -a op de cliënt pc, toonde geen foutmelding. Over die mount regel heb je niks gezegd. Dus

Code: [Selecteer]

sudo mount 192.168.0.12:/home/jolo/Downloads /home/jolo/R61i
De onderste regel van de cat /proc/mounts output wordt dan

Code: [Selecteer]

192.168.0.12:/home/jolo/Downloads /home/jolo/R61i nfs4 rw,relatime,vers=4.0,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.0.11,local_lock=none,addr=192.168.0.12 0 0

Dan duurt het kopiëren met die 4,7 GB ISO via NFS ongeveer 41 seconden. Sneller gaat met mijn hardware waarschijnlijk niet lukken. Want 4700MB : 41 seconden is ongeveer 114,6 MB/sec. Bijna de snelheid die getoond werd door iperf. (Reactie #17)

[jvecht]

Hoi jolo,

Interessant deze metingen!

Het verschil is nog steeds in de seconden. Op een totale duur met een spreiding tussen de 40 en 50 seconden gaat het hier dan om procenten.

Met de kanttekening van onze MKe, die bovendien een zeer ervaren professionele gebruiker blijkt te zijn, dat het vergelijkingen van protocollen niet zo zinvol is vanwege de invloed van de hardware is dit allemaal voor de normale gebruiker niet erg zinvol.

De conclusie dat SSHFS snel is is zonder meer gerechtvaardigd en de opmerking elders over snelheidsverschillen met andere protocollen is voor de gewone praktijk niet zinvol. Ik zou dit allemaal eerlijk gezegd niet in de wiki opnemen, maar de informatie elders vastleggen is natuurlijk wel heel goed.

Er staat me bij dat ik SSHFS niet meer aan de gang kreeg toen mijn vrouw haar PC upgrade naar Windows 10 en er kwam ergens in deze discussie van iemand anders ook die kanttekening voorbij met erbij dat Windows 10 niet met fuse overweg kon. Ik ben druk doende met andere activeiten, maar dat dit geverifieerd moeten worden en wel zinvol om in de wiki te vermelden lijkt me van wel.

groet,

Just

[testcees]

Ik zou dit allemaal eerlijk gezegd niet in de wiki opnemen,

Over snelheid staat nu ook niets in de netwerk-wiki’s.

wel zinvol om in de wiki te vermelden

In de wiki over Netwerk bestandsserver (Samba) wordt met name genoemd dat dit veel wordt gebruikt om Linux en Windows computers te laten samenwerken. In de wiki over NFS staat dat alleen bepaalde versies van Windows (helaas niet Windows 10 Home) als NFS client te gebruiken zijn.
De wiki over sshfs gaat (nu) niet over Windows. Hoewel niet onmogelijk, zie bijvoorbeeld win-sshfs, heb ik daar geen enkele ervaring mee.