Nieuws:

Welkom, Gast. Alsjeblieft inloggen of registreren.
Heb je de activerings-mail niet ontvangen?

Auteur Topic: Bestanden corrupt op Ubuntu Server NAS  (gelezen 5922 keer)

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Bestanden corrupt op Ubuntu Server NAS
« Gepost op: 2010/03/05, 22:53:27 »
Hallo!

Ik heb een probleem waar ik al een aantal weken mijn hoofd over breek:

Bestanden die rechtstreeks op mn Ubuntu Server NAS worden gedownload zijn (vaak) corrupt. Download ik datzelfde bestand op mn desktop (ubuntu 9.10) dan is het bestand niet corrupt. Kopieer ik dat bestand vervolgens naar de NAS: geen probleem.

De NAS draait op Ubuntu Server 9.04. Hardware is een Atom cpu, 2gb RAM en 4x1GB HDD in RAID5 config + 1 HD voor OS.
Deze headless server dient als bestandserver, download server (torrentflux-b4rt), dhcp server voor mijn thuisnetwerk, php-webservertje, Samba. Aansturing doe ik via Webmin. De RAID-partitie is gedeeld in het netwerk.

Verder in het netwerk een HP printer (niet relevant lijkt me), de desktop waarop ik dit bericht type en een ION330 nettop beide (Linux mint 8, Ubuntu 9.10).

Na installatie van dit systeem (klein jaar geleden) liep alles prima. Sinds een paar maanden zie ik dat bestanden niet meer in orde zijn. Het viel mij het eerst op bij .torrent files. Deze werden niet meer geaccepteerd door torrentflux. Ik dacht in 1e instantie dat dit met flux te maken had, maar nee. Als ik een .torrent-bestand opsla op mijn desktop en dan toevoeg aan fluxtorrent: prima, geen probleem. Maar, als ik het .torrent bestand rechtstreeks download naar de NAS en dan toevoeg aan fluxtorrent: file error. .torrent-bestand is niet meer kosher.

Het .torrent bestand is een voorbeeld. Het gebeurd me ook met een RAR-bestand en andere bestanden.

Ik heb naar van alles gekeken, maar krijg niet helder wat hier misgaat. De bestandseigenaar is gelijk, de bestandrechten zijn gelijk. Maar, de bestanden zijn toch verschillend (diff bestand1 bestand 2 -> er is een verschil). Ik heb bestanden direct na het downloaden geopend, ik heb ze een dag later geopend (om uit te sluiten dat er nog een proces op de NAS loopt wat afgerond moet zijn voor het bestand benaderd mag worden).

Ik heb de indruk dat een gedeelte van de bestanden op de NAS niet goed wordt weggeschreven. Bij sommige bestandstypen is dit minder kritisch (deze lijken in orde) maar bij bijv een RAR of torrent bestand resulteert dit in een incorrect checksum.

Ik hoop dat jullie me wat op weg kunnen helpen. Ik weet zelf niet meer waar ik het moet zoeken.

Alvast bedankt!

Offline jan11000

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #1 Gepost op: 2010/03/06, 05:47:52 »
Heb je meerdere netwerkkaarten ingebouwd?
Misschien is er een met slechte ubuntu/linux ondersteuning.

Mijn nas had ik ubuntu op gezet, 1 netwerkkaart had alleen een goede driver voor windows(bsd werkte wel goed).
Bij het kopieren van 30 Gb bleef hij hangen.
Zelf doe ik altijd 30Gb in par files overkopieren(6xdvd film) om dan te parren en te kijken of er iets niet klopt, zo een lichte fout heb ik eens in windows gehad met een netwerk.

edit:
De torrent die je download en direct toevoegt(en welke niet werkt), met welke programma download je die.
Indien met firefox download, firefox verwijderen, dan de verborgen firefox map verwijderen, dan weer opnieuw installeren.
Het downloaden werkt dus wel, alleen als je op een andere manier deze erin zet, dus je netwerkkaart is denk ik dus toch goed.
« Laatst bewerkt op: 2010/03/06, 10:30:15 door jan11000 »

Offline Gandyman

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #2 Gepost op: 2010/03/06, 10:22:31 »
Wat voor filesysteem gebruik je op die NAS ?
Gebruik je EXT2, EXT3 of EXT4 ?

Ik denk namelijk dat hier je probleem zit.

Of je hebt je NAS draadloos aan het internet hangen, waarbij de pakketten niet volledig binnenkomen. ?

Last but not least zou het aan je modem/router kunnen liggen.
De meeste merken hebben zeer beperkt geheugen wat volloopt na een tijdje gebruik, ( afhankelijk van de hoeveelheid data, iedere 1 a 2 weekjes)

Oplossing hiervoor is het apparaat uit te zetten en weer aan te zetten. <Powerup)

Dit heb je te danken aan brakke firmware die het geheugen niet kan flushen.
Bij sommige merken kan je de log (dus het geheugen) dumpen naar een pc op je netwerk,
hiervoor moet je een IP adres invullen.
Het hoeft niet perse een bestaande pc te zijn omdat dit toch niet gecontroleerd word door de firmware.

I don't suffer from insanity, I enjoy every minute of it.
Microsoft geeft je een raam, Linux geeft je een heel huis :D

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #3 Gepost op: 2010/03/06, 12:43:40 »
Bedankt voor de reacties!

Heb je meerdere netwerkkaarten ingebouwd?
Yup, 1 onboard en 1 extra netwerk kaart. De machine functioneert ook als router. Eén netwerk kaart is verbonden met de modem (ziggo/ubee modem) de andere netwerk kaart is verbonden met het LAN via een switch (8 poorten).

Mijn nas had ik ubuntu op gezet, 1 netwerkkaart had alleen een goede driver voor windows(bsd werkte wel goed).
Bij het kopieren van 30 Gb bleef hij hangen.
Zelf doe ik altijd 30Gb in par files overkopieren(6xdvd film) om dan te parren en te kijken of er iets niet klopt, zo een lichte fout heb ik eens in windows gehad met een netwerk.
Op zich zijn de netwerkkaarten wel in orde, grote bestanden kopieeren gaat zonder vastlopen. Maar... net even een test gedaan naar aanleiding van je post. Een avi-bestand van 8GB gekopieerd (ctrl+C, ctrl+V) en de bestanden zijn verschillend. Het gekopieerde bestand heeft meer bytes en de filmduur wordt als 3 sec langer weer gegeven. Vreemd!

edit:
De torrent die je download en direct toevoegt(en welke niet werkt), met welke programma download je die.
Indien met firefox download, firefox verwijderen, dan de verborgen firefox map verwijderen, dan weer opnieuw installeren.
Het downloaden werkt dus wel, alleen als je op een andere manier deze erin zet, dus je netwerkkaart is denk ik dus toch goed.

Ik download inderdaad meestal met Firefox. Maar het probleem treedt ook op bij Google Chrome.  Net een aantal testjes gedaan: kubuntu iso torrent via firefox gaat goed, via Chrome gaat ie fout. Een andere torrent via Firefox gaat weer niet goed...


Wat voor filesysteem gebruik je op die NAS ?
Gebruik je EXT2, EXT3 of EXT4 ?
Ik denk namelijk dat hier je probleem zit.
Ik gebruik EXT3 op de server. Zou het hier kunnen zitten?

Of je hebt je NAS draadloos aan het internet hangen, waarbij de pakketten niet volledig binnenkomen. ?
Nee, alles bekabeld via 1Gbit netwerk.

Last but not least zou het aan je modem/router kunnen liggen.
De meeste merken hebben zeer beperkt geheugen wat volloopt na een tijdje gebruik, ( afhankelijk van de hoeveelheid data, iedere 1 a 2 weekjes)

Oplossing hiervoor is het apparaat uit te zetten en weer aan te zetten. <Powerup)

Dit heb je te danken aan brakke firmware die het geheugen niet kan flushen.
Bij sommige merken kan je de log (dus het geheugen) dumpen naar een pc op je netwerk,
hiervoor moet je een IP adres invullen.
Het hoeft niet perse een bestaande pc te zijn omdat dit toch niet gecontroleerd word door de firmware.
De config is alsvolgt:
Internet (Ziggo) -> Ubee modem ->15m UTP-> Ubuntu Server NIC1, als Router/DHCP ->Ubuntu Server NIC2 ->10m UTP-> 8 poort Switch -> LAN (Printer, nettop, desktop, laptop). Alles bekabeld.

Zou het iets met de samba config te maken kunnen hebben?
Voor de NAS heb ik dit in de config staan:[NAS]
writeable = yes
path = /mnt/raidarr
force group = ponq
force user = ponq
comment = Onze NAS
create mode = 777
public = yes
guest only = yes
directory mode = 777
available = yes

Offline AptlyNamed

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #4 Gepost op: 2010/03/07, 21:13:54 »
kijk eens in de systeemlogs van de server. Ik gebruik dit scriptje  (als root) voor een snelle check:

find /var/log/* -type f -regex '[^0-9]+$'  -print0 \
 | xargs -0  egrep -ri '.*(missing|error|fail|\s(not|no .+) found|(no |not |in)valid|fatal|conflict|problem|critical|corrupt|warning|wrong|illegal|segfault|\sfault|caused|\sunable|\(EE\)|\(WW\))' \
 | more


Offline Gandyman

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #5 Gepost op: 2010/03/08, 16:15:22 »
Deze config snap ik niet helemaal ??

Citaat
De config is alsvolgt:
Internet (Ziggo) -> Ubee modem ->15m UTP-> Ubuntu Server NIC1, als Router/DHCP ->Ubuntu Server NIC2 ->10m UTP-> 8 poort Switch -> LAN (Printer, nettop, desktop, laptop). Alles bekabeld.

Met name dit stukje is onlogisch ??

Citaat
Internet (Ziggo) -> Ubee modem ->15m UTP-> Ubuntu Server NIC1, als Router/DHCP ->Ubuntu Server NIC2 ->

Na een router met of zonder dhcp zet je in principe altijd eerst een switch.
En ook al heb je een DHCP draaien op je netwerk kan je altijd de range krap bepalen zodat je genoeg IP adressen overhoud voor PCtjes met een vast IP adres.....

Geen idee waarvoor je die Ubuntu Server NIC2 gebruikt ??
I don't suffer from insanity, I enjoy every minute of it.
Microsoft geeft je een raam, Linux geeft je een heel huis :D

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #6 Gepost op: 2010/03/08, 16:24:30 »
kijk eens in de systeemlogs van de server. Ik gebruik dit scriptje  (als root) voor een snelle check:

find /var/log/* -type f -regex '[^0-9]+$'  -print0 \
 | xargs -0  egrep -ri '.*(missing|error|fail|\s(not|no .+) found|(no |not |in)valid|fatal|conflict|problem|critical|corrupt|warning|wrong|illegal|segfault|\sfault|caused|\sunable|\(EE\)|\(WW\))' \
 | more


Bedankt. Zal ik vanavond doen, als ik thuis ben.

Deze config snap ik niet helemaal ??
NIC1 richting Modem ('extern' 84.xx ziggo IP adres)
NIC2 richting LAN (192.168 range)

NIC1 is dus vanaf het internet te benaderen. NIC2 alleen vanaf het LAN.

Na een router met of zonder dhcp zet je in principe altijd eerst een switch.
(...)
Geen idee waarvoor je die Ubuntu Server NIC2 gebruikt ??
NIC2 is verbonden met de Switch. De server = de router.

Of zie ik dat verkeerd?

Offline jan11000

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #7 Gepost op: 2010/03/08, 16:25:58 »
Draai de funktie eens om van de netwerkkaarten.

Kopieer eens 30Gb over elke netwerkkaart.
Dus rar en par een film, kopieer deze in een map, maak meerdere mappen totdat je 30Gb hebt. Kopieer dit eens over elke netwerkkaart, en doe dan de par2 check.

Offline Gandyman

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #8 Gepost op: 2010/03/08, 17:11:25 »
Aha ik snap hem..  ;)

Dus alsvolgt
Internet (Ziggo) -> Ubee modem ->15m UTP-> op NIC1 <Ubuntu Server als Router/DHCP > uitgang op NIC2 ->8 poort Switch -> LAN (Printer, nettop, desktop, laptop).

Let wel als jij files over je eigen netwerk smijt dan heeft de server-router hier nix mee te maken, sterker nog, hij bemoeit zich hier niet of nauwelijks mee.

Al je data gaat over de switch van-naar pc.
In dit geval zijn dus je draden en de switch je bottleneck.

Als je corruptie hebt op je data dat licht dit dus aan de bedrading of aan je switch.
Lopen de draden langs 230V draden?, Langs voeding adapters die in het stopkontakt zitten?
Zijn de draden goed aangesloten in de stekkertjes ? mocht je dit zelf gemaakt hebben ?

Last but least, bekijk eens of je NIC's goed herkend worden en of de juiste driver gebruikt word.
Heb je goedkope consumenten NIC's gekocht gooi deze dan weg.

Koop vervolgens Intel Pro Gig. netwerkkaarten daar ga je veel plezier aan beleven.
I don't suffer from insanity, I enjoy every minute of it.
Microsoft geeft je een raam, Linux geeft je een heel huis :D

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #9 Gepost op: 2010/03/09, 10:04:13 »
Gisteren de logs bekeken: ik ben daar niet heel vaardig in, maar zag niet direct dingen die mij opvielen mbt de schijven/netwerk kaarten (anders dan dat het tijd was voor een periodieke fs check). Wat ik wel zag was dat er een bot actief was met het proberen in te loggen via ssh. Om de seconden een login poging met een andere username en leeg wachtwoord.

Ook een 700 mb bestand gepar-ed, gekopieerd en gecheckt. Ging goed, geen par-fouten hier. 700mb is niet de 30gb, daar had ik gisteren nog geen tijd voor. Hoop dat binnenkort nog eens te doen.

ondertussen ook bezig om ubuntu-desktop te installeren zodat ik met vnc4 de server kan besturen.

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #10 Gepost op: 2010/03/09, 12:10:59 »
In dit geval zijn dus je draden en de switch je bottleneck.
Mijn gevoel zegt dit ook. Doe eens een fysieke kabelcheck, met je vingers, over de volle lengte. Toevallig een loslopend konijn in huis? :-)
https://allesgimpofbijna.wordpress.com - GIMP en omstreken
https://paulsphotopalace.wordpress.com (Engelstalig) - Raw, RawTherapee, G'MIC, GIMP...

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #11 Gepost op: 2010/03/09, 12:59:03 »
Serieus? Ik had t idee dat een kabel verbinding heeft, of niet. Binair dus. Niet een beetje en/of af en toe. Maar goed, als je onderstaande leest zal iets met de kabels best eens de oorzaak kunnen zijn:

Ik zal dat dan eens gaan checken, want dat zou best de oorzaak kunnen zijn. Ik heb de kabels namelijk langs de muur lopen en ook tussen twee deuren door. Met een beetje druk krijg je de deur nog dicht. Inmiddels zijn de kabels zodanig geplet dat het prima past...

maar wat ik dan nog steeds niet snap:
Een torrent-bestand wat ik op mn desktop download is OK. Dat bestand komt via via binnen. Namelijk, via de modem -> server -> desktop. Dus ook door alle kabels. Logisch gezien zouden de kabels dan toch in orde moeten zijn?

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #12 Gepost op: 2010/03/09, 13:57:34 »
Nee, een kabel is een heel analoog ding, waar elektromagnetische krachten een hoofdrol spelen. Kabels zijn meervoudig afgeschermd om interne en externe velden te scheiden. Een lichte knik kan al voldoende zijn om lekkage te veroorzaken, waardoor een extern magnetisch veld je datasignaal kan gaan beïnvloeden. Berucht zijn liftschachten naast de serverruimte, nooit doen! In de netwerkwereld geldt het credo: "Bij problemen éérst de kabels testen!" Dat is echt niet voor niets. Als ik jou was, zou ik je pc's/servers eens naast elkaar zetten met die switch ertussen en dan met twee korte UTP-kabels (liefst kant-en-klaar gekocht) die torrent-transfers nog eens proberen. Redelijke kans dat het nu wel goed gaat. Als dat toch niet zo is, moet je verder zoeken.

Groet, Paul.
https://allesgimpofbijna.wordpress.com - GIMP en omstreken
https://paulsphotopalace.wordpress.com (Engelstalig) - Raw, RawTherapee, G'MIC, GIMP...

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #13 Gepost op: 2010/03/09, 14:14:52 »
Dank je Paul, dat kan ik makkelijk en snel testen. Zal dat vanavond direct even doen!

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #14 Gepost op: 2010/03/10, 22:07:48 »
Helaas, de kabel lijkt het toch niet te zijn.

Wat heb ik gedaan:
-kabel van server naar switch lost gehaald.
-nieuwe kabel van server naar desktop.

-torrent file gedownload, browsed op de desktop, maar opslaand op de server -> corrupte torrent
-torrent file opgeslagen op de lokale schijf va nde desktop en dan toe gevoegd aan fluxtorrent (op de server) -> correcte torrent.

Offline Paul Matthijsse

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #15 Gepost op: 2010/03/10, 23:47:00 »
Helaas, de kabel lijkt het toch niet te zijn.
Dit is vooruitgang, gaan we (jij dus vooral!) zoeken waar dit gekke probleem dan wel vandaan komt. Ik blijf deze draad nieuwsgierig volgen. Ext3 is volgens mij niet de oorzaak (vroeg me in het begin idd af of je ext4 draaide, maar niet dus). Die grote bestanden dan misschien, je had het over hoeveel, 8 GB, of gewone Linux iso's van < 700 MB? Of 30 GB? Niettemin moet je dit allemaal gewoon zonder problemen kunnen overzetten. Kortom, interessant probleem waar ongetwijfeld een oplossing/workaround voor bestaat, je moet alleen even verder proberen/prutsen/uitzoeken/etc.
https://allesgimpofbijna.wordpress.com - GIMP en omstreken
https://paulsphotopalace.wordpress.com (Engelstalig) - Raw, RawTherapee, G'MIC, GIMP...

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #16 Gepost op: 2010/03/16, 11:50:37 »
Zo, ik heb voor een rigoreuze aanpak gekozen. Webmin als interface is prima, maar ook weer wat beperkt. Heb nu een reinstall van de server gedaan (9.10 ubuntu server) en daar ubuntu-desktop bij geinstalleerd. De server is even niet meer headless ;) Plan is om m later te bedienen via VNC (al getest en werkt prima voor mijn thuis-server oplossing).

Raid array vannacht gecheckt: helemaal OK. Geen probleem met de schijven dus.

Ga binnenkort de array weer mounten om te kijken of het corrupte-bestanden verhaal nog steeds bestaat.

Offline Gandyman

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #17 Gepost op: 2010/03/16, 12:28:37 »
Vreemd dat je Webmin beperkt vind ?
Er is namelijk nix wat je niet kan doen in Webmin.
Ik denk dat je het programma nog niet helemaal kent..  XD
I don't suffer from insanity, I enjoy every minute of it.
Microsoft geeft je een raam, Linux geeft je een heel huis :D

Offline Auke Haarsma

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #18 Gepost op: 2010/03/16, 12:50:48 »
Ha klopt, heb n jaar lang prima met Webmin uit de voeten gekunt.

Lastigste vond ik de beperkte 'terminal'. Waarschijnlijk zul je nu roepen dat ik dat via SSH had moeten doen. En daar heb je gelijk in. Ik probeer veel via de CLI, maar blijf toch stiekem een GUI handiger vinden ;) Heb even voor de voor mij makkelijke weg gekozen.

Offline Gandyman

  • Lid
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #19 Gepost op: 2010/03/17, 09:48:22 »
Is ook nix mis mee  ;)
I don't suffer from insanity, I enjoy every minute of it.
Microsoft geeft je een raam, Linux geeft je een heel huis :D

Offline DarkStar

  • Lid
    • Mijn persoonlijke website
  • Steunpunt: Nee
Re: Bestanden corrupt op Ubuntu Server NAS
« Reactie #20 Gepost op: 2010/03/19, 10:01:06 »
Wat ik wel zag was dat er een bot actief was met het proberen in te loggen via ssh. Om de seconden een login poging met een andere username en leeg wachtwoord.

Een beetje offtopic en een wat late reactie, maar het is toch niet normaal dat je continue inlogpogingen hebt via SSH? Het lijkt wel alsof iemand toegang probeert te krijgen tot je server? Door constant de verbinding op die manier te belasten kunnen gedownloade bestanden ook corrupt geraken omdat er te veel pakketten verloren geraken.
Staat er nog een firewall tussen je server en het internet? Lijkt me wel handig om SSH toegang vanaf het internet naar je server te blokkeren als je het zelf niet nodig hebt.

° Bezoek mijn blog Digital (in)Sanity °