Nieuws:

Welkom, Gast. Alsjeblieft inloggen of registreren.
Heb je de activerings-mail niet ontvangen?

Auteur Topic: Spoed! Segmentation Fault bij het opstarten van server  (gelezen 11028 keer)

Offline Lars

  • Lid
    • Tuxplace.nl
Spoed! Segmentation Fault bij het opstarten van server
« Gepost op: 2009/10/10, 14:13:28 »
Ik hoop dat jullie mij hiermee kunnen helpen.

Op mijn server heb ik bij het booten ineens een segfault. Het kwam aan het licht toen ik probeerde in te loggen via SSH, wat niet lukte. Als reactie daarop heb ik hem maar gereboot, en bij het booten kwam hij niet verder dan

Starting system log daemon... [OK]
Segmentation Fault
Starting kernel log daemon...

Verder komt ie niet. Als ik switch naar TTY2 (wnat TTY1 is nog niet geladen) dan kan ik proberen in te loggen. Ik voer mijn gebruikersnaam en wachtwoord in en ik krijg het riedeltje te zien van Ubuntu dit en dat, you have mail. Ik verwacht ingelogt te zijn maar opnieuw komt er te staan: LARS-SERVER TTY2 login:

en ik kan weer opnieuw inloggen. Op een gegeven moment komt hij wel verder, en is TTY1 ook geladen, maar inloggen ho maar. Wat is het probleem?

Als ik (met webmin, daar kom in nog wel in) kijk in auth.log zie ik ook steeds dit:

Citaat
Oct 10 14:13:28 LARS-SERVER login[6853]: pam_unix(login:session): session opened for user lars by LOGIN(uid=0)
Oct 10 14:13:28 LARS-SERVER login[6853]: pam_unix(login:session): session closed for user lars

Ik ben de server weer nodig, dus als iemand een oplossing weet, graag.

Alvast bedankt.
« Laatst bewerkt op: 2009/10/10, 14:16:14 door Lars »

Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #1 Gepost op: 2009/10/10, 14:14:45 »
Start eens op in de recovery mode, dan zie je de output van alle programma's.

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #2 Gepost op: 2009/10/10, 14:17:33 »
Bedankt voor je snelle reactie.

Dat heb ik al geprobeerd. Ook daar komt hij niet verder, weer Segmentation Error. Waar kan dit aan liggen? Als ik op Segmentation Error google kom ik de hele tijd uit op mensen die dit probleem hebben met een zelfgemaakt script of programma.

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #3 Gepost op: 2009/10/10, 14:40:32 »
Ik heb misschien een idee waar het aan kan liggen. Een tijdje geleden ben ik bezig geweest met het installeren van BackupPC (zie http://forum.ubuntu-nl.org/software-en-configuratie/fout-bij-installeren-backuppc/). Het wilde niet lukken, omdat hij /usr/bin zag als onveilig ofzo (ik weet het niet precies, het is ook nogsteeds niet opgelost, maar ik heb er ook nog niks mee gedaan verder). Ik heb toen o.a. de permissies van /usr/bin veranderd naar 755. Ik had toen al het probleem dat sudo niet meer werkte, dat heb ik opgelost door /etc/sudoers weer de goede permissies te geven. Maar kan dit hieraan liggen? Zoja, hoe repareer ik het?

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #4 Gepost op: 2009/10/10, 15:19:11 »
Iemand? Sorry dat ik al zo snel kick, maar het is echt belangrijk. Op internet kan ik er niks over vinden. Kan het inderdaad aan de permissies liggen? Hoe kan ik dit oplossen?


Offline ivo

  • Lid
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #5 Gepost op: 2009/10/10, 15:54:05 »
Start op van de live CD en voer een memorytest uit.
Lees ondertussen onderstaande.


http://www.cyberciti.biz/tips/segmentation-fault-on-linux-unix.html
There are only 10 types of people in the world; those who understand binary and those who don't.

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #6 Gepost op: 2009/10/10, 16:13:08 »
Ook dat artikel heb ik al gelezen.

Citaat
a) A buggy program / command, which can be only fixed by applying patch.
Ik heb nieuwe programma's geinstalleerd, waaronder BackupPC en de prerequisites daarvan.

Citaat
b) It can also appear when you try to access an array beyond the end of an array under C programming.
Dat gaat dus over programmeren...

Citaat
c) Inside a chrooted jail this can occur when critical shared libs, config file or /dev/ entry missing.
En dat betekent?

Citaat
d) Sometime hardware or faulty memory or driver can also create problem.
Hier had ik overheen gelezen. Ik zal zometeen even een memtest draaien (is geinstalleerd, kan ik vanuit Grub kiezen)

Citaat
e) Maintain suggested environment for all computer equipment (overheating can also generate this problem).
Ik heb een tijdje geleden de CPU-koeler opnieuw gemonteerd (anders kon ik geen schijven verwisselen, tja micro-atx case hè), maar oververhitting kan het niet zijn omdat volgens sensors de CPU 40 graden is.

EDIT: Ik ga er nu wel vanuit dat deze 2 problemen (de error Segmentation Fault, en niet in kunnen loggen) met elkaar te maken hebben. Maar kan het ook zijn dat dit niet zo is? Ik ben er al achter dat het login probleem dat ik heb een 'login loop' is. Ik vind echter nergens een oplossing.

EDIT: Al 3 passes gedaan en nog geen errors. Bijna 2 uur al gedraaid dus, moet ik nog doorgaan?
« Laatst bewerkt op: 2009/10/10, 17:58:45 door Lars »

Offline track

  • Lid
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #7 Gepost op: 2009/10/10, 19:18:07 »
Lars, de memtest blijkt dus goed te gaan.

"Segmentation fault" heb je normaal alleen als iets echt mis gaat, dat een progje ergens probeert te zijn
waar het echt niet hoort te zijn.  Meestal als het stuk is dus.

Misschien is een  fsck vanaf een live-CD hier het beste om te zien of er soms iets bij de bestanden mis is.
(leesfout vean de schijf !)  En misschien ook de SATA- verbindingen nog eens controleren...
De verhalen omtrent "buggy program" zijn er volgens mij niet relevant, wij zijn immers niet aan het programmeren.

track

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #8 Gepost op: 2009/10/10, 19:35:16 »
Al 6 passes, geen errors.

Ook jij bedankt voor je reactie, Track.

Een fsck vanaf live cd heb ik al geprobeerd. Hij was clean.

Ik heb 1 sata-schijf, en dat is een extra data-schijf waarop geen programma's staan. Deze heb ik trouwens Dinsdag aangesloten, maar daar mag het niet aan liggen omdat Dinsdag en Woensdag alles nog werkte.
De andere schijf is IDE (UDMA).

Zoals ik al zei is de computer Dinsdag dus wel open geweest en toen moest ik ook de CPU-koeler hermonteren. Maar Woensdag heb ik nog gewoon ingelogd, en Donderdag en Vrijdag ben ik niet met de server bezig geweest.

Even dit weer ter informatie:

Citaat
Oct 10 19:57:12 LARS-SERVER console-kit-daemon[6182]: WARNING: Unable to activate console: No such device or address
Oct 10 19:58:48 LARS-SERVER init: tty1 main process ended, respawning
staat in /var/log/daemon.log.

Citaat
Oct 10 19:57:11 LARS-SERVER login[6940]: pam_unix(login:session): session opened for user lars by LOGIN(uid=0)
Oct 10 19:57:12 LARS-SERVER login[6940]: pam_unix(login:session): session closed for user lars
staat in /var/log/auth.log
« Laatst bewerkt op: 2009/10/10, 20:01:07 door Lars »

Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #9 Gepost op: 2009/10/10, 20:26:31 »
Hallo Lars, je moet /var/log/syslog checken. In /var/log/auth.log of daemon.log zul je niks vinden.

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #10 Gepost op: 2009/10/10, 20:35:01 »
Er staat ongeveer dezelfde 'interessante' meldingen in, en voor de zekerheid heb ik de laatste 50 regels maar gepost:

Oct 10 19:46:37 LARS-SERVER nagios3: Local time is Sat Oct 10 19:46:37 CEST 2009
Oct 10 19:46:37 LARS-SERVER nagios3: LOG VERSION: 2.0
Oct 10 19:46:37 LARS-SERVER nagios3: Finished daemonizing... (New PID=6544)
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): device state change: 1 -> 2
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): bringing up device.
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): preparing device.
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): deactivating device (reason: 2).
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  Unmanaged Device found; state CONNECTED forced. (see http://bugs.launchpad.net/bugs/191889)
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  Unmanaged Device found; state CONNECTED forced. (see http://bugs.launchpad.net/bugs/191889)
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): carrier now ON (device state 2)
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): device state change: 2 -> 3
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  Unmanaged Device found; state CONNECTED forced. (see http://bugs.launchpad.net/bugs/191889)
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): carrier now OFF (device state 3)
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): device state change: 3 -> 2
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  (eth1): deactivating device (reason: 0).
Oct 10 19:46:39 LARS-SERVER NetworkManager: <info>  Unmanaged Device found; state CONNECTED forced. (see http://bugs.launchpad.net/bugs/191889)
Oct 10 19:46:40 LARS-SERVER nm-system-settings: Adding default connection 'Auto eth1' for /org/freedesktop/Hal/devices/net_00_01_02_df_18_db
Oct 10 19:46:41 LARS-SERVER anacron[6679]: Anacron 2.3 started on 2009-10-10
Oct 10 19:46:41 LARS-SERVER anacron[6679]: Normal exit (0 jobs run)
Oct 10 19:46:41 LARS-SERVER /usr/sbin/cron[6730]: (CRON) INFO (pidfile fd = 3)
Oct 10 19:46:41 LARS-SERVER /usr/sbin/cron[6731]: (CRON) STARTUP (fork ok)
Oct 10 19:46:42 LARS-SERVER /usr/sbin/cron[6731]: (CRON) INFO (Running @reboot jobs)
Oct 10 19:49:03 LARS-SERVER citadel: CtdlLoginExistingUser((null), Gerard)
Oct 10 19:57:12 LARS-SERVER init: tty1 main process ended, respawning
Oct 10 19:57:12 LARS-SERVER console-kit-daemon[6182]: WARNING: Unable to activate console: No such device or address
Oct 10 19:58:48 LARS-SERVER init: tty1 main process ended, respawning
Oct 10 19:59:03 LARS-SERVER citadel: CtdlLoginExistingUser((null), Gerard)
Oct 10 20:00:19 LARS-SERVER citadel: CtdlLoginExistingUser((null), lars)
Oct 10 20:02:01 LARS-SERVER /USR/SBIN/CRON[7761]: (root) CMD (if [ -x /usr/sbin/pg_maintenance ]; then /usr/sbin/pg_maintenance --analyze >/dev/null; fi)
Oct 10 20:03:32 LARS-SERVER citadel: CtdlLoginExistingUser((null), lars)
Oct 10 20:08:11 LARS-SERVER citadel: CtdlLoginExistingUser((null), lars)
Oct 10 20:09:01 LARS-SERVER /USR/SBIN/CRON[8047]: (root) CMD (  [ -x /usr/lib/php5/maxlifetime ] && [ -d /var/lib/php5 ] && find /var/lib/php5/ -type f -cmin +$(/usr/lib/php5/maxlifetime) -print0 | xargs -n 200 -r -0 rm)
Oct 10 20:09:03 LARS-SERVER citadel: CtdlLoginExistingUser((null), Gerard)
Oct 10 20:14:02 LARS-SERVER citadel: CtdlLoginExistingUser((null), lars)
Oct 10 20:15:22 LARS-SERVER citadel: CtdlLoginExistingUser((null), lars)
Oct 10 20:16:01 LARS-SERVER /USR/SBIN/CRON[8290]: (asterisk) CMD (/var/lib/asterisk/bin/freepbx-cron-scheduler.php)
Oct 10 20:16:02 LARS-SERVER /USR/SBIN/CRON[8278]: (asterisk) MAIL (mailed 600 bytes of output but got status 0x0006 )
Oct 10 20:17:01 LARS-SERVER /USR/SBIN/CRON[8444]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Oct 10 20:19:03 LARS-SERVER citadel: CtdlLoginExistingUser((null), Gerard)
Oct 10 20:19:12 LARS-SERVER citadel: CtdlLoginExistingUser((null), lars)
Oct 10 20:24:03 LARS-SERVER citadel: CtdlLoginExistingUser((null), lars)
Oct 10 20:24:59 LARS-SERVER citadel: 1 unique messages to be merged
Oct 10 20:25:01 LARS-SERVER /USR/SBIN/CRON[8687]: (www-data) CMD (/var/lib/asterisk/bin/freepbx-cron-scheduler.php)
Oct 10 20:25:02 LARS-SERVER /USR/SBIN/CRON[8680]: (www-data) MAIL (mailed 77 bytes of output but got status 0x0006 )
Oct 10 20:28:17 LARS-SERVER citadel: 1 unique messages to be merged
Oct 10 20:28:48 LARS-SERVER citadel: 1 unique messages to be merged
Oct 10 20:29:03 LARS-SERVER citadel: CtdlLoginExistingUser((null), Gerard)
Oct 10 20:31:02 LARS-SERVER citadel: 1 unique messages to be merged
Oct 10 20:34:03 LARS-SERVER citadel: CtdlLoginExistingUser((null), lars)
Oct 10 20:34:22 LARS-SERVER citadel: 1 unique messages to be merged
« Laatst bewerkt op: 2009/10/10, 23:04:00 door Lars »

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #11 Gepost op: 2009/10/10, 20:44:18 »
Hmm, het is dan wel een server, maar met het server-gebeuren en het netwerk-gebeuren zelf heeft het niet zo veel te maken, wel?

Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #12 Gepost op: 2009/10/10, 21:33:02 »
Wat draait er allemaal op eigenlijk? Wat is citadel voor iets? En ik zie geen segfaults. Kun je daar niet op greppen? Op dingen als error, warning, bug, fault, segmentation. Roep maar wat hoor.

Offline track

  • Lid
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #13 Gepost op: 2009/10/10, 22:06:03 »
Ik krijg een beetje de indruk dat de kernel stuk is.  Hij vindt zelfs de meest elemetaire dingen niet meer:
Citaat
Oct 10 19:57:12 LARS-SERVER console-kit-daemon[6182]: WARNING: Unable to activate console: No such device or address
Oct 10 19:58:48 LARS-SERVER init: tty1 main process ended, respawning
Als je nog een oude kernel hebt staan (op grub ) zou je die even proberen ?
Anders heb ik verder geen duidelijk idee. 
Ik zelf zou eerst het begin van de ellende op de /var/log/syslog bekijken, want volgens mijn gis zal daar nog het eerst iets te vinden zijn.
(maar, mik dat nu niet in een citaat !  anders staan hier 4 bladzijden vol -  alleen in een Extra öptie ... bijlage, hoor !)

track

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #14 Gepost op: 2009/10/10, 23:02:56 »
@AutoStatic:
Ja, dat Segmentation Fault krijg ik enkel één keer bij het opstarten. Verder niet. Maar zoals ik al eerder zei, kan het ook dat het niks met elkaar te maken heeft? Dus dat de login loop ergens anders van komt?

De server is een homeserver met deze functies:
- Files (Samba)
- Mailserver (Citadel)
- Telefooncentrale (Asterisk)
- FTP server (Pro-FTP-D)
- DNS server (BIND)
- Download (Transmission)
- TV mediacenter (MythTV)
- Tijd-server (NTPD)

Natuurlijk worden deze functies niet altijd allemaal tegelijk gebruikt.

@track: Ja er staan oude kernels op. Ik heb de op-een-na laatste al geprobeerd, ook daar kreeg ik een Segmentation Fault. Ik zal even nóg oudere proberen.

Ow, bij mij past het op 1 pagina. Maar ik heb het nu in een codebox gezet.

EDIT: nu 2.6.27.9 aan het booten, krijg ook een segmentation error. Even wachten (ja, nu hangt hij de hele tijd) en dan kijken of ik wél kan inloggen...
EDIT: Nee, kan niet inloggen. Bij 2.6.27.7 hetzelfde.
« Laatst bewerkt op: 2009/10/11, 10:45:35 door Lars »

Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #15 Gepost op: 2009/10/10, 23:09:05 »
En hoever kom je met opstarten? Kun je inloggen, kun je iets doen? Is het mogelijk services uit te zetten, indien mogelijk allemaal, en ze dan één voor één weer aan te zetten (hopelijk heb je sysv-rc-conf geïnstalleerd)? En we hebben data nodig uit je logs, kun je dat posten? Hoe meer info, hoe sneller het opgelost kan worden.


Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #17 Gepost op: 2009/10/11, 10:45:04 »
En hoever kom je met opstarten? Kun je inloggen, kun je iets doen? Is het mogelijk services uit te zetten, indien mogelijk allemaal, en ze dan één voor één weer aan te zetten (hopelijk heb je sysv-rc-conf geïnstalleerd)? En we hebben data nodig uit je logs, kun je dat posten? Hoe meer info, hoe sneller het opgelost kan worden.
Hij start eigenlijk gewoon volledig op. Zoals je al makkelijk had kunnen lezen lukt het inloggen echter niet, dat is het grote probleem. Ik krijg een zogenaamde 'login loop'.

Welke logs ben je nodig? Ik heb al een stuk uit syslog gepost, en een paar interessante regels uit messages en auth.log.

Ik heb sysv-rc-conf geinstalleerd, maar kan deze niet gebruiken omdat ik niet kan inloggen. Tja...
Wel heb ik webmin geinstalleerd en werkend, misschien kan ik daar iets mee aanvangen?

Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #18 Gepost op: 2009/10/11, 11:32:38 »
SSH lukt ook niet? Webmin heb ik nooit gebruik dus daar kan ik je niet mee helpen. /var/log/syslog moet je hebben.
Er is iets met je root account denk ik, aangezien je ook niet in recovery mode kan opstarten, heb je daar wat aan veranderd?

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #19 Gepost op: 2009/10/11, 12:54:54 »
Het zou misschien handig zijn als je eventjes het topic rustig doorleest, sommige vragen heb ik al beantwoord. SSH lukt niet, en de laatste 50 regels van /var/log/syslog heb ik al gepost.

Ik kan niet inloggen met root, en ook niet met andere (normale) accounts.

Ik heb een tijdje geleden iets veranderd met de rechten van /usr/bin, kan het daar aan liggen?

Offline track

  • Lid
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #20 Gepost op: 2009/10/11, 13:50:46 »
Lars: ik had je gevraagd om de volledige  /var/log/syslog  (vooral het begin van de ellende !)
ook te posten.  zonder zie ik geen aanpak.

track

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #21 Gepost op: 2009/10/11, 14:29:08 »
Ow, zoals je wilt, ik heb hem in een bijlage gezet.
« Laatst bewerkt op: 2009/10/11, 14:35:17 door Lars »

Offline ertai

  • Lid
    • programming
    • http://www.ertai.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #22 Gepost op: 2009/10/11, 14:34:22 »
je attachment is leeg. Ik denk dat er wat fout is gegaan. kan je het opnieuw proberen?
Is je vraag opgelost? Markeer het als [OPGELOST] in de titel van je bericht!

Offline Lars

  • Lid
    • Tuxplace.nl
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #23 Gepost op: 2009/10/11, 14:35:08 »
Er is idd wat fout gegaan, ik het de goede nu geupload.

Offline track

  • Lid
Re: Spoed! Segmentation Fault bij het opstarten van server
« Reactie #24 Gepost op: 2009/10/11, 15:01:46 »
Als ik jouw syslog bekijk vind ik alleen dat hij netjes draait, tenminste sinds  7:40 u.
Geen enkele fout, geen waarschuwing.  Wat is er eigenlijk nu mis, zou je zeggen.

Of, weet je een tijd wanneer er die "segfault" is opgetreden ?
Nu zie ik hier geen hint dat er iets mis zou zijn.  Maar er staat ook geen opstartprocedure bij.
(waarschijnlijk werd dat gedeelte nu al naar het bestand  /var/log/syslog.0 verschoven, de backup dus)

Zou je dat opzoeken ?  Of je start nu de boel nog een keer op dat wij de fouten kunnen verifiëren.

track