Raid 5 array niet toegankelijk in Ubuntu 11.10 server

[Henk2012]

Hallo,

Ik heb een server gebouwd en daarop geinstalleerd Ubuntu 11.10 server.

Configuratie:
Intel 2120T met 8 GB geheugen
1 x SSD 60 GB voor het besturingssysteem
4 x HD 2 TB voor opslag

Ik heb 1 volumegroep gemaakt (homeserver) met daarin de fysieke volumes sda5 (SSD) en md0 (raid5).
sda5 bestaat uit de logische volumes:
Root 20 GB
Swap 8 GB
Home 27 GB

md0 bestaat uit 4 HD, sdb1 tm sde1

Ik heb de volgende vragen:
1) De SSD is toegankelijk, maar de HD's in raid 5 niet, hoe kan ik dit oplossen?
2) Is het goed om sda5 en md0 in dezelfde volumegroep te plaatsen?
3) Moet ik nog meer partities aanmaken (bijv swap) in sdb1 tm sde1?

Alvast bedankt voor uw hulp.

Gr Henk

[Johan van Dijk]

1: Is het een software raid via mdadm of iets anders? (een echte hardware kaart ofzo)
In het eerste geval, kijk eens via cat /proc/mdstat of de array wel draait. Zo ja, dan moet je verder met lvm aan de slag.
Zo niet, dan moet dat eerst opgelost worden.

2: Ik zou de SSD helemaal niet via LVM indelen. Het risico is namelijk vrij groot dat je door de extra laag die LVM is de alignment van je SSD verpest. En dat is niet goed voor de prestaties. Verder zou ik ook helemaal geen swap partitie aanmaken. Je kan beter de root iets groter maken en in de root een swap bestand aanmaken. Dat is flexibeler.

3: nee, dat is niet nodig.

[Henk2012]

Beste Johan,

Bedankt voor je reactie.

1) Dit is een software raid die ik tijdens het installatieproces heb aangemaakt.
 cat /proc/mdstat geeft als resultaat:

Personalities :  [lineair] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 :    active raid5 sdc1[1] sdd1[2] sde1[3] sdb1[0]
   5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]
unused devices:  <none>

Hoe kan ik hier het beste mee verder gaan?

2) Mee eens. Ik maak /root dan 30 GB groot, de overige ruimte gebruik ik voor /home voor bijvoorbeeld een download directory. Hoe kan ik een swap bestand aanmaken?

3) Oke

Alvast bedankt voor je reactie.
Gr Henk.

[Johan van Dijk]

De raid draait, dus dan moet je verder kijken naar LVM.
Begin met de volgende commando's om te kijken wat je aan fysieke en logische volumes hebt:
sudo pvs
sudo pvscan
sudo vgs
sudo vgscan
sudo lvs
sudo lvscan
Zie het commando man lvm voor meer opties en uitleg.

Andere handige commando's om evt. fouten te zoeken:
dmesg |less (heel veel info, ook gewone meldingen. niet alles zijn fouten. afsluiten met q)
sudo blkid

Deze commando's doen verder niks, ze geven alleen informatie over de volumes die je al dan niet hebt. Je hoeft niet alles te plaatsen, maar de belangrijkste gegevens en foutmeldingen zijn wel handig.

2: swap bestand maken: http://wiki.ubuntu-nl.org/community/Swapveelgesteldevragen#Hoe_kan_ik_het_wisselgeheugen_uitbreiden.3F

[lord4163]

Voordat je alles opzet is het misschien verstandiger om naar 12.04 te upgraden

Om iedereen toegang te geven:

chmod a+rwx /pad/naar/md0

[Johan van Dijk]

Voordat je alles opzet is het misschien verstandiger om naar 12.04 te upgraden

Om iedereen toegang te geven:

chmod a+rwx /pad/naar/md0

NEE
Dat is nergens voor nodig, helpt helemaal niets en is levensgevaarlijk!
De rechten op device files helemaal open zetten is een slecht idee

[Henk2012]

Beste Johan,

Bedankt voor je reactie.

1) De commando's die je opsomt geven de volgende resultaten:

> sudo pvs
  PV         VG         Fmt  Attr PSize  PFree 
  /dev/md0   Homeserver lvm2 a-    5,46t  44,00m
  /dev/sda5  Homeserver lvm2 a-   55,66g 744,00m

> sudo pvscan
  PV /dev/sda5   VG Homeserver   lvm2 [55,66 GiB / 744,00 MiB free]
  PV /dev/md0    VG Homeserver   lvm2 [5,46 TiB / 44,00 MiB free]
  Total: 2 [5,51 TiB] / in use: 2 [5,51 TiB] / in no VG: 0 [0   ]

> sudo vgs
  VG         #PV #LV #SN Attr   VSize VFree 
  Homeserver   2   4   0 wz--n- 5,51t 788,00m

> sudo vgscan
  Reading all physical volumes.  This may take a while...
  Found volume group "Homeserver" using metadata type lvm2

> sudo lvs
  LV       VG         Attr   LSize  Origin Snap%  Move Log Copy%  Convert
  Volume_2 Homeserver -wi-a- 27,00g                                     
  home     Homeserver -wi-ao  5,46t                                     
  root     Homeserver -wi-ao 20,02g                                     
  swap_1   Homeserver -wi-ao  7,91g         

> sudo lvscan
  ACTIVE            '/dev/Homeserver/root' [20,02 GiB] inherit
  ACTIVE            '/dev/Homeserver/swap_1' [7,91 GiB] inherit
  ACTIVE            '/dev/Homeserver/Volume_2' [27,00 GiB] inherit
  ACTIVE            '/dev/Homeserver/home' [5,46 TiB] inherit

> sudo blkid
/dev/sda5: UUID="aXLIze-xpJy-cAav-nMG3-bSIg-f2r3-KuhPm6" TYPE="LVM2_member"
/dev/mapper/Homeserver-Volume_2: UUID="006bfd0d-78ee-41c7-9aa6-093dc72a4bf9" TYPE="ext4"
/dev/mapper/Homeserver-home: UUID="1bdaf3b5-9820-48f2-b2f1-9530bd2f5bf9" TYPE="ext4"
/dev/sde1: UUID="f8b54bf4-f164-833a-058e-78ca2f464ad0" UUID_SUB="2fc84e78-7ec8-2d52-f263-0c5d9cb73845" LABEL="Homeserver:0" TYPE="linux_raid_member"
/dev/sda1: UUID="cb0cd689-bcf1-4018-9199-27a6b21aa2ce" TYPE="ext4"
/dev/sdb1: UUID="f8b54bf4-f164-833a-058e-78ca2f464ad0" UUID_SUB="7168ff7c-f49e-df6f-6863-66b91189eb8e" LABEL="Homeserver:0" TYPE="linux_raid_member"
/dev/sdc1: UUID="f8b54bf4-f164-833a-058e-78ca2f464ad0" UUID_SUB="b0b45950-76a3-b0b9-08bb-38af872c2530" LABEL="Homeserver:0" TYPE="linux_raid_member"
/dev/sdd1: UUID="f8b54bf4-f164-833a-058e-78ca2f464ad0" UUID_SUB="cef54f49-793e-0f2c-0ee7-682976087dc0" LABEL="Homeserver:0" TYPE="linux_raid_member"
/dev/md0: UUID="oqe46E-3mVS-yyqC-8dr4-qMfR-sXXx-ioVM6p" TYPE="LVM2_member"
/dev/mapper/Homeserver-root: UUID="c5560e54-0ad6-42a3-befc-1f451687a417" TYPE="ext4"
/dev/mapper/Homeserver-swap_1: UUID="53d2284f-5dce-4184-9e12-f311d9ddc406" TYPE="swap"


man lvm geeft een goed overzicht en uitleg van alle lvm functies, een groot deel van deze functies ken ik van Webmin.


2) De uitleg in de link is helder. Hierbij merk ik het volgende op:
- swap bestand moet bij een intern geheugen grootte van 8 GB een grootte van 8-16 GB krijgen;
- voor de snelheid maakt het niet uit of je een swap bestand of een swap partitie maakt, ik begrijp van jou echter dat een swap bestand in /root flexibeler is.

Alvast bedankt voor je reactie.

Gr Henk

[Johan van Dijk]

Wat staat er in het bestand /etc/fstab?
En wat geeft het commando mount ?

[Henk2012]

Beste Johan,

1) Ik hoop dat ik het juist gedaan heb, was even zoeken.
etc/ftab geeft het volgende:

> cat /etc/fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    nodev,noexec,nosuid 0       0
/dev/mapper/Homeserver-root /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda1 during installation
UUID=cb0cd689-bcf1-4018-9199-27a6b21aa2ce /boot           ext4    defaults        0       2
/dev/mapper/Homeserver-swap_1 none            swap    sw              0       0
/dev/Homeserver/home  /dev/Homeserver  ext4  defaults  0  0

> sudo blkid
/dev/sda5: UUID="aXLIze-xpJy-cAav-nMG3-bSIg-f2r3-KuhPm6" TYPE="LVM2_member"
/dev/mapper/Homeserver-Volume_2: UUID="006bfd0d-78ee-41c7-9aa6-093dc72a4bf9" TYPE="ext4"
/dev/mapper/Homeserver-home: UUID="1bdaf3b5-9820-48f2-b2f1-9530bd2f5bf9" TYPE="ext4"
/dev/sde1: UUID="f8b54bf4-f164-833a-058e-78ca2f464ad0" UUID_SUB="2fc84e78-7ec8-2d52-f263-0c5d9cb73845" LABEL="Homeserver:0" TYPE="linux_raid_member"
/dev/sda1: UUID="cb0cd689-bcf1-4018-9199-27a6b21aa2ce" TYPE="ext4"
/dev/sdb1: UUID="f8b54bf4-f164-833a-058e-78ca2f464ad0" UUID_SUB="7168ff7c-f49e-df6f-6863-66b91189eb8e" LABEL="Homeserver:0" TYPE="linux_raid_member"
/dev/sdc1: UUID="f8b54bf4-f164-833a-058e-78ca2f464ad0" UUID_SUB="b0b45950-76a3-b0b9-08bb-38af872c2530" LABEL="Homeserver:0" TYPE="linux_raid_member"
/dev/sdd1: UUID="f8b54bf4-f164-833a-058e-78ca2f464ad0" UUID_SUB="cef54f49-793e-0f2c-0ee7-682976087dc0" LABEL="Homeserver:0" TYPE="linux_raid_member"
/dev/md0: UUID="oqe46E-3mVS-yyqC-8dr4-qMfR-sXXx-ioVM6p" TYPE="LVM2_member"
/dev/mapper/Homeserver-root: UUID="c5560e54-0ad6-42a3-befc-1f451687a417" TYPE="ext4"
/dev/mapper/Homeserver-swap_1: UUID="53d2284f-5dce-4184-9e12-f311d9ddc406" TYPE="swap"

> ls -l /dev/disk/by-uuid
totaal 0
lrwxrwxrwx 1 root root 10 2012-05-28 12:25 006bfd0d-78ee-41c7-9aa6-093dc72a4bf9 -> ../../dm-2
lrwxrwxrwx 1 root root 10 2012-05-28 12:25 1bdaf3b5-9820-48f2-b2f1-9530bd2f5bf9 -> ../../dm-3
lrwxrwxrwx 1 root root 10 2012-05-28 12:25 53d2284f-5dce-4184-9e12-f311d9ddc406 -> ../../dm-1
lrwxrwxrwx 1 root root 10 2012-05-28 12:25 c5560e54-0ad6-42a3-befc-1f451687a417 -> ../../dm-0
lrwxrwxrwx 1 root root 10 2012-05-06 18:18 cb0cd689-bcf1-4018-9199-27a6b21aa2ce -> ../../sda1

2) Ik weet niet of ik het juist gedaan heb, heb het volgende gedaan:
> mkdir /mnt/opslag_data
> mount -t ext4 /dev/md0 /mnt/opslag_data
mount: /dev/md0 is al aangekoppeld of /mnt/opslag_data is bezig

Alvast bedankt voor je reactie.
Gr Henk

[Johan van Dijk]

Wat zegt het commando "mount" (dus zonder extra opties)?

Edit: en zie je foutmeldingen bij dit commando: "sudo mount -av" ?

[Henk2012]

Beste Johan,

1)
> mount
/dev/mapper/Homeserver-root on / type ext4 (rw,errors=remount-ro)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
fusectl on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
udev on /dev type devtmpfs (rw,mode=0755)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs on /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
none on /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
none on /run/shm type tmpfs (rw,nosuid,nodev)
/dev/sda1 on /boot type ext4 (rw)
/dev/mapper/Homeserver-home on /dev/Homeserver type ext4 (rw)

2)
> sudo mount -av
er werd niets aangekoppeld
mount: proc is al aangekoppeld op /proc
mount: UUID=cb0cd689-bcf1-4018-9199-27a6b21aa2ce is al aangekoppeld op /boot
mount: /dev/Homeserver/home is al aangekoppeld op /dev/Homeserver

Alvast bedankt voor je reactie
Gr Henk

[Johan van Dijk]

Dan denk ik dat dit een probleem is:
Je home-volume wordt gemount op /dev/Homeserver
En dat is gek/niet de bedoeling. Je home directory staat dus in dezelfde logische volume als je root en dat terwijl je alles gescheiden zou willen hebben.

Verder lijkt de rest ook een beetje warrig en raar in elkaar te zitten. Dit kan je allemaal wel weer rechtzetten, alleen is dat veel werk en nogal ingewikkeld om uit te leggen via een forum. Het zal ook wel even duren omdat je iedere keer moet wachten op een antwoord. Daarom zou ik even opnieuw beginnen, met een verse installatie.

Ik hoop dat je nog niet zo heel veel data op je server hebt staan, dat maakt het een stuk sneller en makkelijker
Zo niet, backup je belangrijke dingen dan eerst.

Het handigste is om tijdens het gedeelte waarin je je schijven partitioneert alle schijven echt helemaal leeg te maken, en daarna te rebooten. Hierdoor begin je met een schone lei. Zou je niet tussendoor rebooten, dan loop je het risico dat je met /dev/md1 komt te zitten ipv /dev/md0 en dat je homeserver-volumes al bestaan zodat ze niet nog eens aagemaakt kunnen worden.

Het handigste is om de SSD helemaal buiten de LVM te houden, vanwege de alignment. Je hoeft geen SWAP partitie aan te maken, alleen 1 voor / en 1 voor /home

Een andere tip is dat je geen hoofdletters of andere gekke tekens gebruikt voor je volumenamen. Dat scheelt later ongetwijfeld een hoop tikfouten.

Hoe je verder je RAID indeelt moet je zelf bepalen, afhankelijk van hoe je hem gebruikt. Je kan er ook nog voor kiezen om die helemaal niet in LVM te zetten maar er direct een ext4-bestandssysteem op te zetten. Dat scheelt weer een extra complicerende laag als LVM.

[Henk2012]

Hallo  Johan,

Helder verhaal. Gelukkig heb ik er nog geen data op staan.

Nog enkele vragen:
1) Maar gelijk versie 12.04 server installeren?
2) Geen swap partitie installeren, mee eens. Maar dan toch wel het swap bestand aanmaken in /root, zoals je eerder aangaf? Grootte dan minimaal 8GB?
3) Bedoel je met partities op de SSD met / hetzelfde als /root?

Bedankt zover, ik laat je nog weten of het gelukt is.
Gr. Henk

[lord4163]

1) Ja

2) Ik zou wel een swap aan maken, maar dat geeft de installatie toch automatisch wel aan? Voor de rest liever het swap laag zetten als je genoeg ram heb, en de partitie hoeft niet al te groot te zijn, dit ivm slijtage van de SSD en gewoon voor snelheidswinst.