[opgelost] raid5 mdadm --create. Hoe krijg ik het werkend? (xubuntu 10.04)

[blokkendoos]

Beste mensen,

De situatie:
Oude pc met intel celeron processor van 800 MHz.
Drie oude harde schijven: 40 GB, 30 GB en 41 GB.

Doel:
Software Raid 5 op deze drie hd's onder Xubuntu 10.04 LTS.

Met enige moeite zijn er op de 3 schijven 3 partities gemaakt die
even groot zijn. Ze zijn van het type: fd raid autodetect.

Dan maak ik een Raid5 device aan met de opdracht:

Code: [Selecteer]

sudo mdadm --create /dev/md0 --level=5 --raid-devices=3 -x 0 --run /dev/sda3 /dev/sdb1 /dev/sdc1
mdadm: /dev/sda3 appears to be part of a raid array:
    level=raid5 devices=3 ctime=Thu Nov 18 18:21:20 2010
mdadm: /dev/sdb1 appears to be part of a raid array:
    level=raid5 devices=3 ctime=Thu Nov 18 18:21:20 2010
mdadm: /dev/sdc1 appears to be part of a raid array:
    level=raid5 devices=3 ctime=Thu Nov 18 18:21:20 2010
mdadm: array /dev/md0 started.

Code: [Selecteer]

eerste@xubunraid:~$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sdc1[3](S) sdb1[4](F) sda3[0]
      46137216 blocks level 5, 64k chunk, algorithm 2 [3/1] [U__]
      
unused devices: <none>
Gaan we verder kijken met: sudo mdadm -D /dev/md0

Code: [Selecteer]

/dev/md0:
        Version : 00.90
  Creation Time : Fri Nov 19 08:50:59 2010
     Raid Level : raid5
     Array Size : 46137216 (44.00 GiB 47.24 GB)
  Used Dev Size : 23068608 (22.00 GiB 23.62 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Fri Nov 19 08:51:15 2010
          State : clean, degraded
 Active Devices : 1
Working Devices : 2
 Failed Devices : 1
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : ddadaf98:b23e72df:20820808:90aa4064 (local to host xubunraid)
         Events : 0.6

    Number   Major   Minor   RaidDevice State
       0       8        3        0      active sync   /dev/sda3
       1       0        0        1      removed
       2       0        0        2      removed

       3       8       33        -      spare   /dev/sdc1
       4       8       17        -      faulty spare   /dev/sdb1
Doe ik: sudo fdisk -l dan toont de md0 als

Code: [Selecteer]

Schijf /dev/md0: 47.2 GB, 47244509184 bytes
2 koppen, 4 sectoren/spoor, 11534304 cilinders
Eenheid = cilinders van 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 131072 bytes
Schijf-ID: 0x00000000

Schijf /dev/md0 bevat geen geldige partitietabel

eerste@xubunraid:~$ sudo mkfs.ext4 /dev/md0
mke2fs 1.41.11 (14-Mar-2010)
Bestandssysteemlabel=
Soort besturingssysteem: Linux
Blokgrootte=4096 (log=2)
Fragmentgrootte=4096 (log=2)
Stride=16 blocks, Stripe width=32 blocks
2883584 inodes, 11534304 blokken
576715 blokken (5.00%) gereserveerd voor systeembeheer
Eerste gegevensblok=0
Maximum aantal bestandssysteemblokken=0
352 blokgroepen
32768 blokken per groep, 32768 fragmenten per groep
8192 inodes per groep
Superblokreservekopieën opgeslagen in blokken:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424

Schrijven van inodetabellen: voltooid                        
Aanmaken van journal (32768 blokken): voltooid
Schrijven van superblokken en bestandssysteem-metagegevens:
Waarschuwing: problemen tijdens schrijven van superblokken.voltooid

Dit bestandssysteem zal automatisch gecontroleerd worden na elke
29 aankoppelingen of na 180 dagen, afhankelijk van wat het eerst voorkomt.
U kunt 'tune2fs' met '-c' of '-i' gebruiken om dit bij te stellen.
Kortom, wie kan me helpen om dit zwikkie draaiend te krijgen??

mvg, bvd,

pablo k

[moderator edit: code tags toegevoegd voor de leesbaarheid]

[Johan van Dijk]

Het makkelijkste is om dit met de disk utility te doen.
Installeer het pakket palimpsest, en je kan het terugvinden in systeem>beheer>schijfgereedschap of iets dergelijks.

Verder is het niet bevorderlijk voor de snelheid om schijven van verschillende grootte en type te gebruiken.

Wil je het in de terminal doen, dan zou ik de array weer helemaal uit elkaar halen en opnieuw opbouwen.
Array stoppen:

Code: [Selecteer]

sudo mdadm --stop /dev/md0
Alle partities leeghalen:

Code: [Selecteer]

sudo dd if=/dev/zero of=/dev/sda3 bs=2MLet op, bovenstaande overschrijft de hele partitie, onherstelbaar!

Doe hetzelfde met de andere partities.
Hierna rebooten. Misschien niet nodig, maar wel het veiligste als je zo'n hoop veranderd hebt aan je partities.

Array aanmaken:

Code: [Selecteer]

sudo mdadm --create /dev/md0 --level=5 --raid-devices=3 /dev/sda3 /dev/sdb1 /dev/sdc1Kijk even in de manpage of google voor geavanceerdere opties zoals bijv. chunk size

Array starten:

Code: [Selecteer]

sudo mdadm --assemble /dev/md0 /dev/sda3 /dev/sdb1 /dev/sdc1Een alternatief, wat het automatisch zou moeten doen:

Code: [Selecteer]

mdadm --assemble --scan
Bestandssysteem aanmaken:

Code: [Selecteer]

sudo mkfs.ext3 -b 4096 -E stride=16,stripe-width=32 /dev/md0Dit maakt een ext3 bestandssysteem aan dat geoptimaliseerd is voor RAID5, met het aantal schijven en indeling die jij  hebt.
Voor een andere indeling, ander aantal schijven, enz. moet je even googlen.


Online man-page: http://man-wiki.net/index.php/8:mdadm

[blokkendoos]

Johan,

Bedankt voor de edit die de leesbaarheid ernstig bevorderen en je uitgebreide antwoord.
Ik zal in het weekeinde verder gaan stoeien.

mvg

pablo k

[blokkendoos]

Johan,
Na het zeroën van de schijven en een nieuwe create ziet de uitvoer van mdadm -D er veelbelovend uit. Zat je naast me zou ik je knuffelen!

Code: [Selecteer]

eerste@xubunraid:~$ sudo mdadm -D /dev/md0
/dev/md0:
        Version : 00.90
  Creation Time : Sat Nov 20 14:37:29 2010
     Raid Level : raid5
     Array Size : 46137216 (44.00 GiB 47.24 GB)
  Used Dev Size : 23068608 (22.00 GiB 23.62 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sat Nov 20 14:37:29 2010
          State : clean, degraded, recovering
 Active Devices : 2
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

 Rebuild Status : 2% complete

           UUID : 9eaa4c13:98abdb24:20820808:90aa4064 (local to host xubunraid)
         Events : 0.1

    Number   Major   Minor   RaidDevice State
       0       8        3        0      active sync   /dev/sda3
       1       8       17        1      active sync   /dev/sdb1
       3       8       33        2      spare rebuilding   /dev/sdc1

Kun je meteen na de creatie, dus terwijl de resync nog bezig is, een bestandssysteem erop zetten?

[Johan van Dijk]

Graag gedaan

Je kan die array meteen gebruiken, ook al is hij nog bezig met de resync.
Het duurt dan allemaal net wat langer, maar dat is niet zo erg.

[blokkendoos]

Het was zo mooi. Alles deed het. In fstab een mount toegevoegd voor de /dev/md0.
Totdat ik herstartte.
Blijkbaar moet de raid dan weer helemaal opnieuw opgebouwd. Begin te begrijpen waarom
Raid bij de serverinrichting is ondergebracht. Als het goed is gaat die niet uit.

Ik had iets in mijn hoofd dat ook voor een desktop aangenaam te gebruiken zou zijn. Zoiets
als in NT4 van pakweg 13 jaar geleden.

Ben toch blij met wat ik onderweg geleerd heb!

pablo k

[Johan van Dijk]

Gelukkig komen bij mij de RAID array's gewoon weer op hoor, ook na een reboot of 100
Waarschijnlijk mist er nog iets, ik gok wat informatie in /etc/mdadm.conf of zoiets.
In dat bestand staat hoe de array's opgebouwd zijn.

Volgens mij kan je een nieuw bestand opbouwen via sudo dpkg --reconfigure mdadm of zoiets.
Anders moet je even Googlen.
Ik zit nu op mijn werk, dus ik kan niet even kijken hoe het bij mijn computers zit.

[blokkendoos]

@Buzzin: Ja, syncen was gebeurd.

Gezien de bemoedigende reakties heb ik het doosje weer aangezet en dan staat er onder het xubuntuloginlogo
keys:Ga door met wachten; of druk op S om het aankoppelen over te slaan, of M voor handmatig herstel.

Eerst M gedrukt die me naar een  shell met initrms brengt. Daar had ik nog even geen zin in; m.a.w. weet niet zo goed wat daar te doen. Wel dat mdadm-opdrachten daar werken.

Opnieuw gestart en besloten te wachten - 44 minuten lang. Geen resultaat.
Waarop S is ingedrukt. De rest valt hieronder in de code-blokken te lezen.

Code: [Selecteer]

eerste@xubunraid:~$ sudo cat /proc/mdstat
[sudo] password for eerste:
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md_d0 : inactive sda3[0](S)
      23077248 blocks
      
unused devices: <none>
eerste@xubunraid:~$ sudo mdadm --assemble --scan
mdadm: /dev/md/0 has been started with 2 drives (out of 3).
eerste@xubunraid:~$ sudo cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sdb1[1] sdc1[2]
      46137216 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]
      
md_d0 : inactive sda3[0](S)
      23077248 blocks
      
unused devices: <none>
eerste@xubunraid:~$ sudo mdadm --stop /dev/md_d0
mdadm: stopped /dev/md_d0
eerste@xubunraid:~$ sudo cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sdb1[1] sdc1[2]
      46137216 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]
      
unused devices: <none>
eerste@xubunraid:~$ sudo mdadm -D /dev/md0
/dev/md0:
        Version : 00.90
  Creation Time : Sat Nov 20 14:37:29 2010
     Raid Level : raid5
     Array Size : 46137216 (44.00 GiB 47.24 GB)
  Used Dev Size : 23068608 (22.00 GiB 23.62 GB)
   Raid Devices : 3
  Total Devices : 2
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sat Nov 20 17:26:23 2010
          State : clean, degraded
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 9eaa4c13:98abdb24:20820808:90aa4064 (local to host xubunraid)
         Events : 0.42

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
eerste@xubunraid:~$ sudo mdadm --add /dev/md0 /dev/sda3
mdadm: re-added /dev/sda3
eerste@xubunraid:~$ sudo cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sda3[3] sdb1[1] sdc1[2]
      46137216 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]
      [>....................]  recovery =  1.0% (239360/23068608) finish=33.3min speed=11398K/sec
      
unused devices: <none>
eerste@xubunraid:~$ sudo cat /proc/mdstat
[sudo] password for eerste:
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sda3[3] sdb1[1] sdc1[2]
      46137216 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]
      [=============>.......]  recovery = 69.9% (16134016/23068608) finish=12.2min speed=9419K/sec
      
unused devices: <none>
eerste@xubunraid:~$ sudo cat /proc/mdstat
[sudo] password for eerste:
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sda3[3] sdb1[1] sdc1[2]
      46137216 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]
      [=============>.......]  recovery = 69.9% (16134016/23068608) finish=12.2min speed=9419K/sec
      
unused devices: <none>
eerste@xubunraid:~$ sudo cat /proc/mdstat
[sudo] password for eerste:
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sda3[0] sdb1[1] sdc1[2]
      46137216 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]
      
unused devices: <none>

eerste@xubunraid:~$ sudo nano /etc/initramfs-tools/initramfs.conf
eerste@xubunraid:~$ sudo update-initramfs -u
update-initramfs: Generating /boot/initrd.img-2.6.32-25-generic
eerste@xubunraid:~$
Dat eindigt met een schone raid-array. Ik weet niet waarom, maar ik had een idee om de UUID in fstab er nog maar eens goed op na te kijken. De disk utility/schijfgereedschap liet geen UUID meer zien?
Uit mdadm -D de UUID gekopieerd en in fstab geplaatst
Nu ga ik nog de

Code: [Selecteer]

sudo dpkg-reconfigure mdadmuitvoeren. Afsluiten en opnieuw opstarten.
Hmmmm.....
Hieronder de uitvoer van mdadm.conf

Code: [Selecteer]

# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default, scan all partitions (/proc/partitions) for MD superblocks.
# alternatively, specify devices to scan, using wildcards if desired.
DEVICE partitions

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR nietbellen@kpn.com

# definitions of existing MD arrays

# This file was auto-generated on Wed, 17 Nov 2010 21:29:19 +0100
# by mkconf $Id$Er lijkt niks veranderd te zijn.
Ik zie geen definitions of existing MD arrays
en de tekst auto-generated klopt ook niet, want ik heb het net handmatig aangeroepen
Datum en tijdstempel van de .conf file kloppen wel?

Ik roep nog maar eens om hulp.

pablo k

[Johan van Dijk]

Met sudo mdadm --examine --scan krijg je een overzicht van de aanwezige arrays.
Als je dit uitvoert op het moment dat je array's goed ingesteld staan, kan je de uitvoer zo toevoegen aan /etc/mdadm/mdadm.conf

In mijn geval staat er o.a. dit in:

Code: [Selecteer]

# definitions of existing MD arrays
ARRAY /dev/md0 level=raid1 num-devices=2 UUID=7d4b6bba:667aad44:6d5deaf2:cc3be82c
ARRAY /dev/md1 level=raid5 num-devices=4 UUID=cc343e39:80f82823:7f335d3a:67b28614

Als je dat wilt kan je ipv de UUID ook precies aangeven welke devices tot de array horen.
Dan wordt het zoiets:

Code: [Selecteer]

ARRAY /dev/md0 devices=/dev/hda1,/dev/hdb1

[blokkendoos]

Mijn mdadm.conf ziet er nu als volgt uit:

Code: [Selecteer]

# by default, scan all partitions (/proc/partitions) for MD superblocks.
# alternatively, specify devices to scan, using wildcards if desired.
DEVICE /dev/sda3 /dev/sdb1 /dev/sdc1

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR nietbellen@kpn.com

# definitions of existing MD arrays
ARRAY /dev/md0 level=raid5 num-devices=3 UUID=9eaa4c13:98abdb24:20820808:90aa4064
Maar daarbij krijg ik nog steeds dat keys-verhaaltje als ik opnieuw opstart. Met dien verstande dat ik nu voor M van Manueel
kies dan snel de zaak mount en dan start het ding gewoon door.
Het probleem zit hem dus blijkbaar in het automatisch mounten.
mijn fstab regel ziet er zo uit:

Code: [Selecteer]

UUID=9eaa4c13:98abdb24:20820808:90aa4064 /media/raid ext3 defaults 0 0
Verder heb ik nog een vraagje over de mdadm.conf:
# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

de mode-toewijzing behelst toch zoveel als root en group mogen executeren en lezen? Waarom niet 0770?

[Johan van Dijk]

Die fstab regel klopt niet, vanwege de dubbele punten.
Kijk even via "sudo blkid" wat de UUID is van /dev/md0
Waarschijnlijk is dat dezelde als degene die in je fstab staat, maar dan met mintekens ipv dubbele punten.
Zoiets zou het dus moeten zijn:

Code: [Selecteer]

UUID=9eaa4c13-98abdb24-20820808-90aa4064 /media/raid ext3 defaults 0 0
En die mode-toewijzing gaat over /dev/mdX, niet over de map waar die gemount wordt.
Lekker zo laten dus, want die klopt.

[blokkendoos]

Volledig juist. Het werkt!
Dank