raid5 of raid6 server bedrijfszeker?

[evarie]

Graag wil ik ervaringen van anderen weten.
Want hoe veilig en betrouwbaar zijn harde schijven?
En hoe veilig en betrouwbaar is een raid5 of raid6 systeem.
En hoe betrouwbaar is een linux systeem?
Hoe zit dat met backups maken van een raid5rek?

Ik heb drie behuizingen gekregen. Per kast kan ik daar zeven harde schijven in plaatsen. Er zit een rek voor vier schijven in en een rek voor drie schijven in. Ik zou dus een raid van 4 schijven kunnen maken en een van drie of twee. Dan zou ik de vier schijven voor data reserveren en drie voor het systeem. Is er misschien een slimmere indeling?

Maar voor dat ik daar aan begin. Wil ik eerst ervaringen weten die hopelijk antwoord op mijn vragen kunnen geven?
Want, heb ik 1 keer 'n raid5rek nodig?
of heb ik er 3 nodig zodat ik altijd een backup heb en een backup kan maken?
of als ik ga clusteren, heb ik dan geen backups nodig?

Clusteren is toch dat je van meerdere servers een geheel maakt?

[gavinspearhead]

Wat is veilig en wat is betrouwbaar? Wat wil je precies bereiken?

Raid5/6 met 2 disks heeft geen zin (kan zelfs niet eens geloof ik), kun je net zo goed naar raid1 gaan.  Een systeem disk met raid lijkt me niet zo zinvol tenzij je een zeer hoge uptime nodig hebt (maar denk dan ook aan UPS enzo) maar daar lijkt me mirroring (raid1) meer dan voldoende voor

Verder ziet je systeem een raidschijf als 1 fysieke schijf (bij een raid controller), bij software raid is dat een logische schijf. In dat laatste geval is er wel enige overhead. Dus backuppen is niet echt een probleem.

Bij grote disks kan raid5/6 wel een behoorlijk hoge hersteltijd hebben als er veel data opstaat en je een disk vervangt. Zeker bij een software raid lijkt me dat niet zo gunstig

[evarie]

Wat is veilig en wat is betrouwbaar? Wat wil je precies bereiken?

Ik wil graag bereiken, dat als er iets fout gaat. Dat ik die fout kan opvangen door een goed systeem te bouwen en door backups.

Raid5/6 met 2 disks heeft geen zin

Dat weet ik. Dat is ook niet logisch. Natuurlijk maak ik een raid5 met drie schijven.

Een systeem disk met raid lijkt me niet zo zinvol tenzij je een zeer hoge uptime nodig hebt (maar denk dan ook aan UPS enzo) maar daar lijkt me mirroring (raid1) meer dan voldoende voor

Of als je grote partities wilt.  Kan het nuttig zijn.

Dus backuppen is niet echt een probleem.

Maar is het nodig volgens jouw ervaring?

[gavinspearhead]

raid vangt alleen diskfailurse (e.d.) op, niet dat je data gecorrumpeerd raakt of gestolen wordt of iets dergelijks (brand, kortsluiting etc), als dat wel je dreiging is moet je daarvoor backups gaan toepassen.
Als je alleen bang bent voor disk failures lijkt me raid1 op zich voldoende. Als je alleen grote partities wilt is raid0 voldoende. Je kunt ook denken aan raid 1+0 met vier disks.
Een systeem disk lijkt me dat een gemiddelde harddisk daar ruim groot genoeg voor is. OS + apps is meestal niet meer dan een paar gig. Met een goede image tool lijkt me dat redelijk goed op te vangen al er een disk stuk gaat. Ook een virtualisatie laag kan dat voor je doen.

In het algemeen zou ik zeggen dat voor thuis gebruik raid niet echt nodig is voor betrouwbaarheid, maar dat belangrijke data backuppen (bijv op een losse disk of ergens online) voldoende zou moeten zijn. raid0 kan handig zijn voor snelheid en diskgrootte. Voor zakelijk gebruik is het moeilijker in te schatten - hangt van het gebruik af en welke risico's je wilt lopen. Voor een drukke fileserver / webserver is raid5/6 geen slecht idee zeker als het vnl lees acties zijn (80/20 regel).

Kortom er is geen eenduidig antwoord zo te geven. De vraag is wat je wilt bereiken, welke risico's wil je afvangen, wat is je hersteldtijd, of heb je nog andere performance eisen. Dan kun je eens kijken wat handig is om te gaan inrichten. Raid is lang niet altijd de oplossing, maar met de huidige prijs van harddisks wel een goedkope. Backups gaan ook lang niet altijd goed, die moeten ook weer getest worden, e.d.

[Johan van Dijk]

Wat het beste is in jouw situatie hangt van een hoop factoren af.
Denk dan aan:

• Je budget
• Om hoeveel data gaat het
• Hoe zeker wil je zijn dat je data behouden blijft
• Wat voor soort data is het? (Een database heeft een heel ander patroon van lezen en schrijven dan het opnemen en afspelen van films, etc.)
  
• Hoe snel moet de data beschikbaar zijn
• Misschien hecht je ook nog waarde aan energiezuinigheid...
• En ga zo maar door...

Verder is een Raid-array op zich geen backup natuurlijk. Het beschermt je niet als je zelf wat data kwijtmaakt door bestanden te verwijderen of te overschrijven. Het is ook nog mogelijk dat door bijv. een blikseminslag of ander natuurgeweld alle schijven in 1 keer kapot gaan. Dan ben je ook alles kwijt. Je zal dus altijd een aparte backup moeten hebben.

[jan11000]

-Raid 0 natuurlijk niet gebruiken, bij 1 klein foutje ben je alles in een keer kwijt.
Gebruik dan liever mhddfs in linux, hier kun je hd's samenvoegen, zodat je 1 schijf ziet, je files worden automatisch verdeeld over je hd's.
Elke hd is apart leesbaar , dus indien 1 hd defect gaat, kun je de rest gewoon lezen.

-Indien je raid wilt gaan maken, maak dan raid 6 met 6 hd's en 1 hd met de OS erop, er kunnen dus 2 hd's defect gaan en het is dan nog te repareren.
(in ubuntu kun je bijv met de desktop versie, helemaal grafisch je raid maken en lvm maken).

-Software raid is handig indien het defect gaat kun je dit gewoon in een andere pc hangen.
Hardware raid is sneller, zeker bij repareren, maar is ook duurder, voor hardware raid ga je betalen, op je moederbord zit ook raid maar dit is gewoon software raid(dit dus niet gebruiken, gebruik liever gewone software raid).
Je hebt hardware raid(beste duurste), software raid, en je hebt raid via moederbord(hier zit je vast aan je hardware indien iets defect gaat).

-Hd's zijn onbetrouwbaar, net als alle andere mediums, vermoedelijk is tape nog het beste.

-Backup zul je ook moeten maken.
Backuppen zodat je terug in tijd kunt springen(dit is het allerbeste), dit is handig indien bijv files beschadigd worden zonder dat iemand dit weet(bijv hardware/software defect).
Backuppen met kontrole of de backup file hetzelfde is als origineel, dit is ook kontrole of er geen hardware of driver fout is.
Kontroleer/test ook of je netwerk/backup goed werkt, ik doe bijv 40GB aan iso's in een keer over het netwerk sturen, en aan de andere pc test ik of de files hetzelfde zijn(ik doe dit met par2 maken van je 40GB files).
Je kan ook nog je netwerk kontroleren door files oversturen, en dan ifconfig checken op fouten.

-Je kan nog gaan kijken naar zfs, hier kun je ook in tijd terug springen in de file system en er zit kontrole op beschadigingen van files en raid zit in het file system. Hier moet je wel freebsd, freenas gebruiken.

[evarie]

Eerst probeer ik een idee (of ideaal) plaatje te maken zonder al te veel eisen.
Het gaat om data van bedrijven en particulieren.

Daarvoor is dit mijn idee voor een opstelling met twee back-up servers.

De main server krijgt dan voor data 4 x 2TB schijven in raid 5
En voor het systeem twee kleine snelle schijven in raid 1

De backup server krijgt dan voor data 5 x 2TB schijven in raid5
En voor het systeem twee kleine schijven in raid 1.
Met een derde schijf maak ik dan backups van het systeem van de backup server.

[evarie]

Kortom er is geen eenduidig antwoord zo te geven.

Dus maak ik een ideaal plaatje, om mee te starten. Daarna kan zo nodig de situatie worden aangepast.

Heb je misschien voorbeelden uit eigen ervaring?

[evarie]

[author=Johan van Dijk link=topic=68205.msg753786#msg753786 date=1312598003]
Wat het beste is in jouw situatie hangt van een hoop factoren af.
Het gaat om een begin situatie.

Denk dan aan:

• Je budget

Het budget is er, als het maar niet overdreven duur wordt. Bijvoorbeeld hardware raidkaarten. Die zijn te duur voor een starter, denk/vind ik.

• Om hoeveel data gaat het

Het gaat om onbekende hoeveelheid data. Als starter is 6TB wel voldoende.

• Hoe zeker wil je zijn dat je data behouden blijft

Het is altijd vervelend als data verloren gaat. Dus liever geen data verlies.

• Wat voor soort data is het? (Een database heeft een heel ander patroon van lezen en schrijven dan het opnemen en afspelen van films, etc.)
  Voorlopig is het alleen opslag. Maar ik wil graag een universele opstelling die ik later kan uitbreiden.
  
• Hoe snel moet de data beschikbaar zijn

Daar heb ik nog niet over na gedacht. Eerst maar eens een test opstelling maken en dan later
verbinden aan een glasvezel netwerk.

• Misschien hecht je ook nog waarde aan energiezuinigheid...

Als dat mogelijk is dan is dat mooi mee genomen.

• En ga zo maar door...

Neen, dat niet, want je kan niet alles voorzien van te voren.

Verder is een Raid-array op zich geen backup natuurlijk. Het beschermt je niet als je zelf wat data kwijtmaakt door bestanden te verwijderen of te overschrijven. Het is ook nog mogelijk dat door bijv. een blikseminslag of ander natuurgeweld alle schijven in 1 keer kapot gaan. Dan ben je ook alles kwijt. Je zal dus altijd een aparte backup moeten hebben.

Een aparte backup los ik dan op met backup servers.
Voor bliksem inslag zullen er toch vast wel apparaten in de handel zijn die dat beveiligen toch?

[evarie]

-Raid 0 natuurlijk niet gebruiken, bij 1 klein foutje ben je alles in een keer kwijt.
Gebruik dan liever mhddfs in linux, hier kun je hd's samenvoegen, zodat je 1 schijf ziet, je files worden automatisch verdeeld over je hd's.
Elke hd is apart leesbaar , dus indien 1 hd defect gaat, kun je de rest gewoon lezen.

-Indien je raid wilt gaan maken, maak dan raid 6 met 6 hd's en 1 hd met de OS erop, er kunnen dus 2 hd's defect gaan en het is dan nog te repareren.
(in ubuntu kun je bijv met de desktop versie, helemaal grafisch je raid maken en lvm maken).

-Software raid is handig indien het defect gaat kun je dit gewoon in een andere pc hangen.
Hardware raid is sneller, zeker bij repareren, maar is ook duurder, voor hardware raid ga je betalen, op je moederbord zit ook raid maar dit is gewoon software raid(dit dus niet gebruiken, gebruik liever gewone software raid).
Je hebt hardware raid(beste duurste), software raid, en je hebt raid via moederbord(hier zit je vast aan je hardware indien iets defect gaat).

-Hd's zijn onbetrouwbaar, net als alle andere mediums, vermoedelijk is tape nog het beste.

-Backup zul je ook moeten maken.
Backuppen zodat je terug in tijd kunt springen(dit is het allerbeste), dit is handig indien bijv files beschadigd worden zonder dat iemand dit weet(bijv hardware/software defect).
Backuppen met kontrole of de backup file hetzelfde is als origineel, dit is ook kontrole of er geen hardware of driver fout is.
Kontroleer/test ook of je netwerk/backup goed werkt, ik doe bijv 40GB aan iso's in een keer over het netwerk sturen, en aan de andere pc test ik of de files hetzelfde zijn(ik doe dit met par2 maken van je 40GB files).
Je kan ook nog je netwerk kontroleren door files oversturen, en dan ifconfig checken op fouten.

-Je kan nog gaan kijken naar zfs, hier kun je ook in tijd terug springen in de file system en er zit kontrole op beschadigingen van files en raid zit in het file system. Hier moet je wel freebsd, freenas gebruiken.

Goede tips, dank je wel.

[jan11000]

Om bliksem tegen te houden bestaat niet. Bliksem spring overal over heen.

Ups heb je 2 soorten
1 die de pc laat doorlopen zodat deze zich kan afsluiten.
2 die de pc laat doorlopen zodat deze zich kan afsluiten, en de spanning konstant houd bij slechte stroom leverancier, alleen bliksem houd die echt niet tegen.

Ga voor raid 6 is veiliger, zeker voor bedrijven. En bij het uitbreiden heb je het probleem bij raid 5 dat je veel hd's gaat krijgen en maar 1 mag weigeren.

[evarie]

Dan hebben we een nieuw doel. Een product dat wel de bliksem tegen houd. Of kan dat helemaal niet?

Nog een paar jaartjes, en dan hebben we glasvezel. Daar kan ik me nu lekker op voorbereiden. Toch.
Voor de server is ECC nodig. Heb je nog tips. Daar wil ik nog het een en ander over lezen.
Nu heb ik hier een computer staan met ECC. Dat moet ik nog aan zetten.

[Johan van Dijk]

Bliksem tegenhouden kan wel, met bijvoorbeeld een grote betonnen bunker en een eigen afgeschermde energievoorziening via een generator. Netwerk zou je dan via glasvezel moeten doen.

[evarie]

"Ik zie niet een startende onderneming met een betonnen bunker en een generator in huis?"

Lijkt me veel handiger om een bliksemafleider te plaatsen.

Goed, even terug naar waarom het gaat. Het gaat mij er om dat je een stukje van je ervaring wilt vertellen.
Dat is mijn vraag eigenlijk?
Heb je ooit defecte harde schijven van een server moeten verwisselen?
Heb je ooit problemen gehad met de RAID opstelling?
Heeft een backup ooit gegevens gered van een server?
Heeft je server ooit onherstelbare fouten gemaakt?
Hoe herstel je de meeste fouten?
Doe je dat door debuggen, backuppen of herinstallatie?

[Bloom]

Hou er wel rekening mee dat RAID-6 een flink stuk trager is dan RAID-5. Ik raad het alleen aan als verzekering van stabiliteit belangrijker is dan prestaties. Mijn eigen zelfbouw-NAS draait op RAID-5 omdat ik de werksnelheid van RAID-6 echt teleurstellend vond op een nochtans zeer snelle cpu (6-core AMD Phenom II X6 1055T op 2,8 GHz met 16 GiB RAM) onder Debian 7 met zes SATA-disks.

[Johan van Dijk]

Heb je ooit defecte harde schijven van een server moeten verwisselen?

Ja, meerdere keren

Heb je ooit problemen gehad met de RAID opstelling?

uitgevallen schijven gehad, gelukkig kunnen rebuilden met nieuwe exemplaren

Heeft een backup ooit gegevens gered van een server?

Regelmatig, al gebeurt het vaker vanwege overschreven of verwijderde bestanden dan dat het kwam door hardwarefalen.

Heeft je server ooit onherstelbare fouten gemaakt?

Ja, vanwege een schijf die eerst corrupte data las en schreef voordat hij ermee stopte.
Gelukkig waren maar enkele bestanden beschadigd, en die heb ik uit een backup terug kunnen halen.

Hoe herstel je de meeste fouten?

Betreffende bestanden terughalen uit de backup

Doe je dat door debuggen, backuppen of herinstallatie?

Wat bedoel je met debuggen? En hoe kan een herinstallatie je data terugkrijgen?
In het geval van het uitvallen van 1 schijf is het zo simpel als een nieuwe schijf erin en rebuilden maar. Daarna nog een fsck eroverheen om het af te maken. Is het user error, dan even de backup uit de kast halen.

En reactie op Bloom: als schrijfsnelheid ook belangrijk is, dan zou je kunnen kiezen om Raid10 te draaien. Dan mogen er ook meerdere schijven uitvallen al gaat het wel ten koste van de beschikbare ruimte.

En verder is het wel handig als evarie eens wat duidelijker beschrijft wat zijn situatie is en wat hij precies als doel heeft.
We kunnen nu hele algemene informatie geven die al op heel veel plekken op internet te vinden is, maar die informatie en adviezen hoeven helemaal niks te maken hebben met wat hij wil. Afhankelijk van zijn situatie kunnen sommige algemene adviezen wel eens heel erg slecht zijn.
Dus in plaats van een vraag te stellen: "wat is Raid?" , of "wie heeft er ervaring met Raid5?" kan je beter eerst uitzoeken wat je wil en dan een concrete vraag stellen.

We kunnen nu wel bijv. Raid5 van X aantal schijven van type Y in een server met zus en zo specificaties aanraden, maar dat advies komt dan alleen vanuit een hoop aannames. Als die niet kloppen dan krijg je niet het systeem dat het beste in jouw situatie past. En als er nu iemand met een uitgebreid advies komt, dan kan die dat advies weer helemaal overnieuw gaan maken als jij met andere eisen komt.

[lord4163]

Ik zou gaan voor RAID5. De harde schijven zijn vrij betrouwbaar tegenwoordig (natuurlijk kan er 1 kapot gaan), maar ik denk dat je het beste voor RAID5 kan gaan. Ik weet niet wat voor bestanden je ga gebruiken? 1TB is namelijk al erg veel, voor mij dan (voor mensen die heel veel blu-rays er op hebben staan is het misschien zo vol) een office bestandje is niet heel groot namelijk (10 pagina's):


Ik zou eigenlijk gelijk kiezen voor de 3TB Ecogreen van WD schijfjes, dan ben je wat gericht op de toekomst en is wat efficiënter. Hot Swap het liefste (misschien zijn racks handig?) En als je het geld heb een RAID kaartje, ik vind de SoftRAID niet zo betrouwbaar (mdadm) en je moet weten wat je doet, als je een verkeerde instelling doe heb je nog kans op dataverlies. Als je er verstand van heb lijkt het me geen probleem.

[evarie]

aan: Johan

Wat ik wil is dat ik al mijn losse schijven die ik rond heb slingeren. Daarvan de data op een server zetten, en dan gaan opruimen en ordenen. Er zitten veel ideeën in die ik dan wil gaan toetsen op marktwaarde.
Stel dat die server defect gaat. Hoe kan ik dan mijn data toch verzekeren?

Wat betreft mijn werk. Ik zit in een situatie dat het logisch is om voor me zelf een kleine onderneming te starten op het gebied van computers en informatie. Ik kijk vooral naar mijn zelf. Als ik er goed over heb na gedacht. Dan wil ik een webserver, bestanden server en een sql database en een LDAP database.
Verder zijn er nog niet zo veel eisen, omdat ik eerst mijn doelgroep moet gaan bepalen en aanspreken. Ik weet nu niet of er vraag naar is. Dan kan dit wel leuk zijn als hobbie. Maar uiteindelijk moet er ook een keer een loon komen. En dan het liefst uit een zelf opgebouwde onderneming omdat het motiverender is dan in een loonbaantje.
Is het zo duidelijk Johan? Als je nog meer wilt weten dan mag je dat vragen.

Conclusie: ik moet al die schijven een keer aansluiten en de hoeveelheid data bij elkaar op tellen.
Als ik dat weet dan weet ik ook hoe groot mijn server partitie moet zijn. Ik vind het prettiger om alles in een partitie te hebben, omdat ik alles in een boom wil indelen. Dus de eerste stap is dus een server voor het opslag van data. Het gaat hier dus niet om het uitrekenen van loon en administratie. Het gaat hier ook niet om een hostingprovider. Neen, het is de bedoeling dat ik voor mezelf een begin kan maken voor een aanstaande onderneming. De snelle glasvezel dat komt zeker in de toekomst. Als die aansluiting er is. Dan komen er meer mogelijkheden. Maar dat zal men wel begrijpen dat je dan ook hosting kan aanbieden.