Bygga raid5 - några frågor först

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Okt 2005

Bygga raid5 - några frågor först

Har planerat att bygga ut min server med en raid5 array. Tre stycken WD 500 eller 640gb blir det. Jag måste dock köpa ett kontrollerkort eftersom mitt moderkort inte stödjer raid5.

Det kontrollerkort jag tänk mig är detta,https://www.datorbutiken.com/se/default.aspx , ett ST Labs SiL3114.

Nu till frågorna:

1: Om jag ska köra mjukvaruraid, kan raiden sättas upp i kortets eget bios eller måste det till ett hårdvaruraid-kort för det?
2: Om en disk skulle gå sönder, är det svårt att återskapa raiden och återfå sin data?
3: Om raiden måste sättas upp under OS med hjälp av något program, går även en sådan att återskapa?
4: Vad för program, om nödvändigt, måste användas för att skapa en raid5?

| Chieftech Mesh | Asus x38 Maximus Formula | Intel e8200 2.67@3.44 | PowerColor 5850 1GB | 4*1 Crucial 8500 | Corsair SSD 120GB, WD 750GB| Creative XtremeGamer X-fi // Arcam rPAC + Beyerdynamic DT990 | HP w2207h |

Trädvy Permalänk
Medlem
Plats
Oslo
Registrerad
Okt 2002

Ditt moderkort behöver inte stödja raid 5 för att köra software raid, läs på om mdadm. Arrayen går att återskapa med några enkla kommandon när man bytt ut den trasiga disken.

Trädvy Permalänk
Hedersmedlem
Plats
Uppsala
Registrerad
Jul 2001

1) Du behöver som sagt inget hårdvarustöd alls. Det enda som krävs är att Linux kan se diskarna.
2) Ja, det är inga problem. Jag rekommenderar att du testar lite först, dock. Jag brukar sätta upp en virtual machine och testa sånt här innan jag gör det på riktigt.
3) Se ovan, antar jag.
4) md-stöd i kärnan + mdadm.

X370 Taichi / R7 1700 @ 3.75 GHz 1.2 V / 2x8 GB 3200 MHz CL16 / MSI GTX 1070 Gaming, OC / Samsung 960 EVO 500 GB / Corsair RM650x
LG G6 (H870)

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Okt 2005

Se där, här sparade man alltså 269kr. ^^ Är det till någon nackdel om jag ändå skulle köpa det där kontrollerkortet jag länkade? Skulle jag få använda mig av mdadm oavsett om jag kör med eller utan det?

Thomas, md-stöd i kärnan? Jag kör Ubuntu server 8.04. Finns md-stöd redan i dess kärna eller måste jag kompilera själv?

| Chieftech Mesh | Asus x38 Maximus Formula | Intel e8200 2.67@3.44 | PowerColor 5850 1GB | 4*1 Crucial 8500 | Corsair SSD 120GB, WD 750GB| Creative XtremeGamer X-fi // Arcam rPAC + Beyerdynamic DT990 | HP w2207h |

Trädvy Permalänk
Hedersmedlem
Plats
Uppsala
Registrerad
Jul 2001

Det lär finnas

Antagligen så blir det precis samma sak med som utan kontrollerkortet. Jag kan inte påstå att jag har någon erfarenhet av hårdvaru-raid, men vad jag hört så är RAID5 oftast ingen höjdare med hårdvara, speciellt inte icke-highend-kort.

De flesta billiga korten kör väl ändå beräkningarna i mjukvara, så man tjänar antagligen inget alls.

X370 Taichi / R7 1700 @ 3.75 GHz 1.2 V / 2x8 GB 3200 MHz CL16 / MSI GTX 1070 Gaming, OC / Samsung 960 EVO 500 GB / Corsair RM650x
LG G6 (H870)

Trädvy Permalänk
Medlem
Plats
Oslo
Registrerad
Okt 2002

Ska du ha hårdvaruraid så får du lägga ut en hel del cash för kortet, oftast om inte alltid så brukar de kort som har inbyggt minne vara hårdvaruraid. Då måste man dock tänka på att OS:et har stöd för dessa kort, men detta brukar inte vara något problem i linux.

Kör du en generic kernel så fungerar mdadm i de flesta distar.

Ett tips är att ta en titt på lvm samtidigt så får du ett mer flexibelt system.

Trädvy Permalänk
Medlem
Plats
Finland
Registrerad
Nov 2002

Fördelen med ett kontrollerkort är att det oftast är ganska klart hur man bygger och reparerar sina arrays. Samt att om man flyttar kortet och diskarna till en annan dator hittas arrayn pånytt.
FÖrdelen med softraid är att du kan flytta diskarna till vilken/vilka kontrollers som hälst och ändå få upp din array.
Prestandamässigt skall det inte vara någon större skillnad mellan ett skilt billigt kontrollerkorts raid5 och en softraid. Båda gör paritetsberäkningarna i processor.
Jag antar att det är till en hemma server, så då spelar prestandan inte egentligen någon större roll. Men i nätverk med många användare och många som ofta vill åt saker på serverns hårdsskiva, lönar det sig att skaffa ett dyrare kontrollerkort som sköter paritetsberäkningarna.

Hp Workstation Z800, DUAL Xeon X5570, 24GB RAM, Asus GTX660, 2 x 128GB SSD + 150GB Velociraptor
Server: AthlonII X4, 4GB DDR1333, GF 7200GS, 2,5" 500GB 5,4krpm för OS.

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Okt 2005

Då blir det nog att köpa 3 nya WD diskar då! ^^ Kommer ha en 200gb WD som systemdisk.

Om jag nu köper 3 sprojlans diskar som inte varit formaterade, hur går jag då tillväga? Jag har ju alltid fixat det vid installation av OS.

Hur får man Ubuntu att hitta diskarna till att börja med?
Vilket program används för att formatera dem?
Kommer Linux automatiskt ge diskarna "namn" i form av /dev/hdb, hdc, hdd etc, vid en formatering?

| Chieftech Mesh | Asus x38 Maximus Formula | Intel e8200 2.67@3.44 | PowerColor 5850 1GB | 4*1 Crucial 8500 | Corsair SSD 120GB, WD 750GB| Creative XtremeGamer X-fi // Arcam rPAC + Beyerdynamic DT990 | HP w2207h |

Trädvy Permalänk
Medlem
Plats
Oslo
Registrerad
Okt 2002

Det du måste göra är att skapa en partitions tabell på dem av typen fd (i fdisk). Efter det skapar du en array med hjälp av mdadm som du tillsist kan formatera.

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Okt 2005

Jag hittade en guide, dock gammal, som jag hoppas fungerar. http://linux.omnipotent.net/article.php?article_id=6979

Jag förstår fortfarande inte riktigt. Man ska kolla efter "heads" och "sectors" i bios, ok.

Sen ska man använda detta kommando när systemet senare är uppstartat: fdisk /dev/hdb
Det jag fortfarande inte hajar är var /dev/hdb kommer ifrån. Får hårddisken "namnet" /dev/hdb automatiskt av linux om den installeras i sataport nr.2?

| Chieftech Mesh | Asus x38 Maximus Formula | Intel e8200 2.67@3.44 | PowerColor 5850 1GB | 4*1 Crucial 8500 | Corsair SSD 120GB, WD 750GB| Creative XtremeGamer X-fi // Arcam rPAC + Beyerdynamic DT990 | HP w2207h |

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Aug 2003

Jag måste bara passa på att fråga hur bra stöd SiL3114 har i Linux och FreeBSD? Jag har också planer på att bygga en filserver och tänkte då köra mjuk-raid och endast använda kortet för att få fler kontakter.

I don't want to be human! I want to see gamma rays! I want to hear X-rays! And I want to - I want to smell dark matter!

Trädvy Permalänk
Hedersmedlem
Plats
Uppsala
Registrerad
Jul 2001
Citat:

Ursprungligen inskrivet av warzo
Samt att om man flyttar kortet och diskarna till en annan dator hittas arrayn pånytt.

Det är ju inga problem med md heller (oavsett kontrollerkort eller inte).

X370 Taichi / R7 1700 @ 3.75 GHz 1.2 V / 2x8 GB 3200 MHz CL16 / MSI GTX 1070 Gaming, OC / Samsung 960 EVO 500 GB / Corsair RM650x
LG G6 (H870)

Trädvy Permalänk
Medlem
Plats
Singapore
Registrerad
Okt 2003
Citat:

Ursprungligen inskrivet av cable_guy6
Jag måste bara passa på att fråga hur bra stöd SiL3114 har i Linux och FreeBSD? Jag har också planer på att bygga en filserver och tänkte då köra mjuk-raid och endast använda kortet för att få fler kontakter.

Linux har bra stöd.

EDIT: Hmm, det är kanske 3112 jag har... jag blev osäker nu.

Trädvy Permalänk
Medlem
Plats
/bin/bash
Registrerad
Mar 2002

Jag kör två raid5 med mdadm, har gjort så ett tag. Jag har bara kontrollerkort, Promise TX4, och det funkar fint. Man får ju inga gigantiska skriv/läs hastigheter men man kan inte räkna med så mycket då man kör på joeschmoe hårddiskar mm. WESTERN DIGITAL CAVIAR SE16 16MB

root@deg:~# hdparm -tT /dev/md0 ; hdparm -tT /dev/md1 /dev/md0: Timing cached reads: 802 MB in 2.00 seconds = 400.59 MB/sec Timing buffered disk reads: 340 MB in 3.02 seconds = 112.69 MB/sec /dev/md1: Timing cached reads: 802 MB in 2.00 seconds = 400.13 MB/sec Timing buffered disk reads: 338 MB in 3.01 seconds = 112.26 MB/sec

Cisco - Linux - VMWare
-- Citera mig om ni vill få återkoppling --

Trädvy Permalänk
Hedersmedlem
Plats
Uppsala
Registrerad
Jul 2001

deegan: Hur många diskar kör du?

# hdparm -tT /dev/md0 /dev/md0: Timing cached reads: 1568 MB in 2.00 seconds = 783.83 MB/sec Timing buffered disk reads: 160 MB in 3.02 seconds = 52.94 MB/sec


3 x 200GB (två WD 200GB IDE, en Seagate 7200.8 SATA 250GB (50GB till annat)).

X370 Taichi / R7 1700 @ 3.75 GHz 1.2 V / 2x8 GB 3200 MHz CL16 / MSI GTX 1070 Gaming, OC / Samsung 960 EVO 500 GB / Corsair RM650x
LG G6 (H870)

Trädvy Permalänk
Medlem
Plats
/bin/bash
Registrerad
Mar 2002

5st i varje, 5x500gb i md0 och 5x320gb i md1.

Cisco - Linux - VMWare
-- Citera mig om ni vill få återkoppling --

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Okt 2005

Skaaaaaapligt med space, deegan!! Runt 3-3.5TB att lagra på..

vad gäller en tidigare fråga jag hade, får hårddiskarna automatiskt namnen /dev/hda, hdb, hdc etc när man stoppar dem i datorn? För hur ska fdisk annars veta vilken disk man menar? Är guiden jag länkade tidigare oxå värd att följa om man ska installera nya diskar?

| Chieftech Mesh | Asus x38 Maximus Formula | Intel e8200 2.67@3.44 | PowerColor 5850 1GB | 4*1 Crucial 8500 | Corsair SSD 120GB, WD 750GB| Creative XtremeGamer X-fi // Arcam rPAC + Beyerdynamic DT990 | HP w2207h |

Trädvy Permalänk
Medlem
Plats
/bin/bash
Registrerad
Mar 2002

Alltså det beror på vad du har för diskar. IDE diskar ställer föga till med några benämningsproblem. Däremot har udev en jävla dålig ovana av att vara helt värdelös och kan därför döpa om dina sata diskar vid exempelvis ny kernel install eller liknande. Kan dra ett exempel om att min root disk var /dev/sda vid install men blev /dev/sdd vid reboot, jag hatar udev. Så enklaste sättet att komma ifrån en kernel panic där det är helt sonika att kolla under boten vilken disk som har mer än en partition och boota med CD och köra (i mitt fall på slacken) boot root=/dev/sda2 och därefter installera lilo mm. och reboota en gång så man ser att det gick rätt till, sedan är det bara att puncha in diskar i din raid och när du ska expandera är det inte svårare än att du mountar av (om du inte använder xfs that is) och reshapar -> resize2fs'ar och ler åt din raid som nu har mer utrymme.

EDIT: såhär utökar och reshapar jag iaf mina arrayer.

Lägg till ny disk: mdadm /dev/md0 --add /dev/nydisk Säg till arrayen att han/hon ska få påökt: mdadm --grow /dev/md0 --raid-devices=nytt-antal-diskar Att resiza är inte svårare än att man fsck'ar: fsck.ext3 /dev/md0 Efter att den fattar hur mycket utrymme den nu har måste man ändra storleken: resize2fs /dev/md0

Cisco - Linux - VMWare
-- Citera mig om ni vill få återkoppling --

Trädvy Permalänk
Medlem
Plats
Oslo
Registrerad
Okt 2002
Citat:

Ursprungligen inskrivet av Thomas
deegan: Hur många diskar kör du?

# hdparm -tT /dev/md0 /dev/md0: Timing cached reads: 1568 MB in 2.00 seconds = 783.83 MB/sec Timing buffered disk reads: 160 MB in 3.02 seconds = 52.94 MB/sec


3 x 200GB (två WD 200GB IDE, en Seagate 7200.8 SATA 250GB (50GB till annat)).

Såg att jag hade skaplig timing på min server

/dev/md0: Timing cached reads: 7370 MB in 2.00 seconds = 3687.81 MB/sec Timing buffered disk reads: 634 MB in 3.00 seconds = 211.12 MB/sec

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Okt 2005

Det där var mkt givande deegan och jag lär återkomma hit för att kolla på ditt inlägg där.

Dock är jag fortfarande inte riktigt hundra på hur det kommer gå till när jag stoppar i tre sprojlans diskar i servern. Kunde jag använda min ubuntu server skiva och vid boot installera dem i systemet eller skulle det göras i systemet? Jag har fortfarande inte fått svar på om diskarna får en benämning/"namn" automatiskt vid montering i servern.

| Chieftech Mesh | Asus x38 Maximus Formula | Intel e8200 2.67@3.44 | PowerColor 5850 1GB | 4*1 Crucial 8500 | Corsair SSD 120GB, WD 750GB| Creative XtremeGamer X-fi // Arcam rPAC + Beyerdynamic DT990 | HP w2207h |

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Aug 2003
Citat:

Ursprungligen inskrivet av ChristofferC
Linux har bra stöd.

EDIT: Hmm, det är kanske 3112 jag har... jag blev osäker nu.

Vad jag har sett så ska Linux ha bra stöd både med och utan raid aktiverat men FreeBSD har iaf lite problem med raid. Det ska nog inte vara några problem för just nu ser det ut som att jag ska köra Linux på den.

Frågan nu är bara om jag ska investera i fem diskar med en gång eller börja på tre och bygga ut efter hand.

I don't want to be human! I want to see gamma rays! I want to hear X-rays! And I want to - I want to smell dark matter!

Trädvy Permalänk
Medlem
Plats
::1
Registrerad
Jun 2005
Citat:

Ursprungligen inskrivet av deegan
...
Däremot har udev en jävla dålig ovana av att vara helt värdelös och kan därför döpa om dina sata diskar vid exempelvis ny kernel install eller liknande.
...

Det bör väl kunna undvikas genom att montera via UUID istället för partitionsnamn. Vill minnas att jag sett någon av de nyare *buntu använda sig av det.

Trädvy Permalänk
Medlem
Plats
/bin/bash
Registrerad
Mar 2002
Citat:

Ursprungligen inskrivet av NakedApe
Det bör väl kunna undvikas genom att montera via UUID istället för partitionsnamn. Vill minnas att jag sett någon av de nyare *buntu använda sig av det.

'

Jo man kan, men det är inte rätt hehe.. Nej men skämt åsido så tycker jag verkligen att udev är helt meningslöst när det kommer till hårddiskar och nätverkskort det är dom två typiska grejjer som udev kan rent ut sagt pissa på när man byter kernel. Har exempel från en maskin med två nätverskort där udev konstant försköt nätverkskorten från eth0-1 till eth2-3 nästa upgradering och vid en till recompile blev det eth4-5. Samma här med diskarna, man byter upp kernel och helt plötsligt probas diskarna i den ordning man förväntar sig, dvs från sataport1 och framåt istället för huller om buller. Det går ju att göra något åt saken men det är bara det att udev ska ge f-n i sånt där, det är en sak att man kanske vill att allt som är en usb-storage alltid ska heta /dev/usbstorage eller något i den stilen men hårddiskar som ändå får annses vara tämligen statiska grejjer och speciellt nätverkskort är ju helt nobrainer. Och vill man göra något åt saken så ska man lista ut den regex-rebus som är just udev regler, it's bloody horrible me tells you.

Det gick lite offtopic men jag hatar verkligen udev, och jag är inte ensam.

För att svara på frågan om hur det blir om du stoppar i 3 nya diskar så får du anta att om de är SATA diskar kommer dom att probas i rätt ordning, dvs du kommer få /dev/sdb /dev/sdc /dev/sdd, men dom kan jävlas också. Stoppar du i IDE diskar brukar dom probas normalt och udev brukar inte jävlas. En sak som du kan vara säker på är att om du stoppar i en 5:e disk i den maskinen så kommer den _inte_ att råka ta över ett enhetsnamn, och det spelar för den delen ingen roll heller för att om du rebuildar din array kommer du ändå ha kvar datan som ligger på dom.

Cisco - Linux - VMWare
-- Citera mig om ni vill få återkoppling --

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Okt 2005

Nuja, nu fick jag klarhet i det. Det låter ju inte så bökigt!

Låt säga att en av mina diskar går sönder, hur lång tid tar det för min lilla sempron LE-1150 att återskapa min kära data om jag nu har 3*500gb?

| Chieftech Mesh | Asus x38 Maximus Formula | Intel e8200 2.67@3.44 | PowerColor 5850 1GB | 4*1 Crucial 8500 | Corsair SSD 120GB, WD 750GB| Creative XtremeGamer X-fi // Arcam rPAC + Beyerdynamic DT990 | HP w2207h |

Trädvy Permalänk
Medlem
Plats
/bin/bash
Registrerad
Mar 2002
Citat:

Ursprungligen inskrivet av Benkaboy
Nuja, nu fick jag klarhet i det. Det låter ju inte så bökigt!

Låt säga att en av mina diskar går sönder, hur lång tid tar det för min lilla sempron LE-1150 att återskapa min kära data om jag nu har 3*500gb?

Det tar några timmar, lite beroende på hur mycket utrymme som ska till etc. men det finns några filer som man kan tweaka i för att få upp farten på det hela. Det finns två filer /proc/sys/dev/raid/speed_limit_max och /proc/sys/dev/raid/speed_limit_min som bestämmer hur mycket högsta respektiva lägsta hastigheten en array får reconstructa i. Det är användbart även åt andra hållet om du exempelvis håller på med datorn och samtidigt ska resynca och reconstruct tar all kräm då kan man vilja sänka värdet där. För att sätta att exempelvis minsta reconstructhastigheten ska vara 7mb/s så kör du helt enkelt..

echo 7000 > /proc/sys/dev/raid/speed_limit_min

Mina arrayer reconstructade i typ 35-45mb/s senast jag gjorde det och det är acceptabelt imo, tog typ 11h. Jag resyncade en array med 4x146gb SAS diskar på jobbet för någon vecka sedan och det tog typ 30min, men det är lite hetare hårdvara så du får nog räkna med att det tar allt från 3-4h och uppåt, givet beroende på diskstorlek och 500gb är trotts allt 500gb.

Cisco - Linux - VMWare
-- Citera mig om ni vill få återkoppling --