RAID1 för Server-OS. Bytt Disk, men WTF?

Permalänk
Medlem

RAID1 för Server-OS. Bytt Disk, men WTF?

Tjo,

Jag har fått lite problem med min hemma-server och dess hårdvaru-RAID.
First things first, hårdvaran:

  • Moderkort: Supermicro X9SRL-F

  • CPU: Intel Xeon E5-1620 / 3.6 GHz

  • RAM: 2 x KINGSTON 16GB 1600MHZ DDR3 ECC REG

  • HDD-controller: LSI SAS 9211-8i RAID Controller 6Gb/s PCI-Express

  • Storage: 6 x Seagate Barracuda 3TB (körs med ZFS)

  • OS: 2 st SATA-diskar (Seagate) i moderkortets RAID1

Det hela började med att i stort sett alla tjänster (ssh, samba etc) slutade fungera. Jag försökte då logga in via IPMI men den terminalen spottade bara ur sig ett par error-meddelanden med jämna mellanrum. En omstart var given. Där möttes jag dock av detta:

Jag drog efter ännu en omstart slutsatsen att min 500GB-disk hade pajat.

Jag skaffade snabbt och lätt en ny, på 1TB, och startup-infon gav då detta istället:

So far, so good!

När servern fick fortsätta med uppstarten landade den dock i en initramfs-console:

Detta verkade lite lustigt. Jag knappade några meningslösa kommandon och funderade en kort stund. Omstart igen. Men nu var det kört, den ville inte starta alls. Den gick istället bara vidare i boot-sekvensen och verkade helt omedveten om mina OS-diskar i RAIDen:

Många frågetecken:

  • Intel RAID-skärmen visar "Rebuild" och "Volumes with "Rebuild" status will be rebuilt within the operating system." Är detta korrekt beteende?

  • Varför kan den inte rebuilda direkt, kanske via en option i menyn?

  • Det känns som ett moment-22: Kan inte boota OS pga fel i RAID, men behöver boota OS för att laga RAID. Är det inte alls meningen att man ska köra ett OS i denna typ av setup?

  • Hur kan jag gå vidare och få ordning på denna RAID? Jag vill förstås undvika att behöva ominstallera hela systemet.

  • Var det något fel jag kan ha gjort i skapandet av RAIDen som gjorde att jag hamnade här? Om jag måste ominstallera är jag ju inte direkt sugen på att köra samma setup ifall jag inte kan undvika samma situation i framtiden.

Visa signatur

// eZZe

Permalänk
Medlem

Kör du ESXi på servern?

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem

Nej, men jag kör VirtualBox.

Jag kan även nämna att jag har provat att boota med en live-ubuntu på usb-sticka. Men ingen rebuild hade kört under det dygn den fick stå på.

Visa signatur

// eZZe

Permalänk
Medlem

Till att börja med är det största problemet att du inte använder dig av hårdvaruraid trots att du har ett RAID-kort. Du har använt något som jag personligen brukar kalla "fake-raid" (vet tyvärr inget bättre namn), du har helt enkelt använt dig av det raid-kretsen på moderkortet, i detta fallet en från Intel.

För att utföra en rebuild måste detta göras från OS:et med andra ord måste du kunna boota samt använda ett operativsystem med stöd av Intel's programvara.

Dock borde detta inte hindra dig från att boota. Pröva med att ta bort den nya disken (sata-porten) från RAID i BIOS, det kan vara så att den försöker boota från den tomma disken.

Svar på frågor:

Intel RAID-skärmen visar "Rebuild" och "Volumes with "Rebuild" status will be rebuilt within the operating system." Är detta korrekt beteende?

Detta är korrekt, det är ingen hårdvaruraid.

Varför kan den inte rebuilda direkt, kanske via en option i menyn?

Du har inte använt dig av hårdvaruraid.

Det känns som ett moment-22: Kan inte boota OS pga fel i RAID, men behöver boota OS för att laga RAID. Är det inte alls meningen att man ska köra ett OS i denna typ av setup?

Du bör kunna boota från den gamla disken.

Hur kan jag gå vidare och få ordning på denna RAID? Jag vill förstås undvika att behöva ominstallera hela systemet.

Steg 1 är att försöka boota från den gamla disken och därefter med hjälp av Intel's mjukvara göra en rebuild.

Var det något fel jag kan ha gjort i skapandet av RAIDen som gjorde att jag hamnade här? Om jag måste ominstallera är jag ju inte direkt sugen på att köra samma setup ifall jag inte kan undvika samma situation i framtiden.

Du hade med största sannolikhet inte haft detta problemet med varken mjukvaru- eller hårdvaruraid.

Permalänk
Skrivet av Geeeh:

Till att börja med är det största problemet att du inte använder dig av hårdvaruraid trots att du har ett RAID-kort.

Det stämmer säkert som du säger att det inte är en "riktig" hårdvaru-RAID om man kör med kretsen på moderkortet (även om jag trodde att även kontrollers som var placerade på moderkort kunde vara riktiga), men eftersom TS kör med ZFS så kommer (ska) hans kontrollerkort köras i "IT-mode" vilket gör att RAID inte används på det kortet. Säger alltså endast att TS faktiskt inte har något riktigt RAID-kort till förfogande utan behöver ett till isf.

Angående det andra ("fake-raid") så har jag aldrig hört att det är så, blev besviken när jag hörde det. Kör själv med samma moderkort och använder RAID-kretsen på det för just OS. Finns 20 platser i mitt chassi, jag använder 8st vilket fyller ett kontrollerkort med 2 SAS. Om jag ska köra resten av diskarna också så behöver jag 2st kontrollers till för diskarna i arrayerna. Om jag måste ha en för OS-disken då också så blir det 4 kontrollerkort. Har inte hittat något kort i rimlig prisnivå som har fler än 2 SAS, men kanske får bli paya för nått större kort då. Det ska ju kunna köras som ren HBA också, utan RAID.

Frågan är om intel-kretsens mjukvara fungerar i ubuntu eller så då? Då kan man väl köra live cd (usb) och fixa RAID1:an där?

Permalänk
Medlem
Skrivet av Fastidious:

Det stämmer säkert som du säger att det inte är en "riktig" hårdvaru-RAID om man kör med kretsen på moderkortet (även om jag trodde att även kontrollers som var placerade på moderkort kunde vara riktiga), men eftersom TS kör med ZFS så kommer (ska) hans kontrollerkort köras i "IT-mode" vilket gör att RAID inte används på det kortet. Säger alltså endast att TS faktiskt inte har något riktigt RAID-kort till förfogande utan behöver ett till isf.

Angående det andra ("fake-raid") så har jag aldrig hört att det är så, blev besviken när jag hörde det. Kör själv med samma moderkort och använder RAID-kretsen på det för just OS. Finns 20 platser i mitt chassi, jag använder 8st vilket fyller ett kontrollerkort med 2 SAS. Om jag ska köra resten av diskarna också så behöver jag 2st kontrollers till för diskarna i arrayerna. Om jag måste ha en för OS-disken då också så blir det 4 kontrollerkort. Har inte hittat något kort i rimlig prisnivå som har fler än 2 SAS, men kanske får bli paya för nått större kort då. Det ska ju kunna köras som ren HBA också, utan RAID.

Frågan är om intel-kretsens mjukvara fungerar i ubuntu eller så då? Då kan man väl köra live cd (usb) och fixa RAID1:an där?

Kör du FreeBSD kan du köra "root on zfs" på speglade diskar, alltså är hw-raid onödigt. Om du gör så har du i ditt fall 8 sata-portar över till ZFS

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem

Inte mycket till hjälp men den inbyggda så kallade intel raid är inte mycket att hänga i granen.
Hade jag varit du så hade jag införskaffat en redig raid-kontroller och helt enkelt börjat om.
Och hoppas på att du har backup

Permalänk
Medlem

Först och främst, tack Geeeh för svaret som ledde mig vidare!

Denna sida förklarar ju en del kring fakeRAID: https://help.ubuntu.com/community/FakeRaidHowto (Läst på den förr, men inte insett att det gällde mitt system)

Dock säger de följande:

Citat:

Another reason for using FakeRAID is if you define a disk mirror and a hard drive crashes, you can down the system and replace the failed drive and rebuild the mirror from the BIOS without having to boot into the operating system

Det verkar vara fel helt enkelt.

Uppenbarligen hade det varit bättre att köra en software-raid á la linux, verkar vara mdadm som gäller för det. Det får bli en framtida fråga att eventuellt försöka migrera befintlig installation till detta, annars ominstallera på en färsk sådan konfiguration. Nu vill jag först bara se om jag kan få till en rebuild på denna setup.

Som jag förstått det så är det dmraid under ubuntu som kan hantera fakeRAID, och förhoppningsvis sköta rebuild. Min plan härnäst är således:

  • Stänga av servern

  • Rycka mina ZFS-diskar (för att inte råka göra nått dumt när jag ska härva med disk-verktyg jag inte kan)

  • Starta live-ubuntu från usb

  • Installera dmraid

  • Se vad jag kan få ut, och om jag kan rebuilda

Visa signatur

// eZZe

Permalänk
Medlem

Tacka gud för att Raidcontrollern min på HP N40L inte fungerar på Nas4free, så kör med Mjukvaru på ZFS istället! Hade verkligen inte en aning om att deras FakeRaid från Intel fungerade såpass dåligt! Hoppas det löser sig för dig