Permalänk
Medlem

Raid kort långsam

Hej Alla

Jag köpte ett raid kort (IBM M1015), installerade och den fungerar som det ska (tror jag). Men jag upplever att den går lite långsam. När jag sätter upp raid 1, och installerar på den tar nästan dubbel tid att installera. När jag kopplar HDD direkt till moderkort, installation går extremt fort.
Skickar lite bilder på raid-korts inställningar:
https://njanja.myftp.org/index.php/s/R9KdqJX3KmJRkpK
https://njanja.myftp.org/index.php/s/TRMzAja8FR7aPnF
https://njanja.myftp.org/index.php/s/bYtNGmX4WCJXxFF

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem

Kolla din cache inställning och att den står på Write Back och inte Write Through. Kan göra skillnader som du pratar om.

Permalänk
Medlem

Har/är samma situation som du och har varit tvunget att gräva lite....

Du kör inte i IT-mode utan kör i IR-mode gissar jag, om du använder dess HW-RAID1-funktion

Kortet är samma typ som LSI 9210-8i/LSI9211-8i (sista siffran i stort sett säger vilken kontakt som används för dess anslutning) och finns i en rad olika varumärken men kortutseendet närmast identisk och firmwaren flyttbart mellan modellerna. Dells versioner brukar heta H200 och H300

Kortet i IR-läget (dvs. HW-RAID) är dum i huvudet bokstavligen och stänger av write-cache på anslutna hårddiskar avsiktligt vare sig du vill eller inte (för att det inte skall bli konflikt och osynk mellan diskarna i RAID1-paret då det är en liten portion NVSRAM på kortet som håller reda på hur långt skrivningarna kommit på respektive disk för att klara en plötslig strömavbrott mitt under skrivningarna) och prestandan blir vad det blir eftersom kortet inte har någon RAM-cache alls.

Det som däremot slår på diskwrite-cachen på diskarna (och det är heller inget du kan styra via BIOS) är när du använder kortet som RAID0 med stripe...

Gemensamt är att du kan inte göra ett skit åt det då det finns ingen kontroll för slå av och på write-cache alls i kortets BIOS och du kan heller inte använda sdparm (SAS/SCSI-versionen av hdparm) då det bara säger att det går inte, kan inte och vill inte... (detta i ubuntu 18.04 LTE...) och lika illa fungerar det med hdparm. Det beror på att kortet inte visar upp diskarna fysisk utan som virtuell disk mot datorn och OS och därmed mycket fattigare kommandouppsättning.

Vill du kunna styra över diskarnas inställning för dess write-cache så måste du flasha om kortet i IT-mode och använda mjukvaru-RAID i använda miljön - vilket i linuxvärlden oftast är mdadm-RAID eller ZFS, BTRFS kan också användas den vägen (och jag anser det relativt riskfritt efter nu snart 3 år, har haft mer strul med mdadm-RAID i en köpeNAS med korrupta filer än med BTRFS i native RAID5 på 7 diskar som aldrig gett några förlorade filer senaste 3 åren och trots diskras) men görs inte av de som säljer köpeNAS eller har alternativ för det i deras GUI utan låter BTRFS ligga på en mdadm RAID i dessa produkter.

Har nämligen slagits med samma saker med pekmässiga prestandabekymmer när BTRFS uppdaterar metadatat mot diskarna med mycket mogen filsystem där en write-cache skulle hjälpa oerhört.

Nu skall sägas att det gäller dess befintliga SW-versioner som följde med korten och jag har inte uppdaterat ännu med LSI/broadcoms senaste versioner ännu men gissar att det inte är någon större skillnad då dess sista fix handlar mer om UFEI-kompabilitet mm.

Om du flashar om kortet till IT-mode [1] så bör du kunna slå på diskens write-cache med:

"sdparm --set=WCE --save -H /dev/sdx"

kollas sedan med "sdparm --page=ca --long /dev/sdx"

och då skall i listan visas en rad med

"WCE 1 [cha: y, def: 1, sav: 1] Write cache enable"

som visar att det är aktivt och att det kommer ihåg det till nästa start.

Detta är dock bara provat på SAS-disk - man kanske får går via " hdparm -W1 /dev/sdx " och sedan kolla med "hdparm -W /dev/sdx " för SATA-diskar som då skall svara:

"/dev/sdx:
write-caching = 1 (on)"

Dock har jag inte koll om det sätts permanent i SATA-disken eller måste köras var gång datorn startas.

---

Så länge du kör kör din "IBM M1015" i IR-mode så kan du inte göra ett skit åt diskarnas skriv-cache då det är hårdkodat i LSI-921x-familjens olika korts firmware...

[1] OBS:s all data på diskarna försvinner och du måste börja från början och ladda in allt på nytt igen när du skapat ny mjukvaru-RAID, skapa ny filsystem etc. i använda OS:t

Permalänk
Medlem

Hej
Tack för hjälpen.
Problemet är att jag kör ESXI och den har inte någon RAID funktion. Orsaken att jag kör raid-kortet är att jag flyttade allt till en ny låda med hot swap. Att komma åt hot swap, måste jag ha raid kortet. Samt att jag vill ha backup på dessa grejer som ligger på ESXI.

Har inte bestämt mig hur ska jag göra ska jag köra två FreeNAS eller en FreeNAS och ESXI. Upplever lite svårigheter mellan NAS och ESXI, när det gäller backup.

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

Hej
Tack för hjälpen.
Problemet är att jag kör ESXI och den har inte någon RAID funktion. Orsaken att jag kör raid-kortet är att jag flyttade allt till en ny låda med hot swap. Att komma åt hot swap, måste jag ha raid kortet. Samt att jag vill ha backup på dessa grejer som ligger på ESXI.

Har inte bestämt mig hur ska jag göra ska jag köra två FreeNAS eller en FreeNAS och ESXI. Upplever lite svårigheter mellan NAS och ESXI, när det gäller backup.

mvh
Njanja

Du menar att du behöver högre tillförlitlighet på din server?

Skulle säga att det finns för och nackdelar med de olika konfigurationerna du har att välja mellan. Skulle säga att du har din freenas till att ta backup på in esxi varje natt istället.

Permalänk
Medlem

Har läst lite vidare - det verka vara en jäkla massa varianter på 921x, 922x 924x under en rad olika OEM-namn på i stort sett samma hårdvara (dvs. korten är till utseendet lika och det som kanske skiljer är storleken på flash och NVSRAM monterat då de med mer funktioner och mer avancerad BIOS behöver större flash) då alla har LSI2008-chipet i sig.

Det gör att väldigt många av dem går att göra down-grade till en LSI9210-8i firmware i IT-version då enligt ZFS-folket anser det som mest stabil och pålitlig och minst strul med, medans de med 922x och 924x -firmware har en del issue som inte har slagit väl ut i ZFS-världen (dvs. i slutändan gett förlorade RAID för somliga)

---

Ditt problem känner jag lite igen (provade lite med den VMWare som följde med server och var inte speciellt imponerad - men berodde nog på att BBWC på diskkontrollern var paj och det blev sirap för att skrivcachen inte fungerade och upptäckte det först efteråt) och inte så mycket till val eftersom det körs direkt på järnet, vilket gör att man inte kan gömma diskarna i en virtuell volym av mjukvarutyp eftersom VMWare är redan längst ned. En väg att gå kanske är just via ISCSI till en annan burk som sköter lagringen (och kan göras mjukvaru-RAID-mässigt), men då vill man nog ha 10 GB-ethernet lina mellan dessa...

För den typen av drift brukar man ha de mer fullvuxna versionerna av HBA/smart-RAID med RAM-cache med BBWC (batteribackup av RAM-Cache) då diskkontrollerkortet tar jobbet med skriv-cache, men behöver också ha armbågsutrymme för mer avancerade RAID-matriser som RAID5/RAID6,RAID10/RAID50/RAID60 och ytterligare varianter (som dessutom kräver ytterligare licenser för att kunna användas) - men då pratar vi inte om 600:- HBA-kort på ebay utan snarare nolla till i priset om man inte jagar begagnat (varav det svåra är att få med sig en kit med en _fungerande_ BBWC med några år kvar på då orsaken till att dessa kort fasas ut och går ut begagnat beror just på den utkörda BBWC och korten blir segt som sirap)

Jag har lagat 2 stycken sådana BBWC för P400-kontroller kort med 512 MB Cache-ram för HPE-server och just dom är enkla att renovera med 4 st R03/AAA-batterier i en hållare och två lödningar, det är värre med dem som är byggda kring LiIon-batterier då allt är ingjutet och eländigt och det hela är byggt att man skall köpa helt nya... Det går heller inte att ta en batteripack från en modell av smart-array till en helt annan, det är ingen standard där tyvärr...

Nu såg jag av dina bilder att att det troligen är en 9240/9240-version av HBA i och med web-bios och den kanske erbjuder mer möjligheter än plain 9210-i8 IR-firmware när det gäller att slå på skriv-cache på diskarna - men den är som sagt dum i huvudet i 9210-8i IR-version av firmware avseende att man inte kan forcera skriv-cache mot diskarna.

Permalänk
Inaktiv

Du kan pröva att lägga om kylpasta, många RAID kort man köper begagnade så är den nuvarande kylpastan som sten då den har suttit ett tag.

Permalänk
Medlem
Skrivet av jocke92:

Du menar att du behöver högre tillförlitlighet på din server?

Skulle säga att det finns för och nackdelar med de olika konfigurationerna du har att välja mellan. Skulle säga att du har din freenas till att ta backup på in esxi varje natt istället.

Hej
Japp, är ett svar på dina frågor. Jag liter på min server, men jag har inte backup på dom, därför jag är lite orolig och försöker att hitta bra backup lösning.
1:a steget var att få igång site to site med 2st USG (klart)
2:a steget är att få igång att allt fungerar med backup mellan esxi, freenas och synology.
3:e steget få igång vlans, VM-s (lite justeringar) o.s.v.

Det är bara en del av orsaker varför jag ställer så mycket frågor?

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av anon300311:

Du kan pröva att lägga om kylpasta, många RAID kort man köper begagnade så är den nuvarande kylpastan som sten då den har suttit ett tag.

Hej

Tack för bra tips, ska lägga ny kylpasta i helgen.

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB