Hårdvaru RAID eller ZFS i proxmox?

Går hårddisken att läsa om raidkortet går sönder?
Jag tror det fungerar med raid 1, men bra om någon som vet kan svara.
Hårdvaru raid avlastar processorn, men går det sönder är det svårare att rädda datan (alltså om raidkortet går sönder), men dom ovan vet ej om det gäller raid 1 eller bara mer avancerade raid som 5 eller 6.
Annars har många moderkort inbyggt raid med...

Hårdvaruraid brukar vara ett gissel när det skiter sig. Då måste du hitta ett liknande kort eftersom de kör sina egna standarder. Du kan antagligen inte ens montera en raid 1 i linux eftersom hårddisken inte ser ut som normalt. Data skrivs till början av disken så att korten vet var och hur de ska hantera dem. Det skiljer heller inte så mycket prestanda på hårdvaru- och mjukvaruraid idag så håll dig till zfs. zfs är bättre än raid på grund av resiliens och återsynkroniseringsfördelar.

Går att byta mjukvaran i LSI 9260-8i så den fungerar som HBA-kort iställer för Raid.
Gjort det på min jag har i FreeNAS burken och kör ZFS RaidZ

Egentligen ingenting förutom att du låser dig till en specifik tillverkare om du kör "hårdvaru-RAID". Kör korten som en HBA (IT-mode) och du kan sedan valfritt använda vad som helst för dina arrayer, och skiter det sig så kan du lätt flytta det till en annan dator med samma mjukvara och få igång det igen. Så kör aldrig RAID på korten direkt utan skapa arrayerna direkt med OS:et du kör, om det nu är TrueNAS, Unraid, Windows eller valfri Linux-dist etc. Men se alltid till att kontrollern är i IT-mode och inte IR-mode, mjukvaru-RAID mår bäst när den kan snacka med disken direkt utan något mellanlager som kan strula och sabba din data.

"Hårdvaru-RAID" och "mjukvaru-RAID" är eg exakt samma sak, finns ingen hårdvara i RAID-kortet som hanterar RAID:en åt dig utan det är också en mjukvara i dess firmware som gör det. Sedan kan du ha diverse acceleratorer, batteri-backuper osv men dessa har inget med RAID-driften att göra eg utan bara extrafunktioner för att säkerhetsställa att din data skrivs och skrivs snabbt. Men som en ovanstående nämnde, pajar kortet så måste du oftast hitta samma kort, och t.om samma firmware på kortet för att ens börja försöka återskapa din data.

Höll på att mecka och testa detta i många år, hade en kraschad array pga trasigt RAID-kort som skrev skräp på diskarna, nu kör jag endast typ TrueNAS (ZFS) på omflashade HBA-kort (IT-mode) och det funkar perfa. Skulle kortet eller datorn paja så kan jag lätt flytta över diskarna till annan dator, dra in TrueNAS igen och importera arrayen så är jag igång igen...

Jag hade gått på ZFS, alla dagar i veckan.

ZFS är väldigt enkelt, zero-administration filesystem i princip. Du skapar din pool (glöm inte med ashift=12) med diskarna du vill använda, och sedan skapar du filsystem på poolen. Ett filsystem i ZFS är en volym, en mapp och ett ZFS-filsystem med egna properties (encryption, compression och en del andra). ZFS sköter bit-rot, checksums så din data håller sin integritet över tid. Det kostar i princip inget CPU att sätta compression=lz4 på din pool så sparar du lite utrymme. Du kan också ta snapshots per filsystem för att enkelt kunna rulla tillbaka till en tidigare tid (låt oss anta att en Windows-maskin vars disk är en .raw på ett ZFS-fs blir attackerat av ransomware, då är det bara att göra en zfs rollback pool/win-vm@igår så är maskinen återställt till gårdagens stadie. Du kan även skicka filsystem via SSH till en backup någon annanstans (som också kör ZFS).

Villl du sedan leka lite så finns det mycket att fördjupa sig i, om man vill. Tex:

ZFS tycker om mycket minne, behöver inte vara ECC, och per default halva ditt minne kommer gå till ZFS cachen ARC (Adaptive Replacement Cache) som håller två tabellvärden; Most Frequently Used-data och Most Recently Used-data. Om du då alltid accessar samma filer om och om igen, kommer du inte läsa från disk, datan kommer finnas i minnet, så det är gynnsammt om du har mycket minne allokerat till ARC, och i din maskin för övrigt. Du kan alltid ändra det värdet genom att skicka in ett nytt byte-värde i /sys/module/zfs/parameters/zfs_arc_max. Detta är bara prestanda-ökningar, nice-to-haves.

Du kan använda en snabb SSD, partitionera den, och använda en partition för L2ARC (Level 2 ARC), som en snabb(are) cache än HDD för att ha ytterligare ett lager flash-baserad cache mellan ARC och dina roterande diskar. En annan partition kan du använda för en sk. special metadata device. Denna partitionen kommer bara innehålla metadata, vilket kan, ifall du har väldigt många små filer tex, dramatisk öka din läs-prestanda eftersom ZFS vet exakt vart blocken som innehåller datan finns då den läser metadatan från den snabba SSDn.

Cache-disken kan du ta bort från din pool om du inte vill använda den mer, men inte en special metadata device, så om du vill leka lite med ZFS först, så gör det innan du börjar lagra data där för att det är ofta man destroyar och re-creatar en pool tex i början.

Lycka till!

Edit: Håller med @mrpijey ovan. Om du kör med RAID-kort så kör dem i passthrough-mode så OS får direkt-access till diskarna.

Ja du kan ha separat skriv- och läscache, dvs ZIL och L2ARC beroende lite på hur du vill cacha. Allt tillgängligt minne i servern kommer ju användas för läscache också så bli inte orolig om din server rapporterar att allt minne är använt. Jag har en server med 2TB RAM och en array på strax över 100TB och jag kör bara skrivcache t.ex för att se till att all data skrivs snabbt till SSD:n och att då sedan ZFS ser till att det skrivs rätt till arrayen, även om servern skulle krascha.

@Cloudstone förklaring av allt ovan är väldigt bra, men om du vill ha det enkelt så kör nåt som t.ex TrueNAS där allt är väldigt enkelt att sätta upp utan att behöva grotta ner sig i en terminal. Själv kör jag TrueNAS på alla mina storageservrar då jag också kan köra central management och ha lite mer standardiserad övervakning på allt.

Om du vill ha en säker skrivning till arrayen, ja :).

Absolut! Dock kommer inte detta att komprimera befintlig data, utan bara ny data som skrivs till din pool. Aktiverar du komprimering på din pool kommer alla filsystem undertill att ärva egenskapen också.

# zfs set compression=lz4 <pool>

Om du har ZFS 2.0 kan du köra med ZSTD-algoritmen istället för LZ4. ZSTD ska vara mer effektiv.
Du ser din ZFS version med:

# zfs --version

# zfs set compression=lz4 <pool>

# zfs --version

Som @Cloudstone skriver kan du inte aktivera compression på redan skriven data, om du verkligen vill ha compression på datan du redan har kan du antingen kopiera den till en ny fil, vilket kommer skriva om den. Eller om du har tillräckligt med ledig disk, ta en snapshot, skicka den till ett nytt dataset, ta bort det gamla och byta namn på det nya.