VM Storage till Proxmox cluster

Permalänk
Medlem

VM Storage till Proxmox cluster

Halloj!

Har idag tre hostar som kör standalone Esxi/Xenserver. Planerar att införskaffa ytligare en host som är tänkt att köra Proxmox. Kommer även vartefter hand migrera över alla VM:s och installera Proxmox på resterande hostar.

Nåväl, tanken med detta är att kunna köra allt i ett cluster och ha någon typ av redundans om en host skulle kasta in handduken. Kommer inte köra HA till en början, sköter allt manuellt om något skulle hända.

För att få detta att funka skulle jag behöva ett storage. Netapp/Nimble/VSAN och liknande SAN lösningar går tyvärr bort då det är långt utanför min budget.

Har kikat på 2x QNAP TS-432PXU tillsammans med 4st Micron 5300 PRO 2TB diskar vardera som får gå i RAID10. Tanken är att köra RTRR mellan NAS:arna för failover. Frågan är hur bra detta kommer att funka i praktiken..

Har ingen flash lagring överhuvudtaget i skrivande stund, så jag kan inte tänka mig att det skulle bli långsammare. NAS:arna har SFP+ 10GbE och diskarna är snabba. Får jag ut 150MB/s+ i throughput till hostarna är jag nöjd.

Gjorde en snabb Visio skiss på hur jag tänker mig att miljön ska se ut:

Tankar, åsikter, idéer?

Andra alternativ jag kan tänka mig är någon form av TrueNas bygge, men det hade varit skönt att ha något som är redo "out-of-the-box" för att minimera problem.

Allting kommer att knytas ihop med en UniFi 10GbE switch, och jag ser helst att storage lösningen är rackmonterad.

//Wille

EDIT: Har ett max tak på 40-50k~ för 2st NAS:ar med cirka 4TB användbart utrymme.

Permalänk

Jag vill aldrig gå tillbaka till separat lagring från hyperkonvergerad virtualisering.
Proxmox stöder en nära-nog nyckelfärdig Ceph-lösning ur box, om du har tillräckligt med maskiner, om de är tillräckligt kraftfulla utöver kraften som krävs för de virtuella maskinerna, samt om du har bra nog lagring i dem (i värsta fall mekanisk lagring med SSD-baserad cache, men gärna all-flash).

I praktiken blir alltså dina hypervisors också byggblock för en distribuerad lagringslösning som går på samma maskiner. Huvudkravet är 10GbE eller bättre för data- och metadatatrafik mellan dina fysiska servrar.

Proxmox stöder också ZFS som mer liknar traditionell lagring, där du kan presentera lagringsvolymer från en eller flera fysiska maskiner till de andra servrarna i farmen i form av NFS-shares. ZFS stöder snapshotting på ett sätt som kan underlätta både för disaster recovery och för backuper av hela virtuella diskar i taget.

Permalänk
Medlem

Kikat lite på Ceph, men det känns oerhört invecklat. Hur vet man hur mycket hårdvara man behöver på respektive server för att en ska kunna ligga nere? Känns lite "RAID5" över det hela..

Permalänk
Skrivet av wille61:

Kikat lite på Ceph, men det känns oerhört invecklat. Hur vet man hur mycket hårdvara man behöver på respektive server för att en ska kunna ligga nere? Känns lite "RAID5" över det hela..

Japp, övergången från traditionell blocklagring till objektlagring är en tröskel, helt klart. För att få lite av en uppfattning:
https://florian.ca/ceph-calculator/

Permalänk
Medlem
Skrivet av Det Otroliga Åbäket:

Japp, övergången från traditionell blocklagring till objektlagring är en tröskel, helt klart. För att få lite av en uppfattning:
https://florian.ca/ceph-calculator/

Ja det ser ju inte alltför dumt ut egentligen. Dock vill jag gärna bort från lokalt storage då "märkes"-diskar är så fruktansvärt överprisade. Ska jag fylla 3st HPE servrar och 1st Dell server med 4TB~ användbart flash vardera så drar det fort iväg.

Permalänk
Medlem
Skrivet av wille61:

Ja det ser ju inte alltför dumt ut egentligen. Dock vill jag gärna bort från lokalt storage då "märkes"-diskar är så fruktansvärt överprisade. Ska jag fylla 3st HPE servrar och 1st Dell server med 4TB~ användbart flash vardera så drar det fort iväg.

Sluta köp märkesdisk då, är ju bara white-label Intel eller Samsung i 9 fall av 10.

Permalänk
Medlem
Skrivet av Xcorp:

Sluta köp märkesdisk då, är ju bara white-label Intel eller Samsung i 9 fall av 10.

Rakt av? Smart funktioner, LED:ar på diskvaggor m.m. fungerar? Vill inte hamna i en sits där ILO/iDrac säger att alla diskar mår bra och sedan rasar hela raiden utan förvarning..

Permalänk
Medlem

All SMART data ska gå rätt igenom till OS, så inga problem där.
Jag avskyr all form av HW-RAID, så kan inte säga något om hur det beter sig i HP Raid Utility och vad nu motsvarigheten i Dell heter...

Permalänk
Medlem

Inget jätte fan av HW-RAID heller, gör det hellre direkt i Hypervisorn..

Men nu har jag hittat ett nytt alternativ som känns riktigt vettigt, Nextron!

ÅF av Supermicro system m.m. med möjlighet till 7års garanti samt 7års onsite service, vad sägs om detta:

1x Supermicro 1114s-WTRT 1U, Epyc 7232P 8c/16t 3,1GHz, redundant 500W Platinum PSUs, 2x10GbE RJ45, IPMI.
2x 32GB DDR4 3200MHz ECC-REG
4x Samsung PM883 SSD 1,92TB

7års garanti, livstid telefon och mail support 08-17, 7års onsite service next business day

Priset landar på runt 50k

Blir ju ingen redundans (förutom på diskarna förstås, samt PSU:erna) men med dagliga snapshots och on site service så känner jag mig rätt lugn.