Funderar på bygga ett Proxmox cluster

Permalänk
Medlem

Funderar på bygga ett Proxmox cluster

Hej,
Idag kör jag enn all in 0ne lösning med proxmox och truenas i ett vm.
Funderar på separera det och ha truenas bare metal och sen ett cluster med proxmox.

Sett en del på Youtubes har mini datorer i ett kluster och då villhöver jag det.
Hittade minisforum ms 01, vilket är en minidator med 12600h och dubbla 10g kort och plats för 1st u.2 och 2 nvme, skulle de va lämpliga?

Det jag vill ha bättre upptid, jag gillar och krångla med saker, men vill inte att tjänster skall gå ned för jag håller på.
För vist är det så att om en nod skulle gå ned så den automatiskt starta up en lxc/vm på en annan node?

Jag vet att de är overkill för hemma bruk, men de är min hobby.
😁

Permalänk
Medlem

För att cluster ska lira ordentligt måste du även ha lagringen fristående så att säga, samt helst 3 noder av proxmox.
Kör man lagringen på själva proxmox server så dör den så dör vm:n då all data finns där så att säga.

Requirements

You must meet the following requirements before you start with HA:

at least three cluster nodes (to get reliable quorum)

shared storage for VMs and containers

hardware redundancy (everywhere)

use reliable “server” components

hardware watchdog - if not available we fall back to the linux kernel software watchdog (softdog)

optional hardware fencing devices

https://pve.proxmox.com/wiki/High_Availability

Permalänk
Skrivet av Hansar:

För att cluster ska lira ordentligt måste du även ha lagringen fristående så att säga, samt helst 3 noder av proxmox.
Kör man lagringen på själva proxmox server så dör den så dör vm:n då all data finns där så att säga.

Proxmox har ju support för distributed filesystems som Ceph, där kan du ställa in hur många hårddiskar Ceph ska vara fine med att kunna förlora utan data loss. Så länge som den sätts till något som är högre än antal diskar på en nod så har du säkrat upp det.

Permalänk
Medlem
Skrivet av Hansar:

För att cluster ska lira ordentligt måste du även ha lagringen fristående så att säga, samt helst 3 noder av proxmox.
Kör man lagringen på själva proxmox server så dör den så dör vm:n då all data finns där så att säga.

Nja. Med ZFS så är ju replikering ett alternativ mellan två noder (beroende på vad som ska drivas, du kunde förlora upp till fem sekunders sparad information sist jag körde det) sen kan du ha t.ex en raspberry pi för att hålla koll på quorum/consensus och undvika split brain.
Ser inte meningen med att ha tredje maskin som går och kostar pengar för Truenas när du har ZFS i Proxmox. Hade hellre haft en liten tredje maskin för PBS isf. Känns som den där Truenas-maskinen bara är en single point of failure för hela klustret.

2 NVME är väl okej om det är 22110 så man får in något lämpligt för serverdrift.

https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_extern...

Detta är inte overkill för hemmabruk. Du är inte i närheten av overkill

EDIT:

Skrivet av Ostsamling:

Proxmox har ju support för distributed filesystems som Ceph, där kan du ställa in hur många hårddiskar Ceph ska vara fine med att kunna förlora utan data loss. Så länge som den sätts till något som är högre än antal diskar på en nod så har du säkrat upp det.

Mycket bra. När det bra är 2-3 diskar per nod TS ska använda så är CEPH ett utmärkt alternativ för det blir bra 16-24GB RAM. Tänk 8GB RAM per enhet.
Men då ska den där FreeNAS-burken vara Proxmox-maskin och köra CEPH med det finns tre noder. Två noder och CEPH är lite janky.

Permalänk
Medlem
Skrivet av Hansar:

För att cluster ska lira ordentligt måste du även ha lagringen fristående så att säga, samt helst 3 noder av proxmox.
Kör man lagringen på själva proxmox server så dör den så dör vm:n då all data finns där så att säga.

Requirements

You must meet the following requirements before you start with HA:

at least three cluster nodes (to get reliable quorum)

shared storage for VMs and containers

hardware redundancy (everywhere)

use reliable “server” components

hardware watchdog - if not available we fall back to the linux kernel software watchdog (softdog)

optional hardware fencing devices

https://pve.proxmox.com/wiki/High_Availability

"Shared storage" innebär ju inte fristående. Och ett kluster behöver inte heller vara HA, det är olika saker. Det går att ha ett kluster utan HA där det fortfarande går att manuellt flytta VM'ar mellan noder.

Skrivet av FilleMang:

Nja. Med ZFS så är ju replikering ett alternativ mellan två noder (beroende på vad som ska drivas, du kunde förlora upp till fem sekunders sparad information sist jag körde det) sen kan du ha t.ex en raspberry pi för att hålla koll på quorum/consensus och undvika split brain.

Behövs inte ens en pi, det går att köra en lxc på samma sätt. En pi är bättre då den är helt fristående, men tekniskt inte ett måste.

Problemet med 2-nods kluster är alltså att vid omstart av en av noderna så kan tjänsterna på den andra noden sluta att fungera tills båda är uppe igen.

Visa signatur

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather

Permalänk
Medlem
Skrivet av scienta:

Problemet med 2-nods kluster är alltså att vid omstart av en av noderna så kan tjänsterna på den andra noden sluta att fungera tills båda är uppe igen.

Nej, problemet är att de kan få split brain och bli sura på varandra kring vem det är som ska bestämma. Då behövs det en auditor, en svängande röst som går in och hjälper till att fatta beslutet om hur vi fortsätter köra driften.
Det finns mer avancerade situationer än omstarter i servervärlden.

Du har rätt i att det inte finns några måsten. Jag snackar best practice men mitt hemmalabb gick ifrån fem noder till en när elpriset var som högst så säger inte att alla måste följa best practice. Det var mest att TS ville säkra upptid.

Permalänk
Medlem
Skrivet av FilleMang:

Nej, problemet är att de kan få split brain och bli sura på varandra kring vem det är som ska bestämma. Då behövs det en auditor, en svängande röst som går in och hjälper till att fatta beslutet om hur vi fortsätter köra driften.
Det finns mer avancerade situationer än omstarter i servervärlden.

Igen, det är endast om du faktiskt kör HA.

EDIT: Vi säger ju samma sak här, vet inte vad du försöker rätta.

Skrivet av FilleMang:

Det finns mer avancerade situationer än omstarter i servervärlden.

Du har rätt i att det inte finns några måsten. Jag snackar best practice men mitt hemmalabb gick ifrån fem noder till en när elpriset var som högst så säger inte att alla måste följa best practice. Det var mest att TS ville säkra upptid.

Så.. en Raspberry pi är best practice i "servervärlden" ?

Visa signatur

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather

Permalänk
Medlem
Skrivet av scienta:

Igen, det är endast om du faktiskt kör HA.

EDIT: Vi säger ju samma sak här, vet inte vad du försöker rätta.

Så.. en Raspberry pi är best practice i "servervärlden" ?

En raspberry pi duger utmärkt för att bara köra monitor. På mitt förra jobb hade vi hundratals för övervakning sen övervakade vi så att inte de gick ner.
Det är inte alltid du får resurserna att köra in mer än en server på en budget, sen en server till två år senare. Istället för att hålla på och silvertejpa ihop massa gamla kontorsmaskiner går det utmärkt att kasta in en enkortsdator.

Försökte inte rätta dig utan förstå hur vi hjälpte TS med ditt inlägg då kravspecen var:

"Det jag vill ha bättre upptid, jag gillar och krångla med saker, men vill inte att tjänster skall gå ned för jag håller på.
För vist är det så att om en nod skulle gå ned så den automatiskt starta up en lxc/vm på en annan node?"

Det kan vara så att du hade någon bra ide som jag inte tänkt på men jag fick lite taskiga minnen ifrån ditt inlägg. Har suttit länge och försökt nässla upp situationer där en nod kommit tillbaka efter t.ex. en dipp från nätverket och tyckt att dens maskiner är rätt och en annan server i klustret ansett att maskinerna den startat varit mer aktuella. Kanske kunde uttryckt mig tydligare men att få servrarna att vara överens är något av det viktigaste i min erfarenhet. Är hellre utan HA annars. Finns det ett bra sätt att göra det på med lxc vill jag gärna höra mer för det är inte mitt område. Har Proxmox Advance-cert men inte arbetat särskilt mycket med container-biten.

Permalänk
Medlem
Skrivet av scienta:

Behövs inte ens en pi, det går att köra en lxc på samma sätt. En pi är bättre då den är helt fristående, men tekniskt inte ett måste.

Hur hjälper en lxc med quorum? För som jag förstår det menar du att köra den på ena noden som en tredje röst. Om du startar om den noden tappar du ju quorum och noden som är uppe borde anse sig själv isolerad och gå ned 🤔

Permalänk
Medlem
Skrivet av FilleMang:

En raspberry pi duger utmärkt för att bara köra monitor. På mitt förra jobb hade vi hundratals för övervakning sen övervakade vi så att inte de gick ner.
Det är inte alltid du får resurserna att köra in mer än en server på en budget, sen en server till två år senare. Istället för att hålla på och silvertejpa ihop massa gamla kontorsmaskiner går det utmärkt att kasta in en enkortsdator.

Försökte inte rätta dig utan förstå hur vi hjälpte TS med ditt inlägg då kravspecen var:

"Det jag vill ha bättre upptid, jag gillar och krångla med saker, men vill inte att tjänster skall gå ned för jag håller på.
För vist är det så att om en nod skulle gå ned så den automatiskt starta up en lxc/vm på en annan node?"

Det kan vara så att du hade någon bra ide som jag inte tänkt på men jag fick lite taskiga minnen ifrån ditt inlägg. Har suttit länge och försökt nässla upp situationer där en nod kommit tillbaka efter t.ex. en dipp från nätverket och tyckt att dens maskiner är rätt och en annan server i klustret ansett att maskinerna den startat varit mer aktuella. Kanske kunde uttryckt mig tydligare men att få servrarna att vara överens är något av det viktigaste i min erfarenhet. Är hellre utan HA annars. Finns det ett bra sätt att göra det på med lxc vill jag gärna höra mer för det är inte mitt område. Har Proxmox Advance-cert men inte arbetat särskilt mycket med container-biten.

Jag skoja bara med dig lite, jag förstod allt vad du mena

Btw, vad har du kört för övervakning? Jobbar själv inom devops och specifikt observabilitet med Grafana-stacken nu för tiden.

Skrivet av Kamouflage:

Hur hjälper en lxc med quorum? För som jag förstår det menar du att köra den på ena noden som en tredje röst. Om du startar om den noden tappar du ju quorum och noden som är uppe borde anse sig själv isolerad och gå ned 🤔

TS pratar hemlabb med minidatorer. Allt vad "best practice" och "upptid" heter är ju helt bortblåst då. Ett hemlabb saknar ju i princip alltid förutsättningarna för faktisk HA - redundant strömförsörjning, dubbla internetanslutningar osv. I min mening är det ingen idé att övertänka saker i ett hemlabb, det är bättre att faktiskt göra och lära. Personligen tycker jag även att det är en mycket större utmaning att försöka göra det bästa av vad man har och inte bara kasta pengar på problemet.

Med en lxc för quorum så får man mycket riktigt inte HA, eftersom noden med lxc'n tar med sig det ned. Däremot går det att flytta lxc'n mellan noderna och därmed bibehålla quorum vid t.ex. omstart för uppgradering och annat. Av min erfarenhet är strömavbrott den största anledningen till att hemlabbet oavsiktligt går ner och då hjälper ingen mängd HA alls.

Vill man nu faktiskt lägga till en tredje nod av något slag så är det rätt trevligt med en separat PBS som kan köra qurorum. Om nu upptid är viktigt så borde ju även backuper vara det och i så fall gör sig PBS bäst utanför klustret.

Visa signatur

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather

Permalänk
Medlem
Skrivet av scienta:

TS pratar hemlabb med minidatorer. Allt vad "best practice" och "upptid" heter är ju helt bortblåst då.

Fast man behöver ju inte göra avsiktligt fel när det finns en smidig homelab-lösning.

Permalänk
Medlem
Skrivet av Kamouflage:

Fast man behöver ju inte göra avsiktligt fel när det finns en smidig homelab-lösning.

Kan inte påstå att en raspberry pi är "avsiktligt rätt" heller för den delen. Allt beror på behovet och tillgängliga lösningar.

Visa signatur

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather

Permalänk
Medlem
Skrivet av scienta:

Jag skoja bara med dig lite, jag förstod allt vad du mena

Btw, vad har du kört för övervakning? Jobbar själv inom devops och specifikt observabilitet med Grafana-stacken nu för tiden.

TS pratar hemlabb med minidatorer. Allt vad "best practice" och "upptid" heter är ju helt bortblåst då. Ett hemlabb saknar ju i princip alltid förutsättningarna för faktisk HA - redundant strömförsörjning, dubbla internetanslutningar osv. I min mening är det ingen idé att övertänka saker i ett hemlabb, det är bättre att faktiskt göra och lära. Personligen tycker jag även att det är en mycket större utmaning att försöka göra det bästa av vad man har och inte bara kasta pengar på problemet.

Med en lxc för quorum så får man mycket riktigt inte HA, eftersom noden med lxc'n tar med sig det ned. Däremot går det att flytta lxc'n mellan noderna och därmed bibehålla quorum vid t.ex. omstart för uppgradering och annat. Av min erfarenhet är strömavbrott den största anledningen till att hemlabbet oavsiktligt går ner och då hjälper ingen mängd HA alls.

Vill man nu faktiskt lägga till en tredje nod av något slag så är det rätt trevligt med en separat PBS som kan köra qurorum. Om nu upptid är viktigt så borde ju även backuper vara det och i så fall gör sig PBS bäst utanför klustret.

Strömavbrott är inte ett problem, har ups som klarar server och andra datorer i minst 2h.
Ja backuper tar jag dagligen med pbs, en lokal och en på min brors server. Men har funderat på skaffa någon mini pc och köra pbs på.
Tar alltid en snapshot innan jag börjar klabba med något 😂

Permalänk
Medlem
Skrivet av jope84:

Strömavbrott är inte ett problem, har ups som klarar server och andra datorer i minst 2h.
Ja backuper tar jag dagligen med pbs, en lokal och en på min brors server. Men har funderat på skaffa någon mini pc och köra pbs på.
Tar alltid en snapshot innan jag börjar klabba med något 😂

Bra där! Som sagt, finns massa sätt att lösa problem på. Vet du nåt mer specifikt scenario du vill lösa med HA?

Visa signatur

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather

Permalänk
Medlem
Skrivet av scienta:

Bra där! Som sagt, finns massa sätt att lösa problem på. Vet du nåt mer specifikt scenario du vill lösa med HA?

Jag kör ganska många tjänster på min proxmox och så fort den råkar ligga nere brukar någon undra varför saker inte fungerar.
Kör plex, ljudböcker, wordpress, kamera övervakning och massa annat.
egentligen är de inte ett problem utan jag villhöver det :).
Hade även tänkt och experimentera lite med att dottern skall få ett Vm som hon kan spela på med remote desktop.

Då min server har blivit för liten så behöver jag byta chassi och tänkte då passa på och ändra upplägget.

Permalänk
Medlem
Skrivet av jope84:

Jag kör ganska många tjänster på min proxmox och så fort den råkar ligga nere brukar någon undra varför saker inte fungerar.
Kör plex, ljudböcker, wordpress, kamera övervakning och massa annat.
egentligen är de inte ett problem utan jag villhöver det :).
Hade även tänkt och experimentera lite med att dottern skall få ett Vm som hon kan spela på med remote desktop.

Då min server har blivit för liten så behöver jag byta chassi och tänkte då passa på och ändra upplägget.

Absolut, det är en kul grej att köra och jag menade inte att slå ner på din idé. Det jag tänkte på är att HA inte nödvändigtvis skyddar mot handhavandefel (dvs. experimenterande), så det är bara nåt att ha i åtanke.

Visa signatur

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather