Hur konfigurera ny Proxmox?

Permalänk
Medlem

Hur konfigurera ny Proxmox?

Hej har nyss startat upp en proxmox server och funderar på var jag skall installera vm och lxc.
Just nu har jag allt på systemdisken, men skulle vilja ha redudans.
Hur hade ni gjort?
Har 3 st sata ssd(1st128G, 2st 256G) att tillgå för och ev en 240G nvme.
Skall man köra vidare med system disk utan raid och sen ha en pool för vm och lxc?
Har lyckats lägga en Vm på en zfs, men lxc verkar inte fungera.

Eller skall man göra en ominstallation och installera proxmox på en raid 1? och köra allt från os disken.

Permalänk
Medlem

En möjlig lösning skulle kunna vara:
- Proxmox OS på 128GB disken
- ZFS mirror på dina 2x256GB diskar där VMar/LXCer ligger

Det frikopplar OS från VMar så att om OS-disken kraschar kan du installera upp proxmox på en ny server och importera ZFS mirrorn i den och få igång dina VMar igen.

Men notera att Raid inte är samma som backup. Du vill med jämna mellanrum skicka VM/LXC backup snapshots till en extern lagringsyta så att du har kvar dina VMar ifall hela proxmox servern packar ihop. Jag tar backup en gång i veckan och behåller två revisioner bakåt, men du får själv känna på vad som är rimligt för dig.

Gällande varför LXC inte kommer igång på ZFS så kan jag inte hjälpa till då du inte gett några som helst detaljer kring felmeddelanden eller liknande.

Visa signatur

CCNP Enterprise + SPCOR
FCSS Network Security

Permalänk
Medlem
Skrivet av Gollee:

En möjlig lösning skulle kunna vara:
- Proxmox OS på 128GB disken
- ZFS mirror på dina 2x256GB diskar där VMar/LXCer ligger

Det frikopplar OS från VMar så att om OS-disken kraschar kan du installera upp proxmox på en ny server och importera ZFS mirrorn i den och få igång dina VMar igen.

Men notera att Raid inte är samma som backup. Du vill med jämna mellanrum skicka VM/LXC backup snapshots till en extern lagringsyta så att du har kvar dina VMar ifall hela proxmox servern packar ihop. Jag tar backup en gång i veckan och behåller två revisioner bakåt, men du får själv känna på vad som är rimligt för dig.

Gällande varför LXC inte kommer igång på ZFS så kan jag inte hjälpa till då du inte gett några som helst detaljer kring felmeddelanden eller liknande.

Inget felmeddelande, utan det går inte välja den disken när man skall installera. Är helt grön på proxmox så jag har inte koll på hur allt fungerar, men jag håller på och läser mig till hur allt fungerar.
Installera om plex igår via helper script, kunde då bara välja local och sen för app data kunde jag välja zfs.
Kör den då appen på local och all data som sparas tex meta data och thubnails på zfs?
Eller är det kanske någon grundinställning när jag installera proxmox som ställer till de?

Har endast kört truenas scale bare metal innan.
Men tröttna på kubertenes apparna och de obefintliga dokumentationen hos truechart.
Proxmox helper script är är så himla smidigt och det tar inte minuter att starta apparna.

Angående backup så har jag och min bror en lösning på gång.
Vi skall ha varsin proxmox backup server som vm, och köra backup mot varandras servrar.

Permalänk
Medlem

Jag kommer inte ihåg exakt hur det ser ut, men du måste gå in under lagringshanteringen i Proxmox och välja vad som ska kunna finnas på volymen. Där måste du kryssa i VM disks och containers för att kunna lägga in dem där sen.

Jag kör såhär: SATA SSD som Proxmox bootar från, och en NVME SSD som alla VMs/LXC ligger på. Sen backuppar VMs/LXC jag till min NAS.

Visa signatur

AMD Athlon XP 2000+(Palomino) | 512MiB DDR333 | Gigabyte GA-7VRXP | Point of View GeForce 4 Ti4200 XP | 2x IBM Deskstar 80GB i Raid 0 | Chieftec Dragon | Win2k |

AMD Ryzen R7 5700X | 16GiB DDR4 3200 CL14 | MSI B450 Tomahawk II | Sapphire RX5700 Pulse | Intel 660p 1TiB | Nanoxia Deep Silence | AOC CQ32G1 144Hz 1440p | Win 10 |

Permalänk
Medlem

Det blev 2 st sata ssd som zfs för bot för allt. Har även extern backupserver på min brors server.
Gick riktigt smidigt att återställa truenas vm från backup.
Däremot så strulade någon container att återställa.
Den tyckte plex hade fel os, rekomendrad var ubuntu 22 men jag hade valt senaste, så fick föra ominstallation.

Går det göra backup på alla ändringar i os med?
Tänkte på typ man lagt upp lite nätverks delningar och monterat dem i appar, sen nvidia drivrutiner.
Eller är man alltid tvungen att göra sådant manuellt?

Permalänk
Medlem
Skrivet av jope84:

Går det göra backup på alla ändringar i os med?
Tänkte på typ man lagt upp lite nätverks delningar och monterat dem i appar, sen nvidia drivrutiner.

Inte på nått enkelt sätt jag hittat nej. Säg gärna till om du hittar nått!

Visa signatur

AMD Athlon XP 2000+(Palomino) | 512MiB DDR333 | Gigabyte GA-7VRXP | Point of View GeForce 4 Ti4200 XP | 2x IBM Deskstar 80GB i Raid 0 | Chieftec Dragon | Win2k |

AMD Ryzen R7 5700X | 16GiB DDR4 3200 CL14 | MSI B450 Tomahawk II | Sapphire RX5700 Pulse | Intel 660p 1TiB | Nanoxia Deep Silence | AOC CQ32G1 144Hz 1440p | Win 10 |

Permalänk
Medlem
Skrivet av lord_dubbdäck:

Inte på nått enkelt sätt jag hittat nej. Säg gärna till om du hittar nått!

Jag har använt detta skriptet för att göra backup:

https://tteck.github.io/Proxmox/?id=Proxmox+VE+Host+Backup#pr...

Dock har jag inte testat att återställa så jag vet inte hur pass bra det fungerar.

Permalänk
Medlem
Skrivet av joakim99:

Jag har använt detta skriptet för att göra backup:

https://tteck.github.io/Proxmox/?id=Proxmox+VE+Host+Backup#pr...

Dock har jag inte testat att återställa så jag vet inte hur pass bra det fungerar.

Awesome! Ska kolla på det där! Tack!

Visa signatur

AMD Athlon XP 2000+(Palomino) | 512MiB DDR333 | Gigabyte GA-7VRXP | Point of View GeForce 4 Ti4200 XP | 2x IBM Deskstar 80GB i Raid 0 | Chieftec Dragon | Win2k |

AMD Ryzen R7 5700X | 16GiB DDR4 3200 CL14 | MSI B450 Tomahawk II | Sapphire RX5700 Pulse | Intel 660p 1TiB | Nanoxia Deep Silence | AOC CQ32G1 144Hz 1440p | Win 10 |

Permalänk
Medlem

Lite funderingar angående energieffektivitet.
Vad är mest energi effektivt, tilldela minimalt med cpu kärnor till varje vm och lxc eller bara ge alla tillgång till alla?
Tänkte om det drar minst energi med få kärnor som jobbar hårt och går upp i frekvens eller många kärnor som jobbar men inte behöver klocka upp sig.

Eller skall man kanske pinna Effiency cores till vissa vm som jobbar lite hela tiden?

Har ett vm med windows som kör kamera övervakning, det ligger konstant på 3-5% av total cpu.
Man vill ju sådant som går hela tiden skall dra så lite som möjligt.

Har 8 performance och 8 effiency kärnor att tillgå.

Permalänk
Medlem
Skrivet av jope84:

Lite funderingar angående energieffektivitet.
Vad är mest energi effektivt, tilldela minimalt med cpu kärnor till varje vm och lxc eller bara ge alla tillgång till alla?
Tänkte om det drar minst energi med få kärnor som jobbar hårt och går upp i frekvens eller många kärnor som jobbar men inte behöver klocka upp sig.

Eller skall man kanske pinna Effiency cores till vissa vm som jobbar lite hela tiden?

Har ett vm med windows som kör kamera övervakning, det ligger konstant på 3-5% av total cpu.
Man vill ju sådant som går hela tiden skall dra så lite som möjligt.

Har 8 performance och 8 effiency kärnor att tillgå.

Du ska tilldela så få det går till varje VM. Det är lite av ett pussel för systemet när en maskin vill ha CPU-tid. Har man tilldelat alla maskiner en massa kärnor så kan prestandan bli lidande fast den inte hade behövt de.

Permalänk
Medlem

Just nu kör jag 2 st billiga 256gb sata ssd i zfs mirror för os och app data.
Såg nu att jag ha en 1Tb nvme disk över, är nog en gen3 så ligger nog på ca 3000mb i läshastighet.
Skulle jag få någon nämnvärd prestanda vinst att lägga alla Lxc och vm på den jämför med 2 sata i mirror?
Har nvme fler iops ?
Nackdelen är väll att jag tappar redundansen, men jag tar dagliga externa backupper på allt, så vid ett haveri så skulle det inte ta mer än någon timme att få upp allt igen.
Annars tror jag att jag lägger den som en l2arc i truenas .

Permalänk
Medlem

Vilka hastigheter behöver du? Varför offra driftstabilitet för högre hastigheter om du inte behöver högre hastigheter?

Har du kollat att du verkligen får högre hastigheter? Den typ av workload du kommer ha med många små random reads/writes är långt ifrån den typ av workload som din nvme är bra på. Du kan köra "dd" eller "fio" utilities för att testa respektive disk i olika förhållanden för att se om prestandan verkligen är så mycket bättre.

Konsument nvme (och ssd) använder sig av cache för att "fejka" bra/höga siffror men kan inte bibehållas över större datamängder. Vill du ha snabb iops på riktigt behöver du köra enterprise ssd/nvme och de kan vara j*vligt dyra.

Du kan också köra en blandad setup. Snabba grejer lägger du på nvme, grejer som du är mer rädd om kan ligga på din mirror.

Men vad försöker du verkligen uppnå här? Hur viktigt är det med hög "io" för dig, egentligen? Vill du veta bästa lösningen, testa dina komponenter så att du har faktisk data att utgå från.

(Ber om ursäkt för bitter ton, vet inte riktigt varför jag blev så triggad. Jag tror du blir nöjd oavsett hur du gör.)

Visa signatur

CCNP Enterprise + SPCOR
FCSS Network Security

Permalänk
Medlem
Skrivet av Gollee:

Vilka hastigheter behöver du? Varför offra driftstabilitet för högre hastigheter om du inte behöver högre hastigheter?

Har du kollat att du verkligen får högre hastigheter? Den typ av workload du kommer ha med många små random reads/writes är långt ifrån den typ av workload som din nvme är bra på. Du kan köra "dd" eller "fio" utilities för att testa respektive disk i olika förhållanden för att se om prestandan verkligen är så mycket bättre.

Konsument nvme (och ssd) använder sig av cache för att "fejka" bra/höga siffror men kan inte bibehållas över större datamängder. Vill du ha snabb iops på riktigt behöver du köra enterprise ssd/nvme och de kan vara j*vligt dyra.

Du kan också köra en blandad setup. Snabba grejer lägger du på nvme, grejer som du är mer rädd om kan ligga på din mirror.

Men vad försöker du verkligen uppnå här? Hur viktigt är det med hög "io" för dig, egentligen? Vill du veta bästa lösningen, testa dina komponenter så att du har faktisk data att utgå från.

(Ber om ursäkt för bitter ton, vet inte riktigt varför jag blev så triggad. Jag tror du blir nöjd oavsett hur du gör.)

Ja du jag ville ha nytta av disken som var oanvänd.
Men jag beställde faktiskt 2 st begagnade enterprice sata ssd, intel data center s4610.
Idag har jag en 10år + gammal ssd från en gammal laptop och en 250krs från amazon, så kan väll inte bli sämmre direkt.

Permalänk
Medlem

Börjar bli nervös över mina ssd nu,
Hållt på och försökt få igång en lxc med codeproject ai idag och det gick så segt och io dealy gick upp på en 10%.
Sen när jag åter ställde en backup på samma lxc så var jag uppe i 15-20% och kunde inte göra fler saker på servern. Cpu jobbade inte hårt heller.

Så skall bli riktigt intressant att få se hur den beter sig med de nya enterprice diskarna som dessutom är identiska.

Permalänk
Medlem

Hitta videon nedan om olika sätt att göra samba utdelningar, och funderar om man skulle flytta ned min lagring till proxmox från truenas.
Finns det några fördelar att köra det genom ett Vm med truenas? framför att ha i en lxc med debian eller köra turnkey lxc så man ett gui för att göra inställningar?
Tänkte det blir effektivare användning av ram minnet i en lxc, så hela proxmox kan nyttja istället för låsa det till truenas.
För vad jag förstått så skulle det gå att adoptera hela den befintliga polen.

https://youtu.be/hJHpVi9LGqc?si=zJyUZCpWvncaoSYW

Permalänk
Medlem

I min värld hade jag kört en NAS på en separat burk, virtualiserat i Proxmox eller inte. Truenas kräver inte mer än 2 cores å 8gb minne så det är super smidigt att virtualisera. Jag kör min primär NAS separat från Proxmox för uptime å redundans. Det finns tider när jag önskar stänga av min Proxmox helt eller köra wakeonlan på den. T.ex vid längre resor (jag jobbar offshore). Nas vill jag ha igång hela tiden å kör ett par lätta VM/lxc på den som alltid är uppe. Kör också 2 virtuella proxmox backup servers som syncar varandra. Kör ett kluster med totalt tre maskiner men inte HA så jag inte har behov för det å inte har identiska/lika maskiner.

Fördel med Truenas är att det är enklare (tycker jag) då det är ett färdigt OS skapat för zfs. Zfs pools kan ju importeras kors å tvärs över i stort sett alla linux distro. En nackdel är att det kräver mer resurser än en lxc, RAM i synnerhet om du tänker Truenas. OMV kan ju köra mergefs+snapraid som liknar zfs då du kan blanda diskar med olika storlek som i btrfs.

Jag har inte testat NAS i lxc som beskrivs i videon, då jag vill ha funktionaliteten till ett rent NAS os t.ex OMV7 eller Truenas.

Visa signatur

Fractal Design Define R6, ASUS X99a, Xeon E5-2697v3@3.5Ghz allcore, 64gb Hynix ECC REG 2133Mhz, 7900xt, 2.5gb nic

Server: Proxmox med OMV7, Teuenas och annat virtuellt: Supermicro X9SRH-7F, 64gb RAM, Xeon 2651v2, 4x10tb, 2.5gb Nic

Permalänk
Medlem

Kör VM filsystem direkt på SSD disken och gör backup regelbundet till en annan maskin, NAS eller något som inte är samma maskin.

1TB SSD, proxmox OS och VM/LXC
-->
Backup till NAS varje helg
-->
Backup till "kall" hårdisk en gång i månaden i ett kassaskåp

Att ha flera backups på samma maskin är falsk säkerhet och inte mycket redundans om du frågar mig.
Kan tillägga att jag inte gör backup på själva proxmox utan bara VMs, hypervisorna är inte svår att blåsa om för mig.

Visa signatur

CPU: 5800x3d
GPU: 3080
RAM: 32GB

Sluta gömma din identitet, skaffa en till istället