Proxmox strul med C220 AHCI

Permalänk
Medlem

Proxmox strul med C220 AHCI

Hej,

Försöker dela ut den inbyggda kontroller som finns i C220 bryggan.
Innan jag går in på detaljer om felsvar mm. så hoppas jag någon kan ge svar på om jag tänkt fel från start eller inte.
Kan Proxmox Host och FreeNas VM dela på samma kontroller om den ligger som "Pass Through"?

Tänkte köra Proxmox som host.
Sedan FreeNas under det mm.

Proxmox på SDA
Ska även lägga FreeNas install på samma disk SDA

Sedan har jag 2st ZFS pools på SDB+SDC samt SDD+SDE som är en snabb mirror "raid" samt en större bulk.

Har en HP Z230 med 24GB ram + E3-1226-V3 med C220 chipset som grund.

Ps. Kom gärna med inputs på vad ni skulle göra istället.
Tanken är att ha denna maskin till Nas + Brandvägg + testa köra div VMs + CTs för att lära mig då jag är hyggligt novis.

Permalänk
Medlem
Skrivet av laukan82:

Hej,

Försöker dela ut den inbyggda kontroller som finns i C220 bryggan.
Innan jag går in på detaljer om felsvar mm. så hoppas jag någon kan ge svar på om jag tänkt fel från start eller inte.
Kan Proxmox Host och FreeNas VM dela på samma kontroller om den ligger som "Pass Through"?

Tänkte köra Proxmox som host.
Sedan FreeNas under det mm.

Proxmox på SDA
Ska även lägga FreeNas install på samma disk SDA

Sedan har jag 2st ZFS pools på SDB+SDC samt SDD+SDE som är en snabb mirror "raid" samt en större bulk.

Har en HP Z230 med 24GB ram + E3-1226-V3 med C220 chipset som grund.

Ps. Kom gärna med inputs på vad ni skulle göra istället.
Tanken är att ha denna maskin till Nas + Brandvägg + testa köra div VMs + CTs för att lära mig då jag är hyggligt novis.

Jag är ganska övertygad att du inte kan göra passthrough på SATA-kontrollern samtidigt som host-maskinen också ska använda den.

I så fall lär du nog ha två olika kontrollerkort, så de kan använda en var. (Eller om du t.ex. kan hitta en lösning där du klarar dig utan SATA för hosten?)

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Medlem
Skrivet av evil penguin:

Jag är ganska övertygad att du inte kan göra passthrough på SATA-kontrollern samtidigt som host-maskinen också ska använda den.

I så fall lär du nog ha två olika kontrollerkort, så de kan använda en var. (Eller om du t.ex. kan hitta en lösning där du klarar dig utan SATA för hosten?)

Är inte haj på just Proxmox men i VMware-världen går det inte. Har du passat enheten vidare till en VM så har ingen annan (varken virtuell eller "riktig") tillgång till just den hårdvaran.

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Medlem
Skrivet av Mr_Lazy:

Är inte haj på just Proxmox men i VMware-världen går det inte. Har du passat enheten vidare till en VM så har ingen annan (varken virtuell eller "riktig") tillgång till just den hårdvaran.

Ja, det är väl möjligen om en sån där kontroller skulle tillåta önskad funktion genom SR-IOV...?

(SR-IOV är den funktion som gör att man t.ex. kan splittra ett quad-nätverkskort till individuella enheter.)

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Inaktiv

Jag tror inte att det är möjligt utan SR-IOV, precis som @evil penguin säger

Permalänk
Medlem

Tusan...! Men tack som fasen för alla svar.
Kändes logiskt att det skulle vara just så.

Frågan är vad som blir bästa lösningen.
Låta hosten ha c220 kontrollern och skapa volymer i proxmox som sen är CIFS på något vis som sedan monteras i freenas just för alla tilläggs skull mm.

Eller ska man orka sig på att ex. Köra proxmox host installerad på en usb sticka.

Freenas på c220 kontroller i passthrough och skaffa en till kontroller typ någon enkel lsi eller vad det nu kan tänkas bli för övriga VMs...

Eller ska man tänka om helt och skita i proxmox och ex. Bygga allt på någon Ubuntu server och containrar som jag heller inte har någon direkt koll på...?

Tack för alla inputs, aningens klokare!

Permalänk
Inaktiv

Har du slut på sataportar, eller varför kan du inte bara koppla in en till billig ssd till proxmox?

Permalänk
Medlem
Skrivet av anon265474:

Har du slut på sataportar, eller varför kan du inte bara koppla in en till billig ssd till proxmox?

Jag tror poängen är att TS vill köra passthrough på SATA-kontrollern till Freenas, vilket verkar rätt rimligt om man nu ska köra Freenas virtualiserat.
Men då har TS helt plötsligt inget SATA tillgängligt i Proxmox längre (utan att koppla in någon annan kontroller då).

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Medlem
Skrivet av anon265474:

Har du slut på sataportar, eller varför kan du inte bara koppla in en till billig ssd till proxmox?

Har portar så det räcker, sitter 5st på mobo som jag tänkt skulle lira, en boot på enkel SSD sen en Mirror ZFS på SSD för snabb åtkomst, sen som sagt 2st större diskar på Mirror ZFS för div.

Men eftersom jag tänkt labba lite med CTs och VMs så vill jag virtualisera freenas.
En annan variant är väl att man delar diskarna som typ CIFs ifrån proxmox till freenas och allt annat som hör till fileshare men det har jag inte ens kikat på om det går på något vettigt vis.

Permalänk
Medlem

Kan du inte köra Proxmox på en bättre usbsticka?

Visa signatur

Error 412: Precondition Failed - You need to use a real browser in order to view this signature!

Permalänk
Medlem
Skrivet av evil penguin:

Jag tror poängen är att TS vill köra passthrough på SATA-kontrollern till Freenas, vilket verkar rätt rimligt om man nu ska köra Freenas virtualiserat.
Men då har TS helt plötsligt inget SATA tillgängligt i Proxmox längre (utan att koppla in någon annan kontroller då).

Börjat jaga en LSI eller liknande till billig peng, missade just idag en som låg ute för 100kr!? Och legat ute i just 1mån, typiskt min tur.

Lagt en annons här i SWEC marknaden om ni har något att sälja så är det bara höra av er. Typ PERC H200, M1015 eller liknande lite billigare kort.

Även om jag hittar på någon workaround så känns det vettigt att ha ett sånt kort i burken. Har ju gott om plats, så skulle kunna köra 4st SSD och 2st HDD på det samt typ 1st SSD och en fysisk CD drive på mobo bara för att det är mysigt att kunna rippa sina gamla cds om man vill.

Permalänk
Medlem
Skrivet av x86:

Kan du inte köra Proxmox på en bättre usbsticka?

Det kan jag, men tror det blir bättre och i princip ingen större skillnad i pris på ett LSI kort, och den lösningen känns ju mer solid.

Permalänk
Inaktiv

Ahh, okej. Att ha diskarna i freenas och dela tillbaka dessa till proxmox är inget alternativ eller?

Jag tänker att du kör passthrough för diskarna till freenas, i sen mountar du de volymer du vill i proxmox från freenas med hjälp av iSCSI. iSCSI gör att det kommer att fungera precis som att det vore vanliga diskar inkopplade till proxmox.

Permalänk
Medlem
Skrivet av anon265474:

Ahh, okej. Att ha diskarna i freenas och dela tillbaka dessa till proxmox är inget alternativ eller?

Jag tänker att du kör passthrough för diskarna till freenas, i sen mountar du de volymer du vill i proxmox från freenas med hjälp av iSCSI. iSCSI gör att det kommer att fungera precis som att det vore vanliga diskar inkopplade till proxmox.

Precis, gör passthrough på diskarna istället. Jag skulle däremot nog passa mig för att montera utdelningar från gäster i hosten, kan få spännande moment-22 effekter...

Permalänk
Medlem
Skrivet av Xcorp:

Precis, gör passthrough på diskarna istället. Jag skulle däremot nog passa mig för att montera utdelningar från gäster i hosten, kan få spännande moment-22 effekter...

Dela INTE tillbaka disk till hosten från en gäst. Det kommer att bli jättedåligt. (Det går bra med nätverk)

Visa signatur

Error 412: Precondition Failed - You need to use a real browser in order to view this signature!

Permalänk
Medlem
Skrivet av x86:

Dela INTE tillbaka disk till hosten från en gäst. Det kommer att bli jättedåligt. (Det går bra med nätverk)

Men från Host till gäst?
Borde väll vara bästa kompromissen?

Testat göra passthrough på bara 2st diskar, dock var det redan en skapad ZFS volym på dessa i proxmox = fail och jag får nog blåsa om de devarna och testa på nytt.. men ska se om tid finns imorgon.

Annars jagar jag LSI kort, bara säga till om ni har något!

Permalänk
Medlem
Skrivet av laukan82:

Men eftersom jag tänkt labba lite med CTs och VMs så vill jag virtualisera freenas.

Även om det är möjligt kommer det garanterat krångla. Bättre att köra freenas som host isf.

Visa signatur

7800X3D//4090
Kubuntu // W10

Permalänk
Inaktiv
Skrivet av firstofmay:

Även om det är möjligt kommer det garanterat krångla. Bättre att köra freenas som host isf.

Om man kör ett dedikerat HBA-kort och kör passtrough på det så ser jag inga problem att virtualisera freenas. Att det inte gick att virtualisera / var en katastrofalt dålig idé gällde fram tills några år sedan, sedan dess har det kommit uppdateringar och ny info från utvecklarna att det faktiskt är ett ok alternativ - iallafall om man kör dedikerat HBA-kort och kör passtrough på HBA-kortet. Det viktiga är att freenas får direkt tillgång till diskarna.

Freenas som host för VMs är ingen höjdare tyvärr, Bhyve lämnar väldigt mycket att önska när det kommer till VMs. Men det kanske finns andra lösningar?

Permalänk
Medlem
Skrivet av laukan82:

Men från Host till gäst?
Borde väll vara bästa kompromissen?

Testat göra passthrough på bara 2st diskar, dock var det redan en skapad ZFS volym på dessa i proxmox = fail och jag får nog blåsa om de devarna och testa på nytt.. men ska se om tid finns imorgon.

Annars jagar jag LSI kort, bara säga till om ni har något!

Ja, det är ju precis det både jag och @anon265474 föreslår.
Är väl inget problem att du skapat en pool på dom i proxmox, bara kör zfs import i gästen

Permalänk
Medlem
Skrivet av Xcorp:

Ja, det är ju precis det både jag och @anon265474 föreslår.
Är väl inget problem att du skapat en pool på dom i proxmox, bara kör zfs import i gästen

Testar det så snart jag får tid, har ni en guide vore det guld annars får jag klura lite.

Men kvarstår ändå att jag nog kör ett LSI/hba kort som andra föreslår.

Tack alla för bra feedback!

Permalänk
Medlem
Skrivet av laukan82:

Testar det så snart jag får tid, har ni en guide vore det guld annars får jag klura lite.

Men kvarstår ändå att jag nog kör ett LSI/hba kort som andra föreslår.

Tack alla för bra feedback!

https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Vir...

Permalänk
Medlem
Skrivet av Mr_Lazy:

Är inte haj på just Proxmox men i VMware-världen går det inte. Har du passat enheten vidare till en VM så har ingen annan (varken virtuell eller "riktig") tillgång till just den hårdvaran.

Det samma gäller för alla system.

Finns ingen hybrid passthrough, närmaste liknande funktion är SR-IOV, men det är ingen passthrough.

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av anon265474:

Om man kör ett dedikerat HBA-kort och kör passtrough på det så ser jag inga problem att virtualisera freenas. Att det inte gick att virtualisera / var en katastrofalt dålig idé gällde fram tills några år sedan, sedan dess har det kommit uppdateringar och ny info från utvecklarna att det faktiskt är ett ok alternativ - iallafall om man kör dedikerat HBA-kort och kör passtrough på HBA-kortet. Det viktiga är att freenas får direkt tillgång till diskarna.

Freenas som host för VMs är ingen höjdare tyvärr, Bhyve lämnar väldigt mycket att önska när det kommer till VMs. Men det kanske finns andra lösningar?

Ja jag skulle rekommendera att köra proxmox och zfs direkt på hosten. Slipper du overhead med freenas. Kan du köra mountpoints i containrar för att effektivisera, skriver dessa direkt till zpooler utan att behöva köra långamma protokol över nätverk, nfs cifs etc.

Vill du ha ett GUI finns alltid
https://github.com/optimans/cockpit-zfs-manager

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av moire:

Ja jag skulle rekommendera att köra proxmox och zfs direkt på hosten. Slipper du overhead med freenas. Kan du köra mountpoints i containrar för att effektivisera, skriver dessa direkt till zpooler utan att behöva köra långamma protokol över nätverk, nfs cifs etc.

Vill du ha ett GUI finns alltid
https://github.com/optimans/cockpit-zfs-manager

1. Kör man ZFS over iSCSI då eller ZFS bara?
2. Hur får jag ex. en FreeNas VM eller CT att kännas vid den volymen på hosten? alltså hur "publicerar jag" resursen till gästen?

Permalänk
Medlem
Skrivet av laukan82:

1. Kör man ZFS over iSCSI då eller ZFS bara?
2. Hur får jag ex. en FreeNas VM eller CT att kännas vid den volymen på hosten? alltså hur "publicerar jag" resursen till gästen?

Antar att man ska köra ZFS bara och att man skapar det i "Data Center" men fasen va många grå hår jag börjar få... lyckas inte dela ut diskarna till FreeNas annat än om jag inte kör via "LSHW + QM metoden" är det så man gör...? men då är man ju där igen att FreeNas styr över diskarna snarare än Proxmox.

Blir fasen inte klok.
- kommer sluta med att jag lägger in Windows 10, kör HW raid via Mobo och delar ut katalogerna snart.... = DDD

Permalänk
Medlem
Skrivet av laukan82:

1. Kör man ZFS over iSCSI då eller ZFS bara?
2. Hur får jag ex. en FreeNas VM eller CT att kännas vid den volymen på hosten? alltså hur "publicerar jag" resursen till gästen?

1 bara zfs
2 Varför använda freenas? kör HCI för server miljön, dra igång en container med samba för fildelning , NAS.

Du kör inte över nätverket, dumt att dela via nätverket när datan aldrig lämnar hosten.

Visa signatur

Nätverksnörd