Ny ESX Datastore - bygga egen NAS

Permalänk
Skrivet av Danne:

WOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOT!!!????

Den där lösningen låter som helt uppåt väggarna
Måste berömma din kreativitet. Men inget jag hade ens lagt en tanke på att sätta upp

Haha tack för det

Lösningen är faktiskt inte så ovanlig, här är en kille som gjort något liknande: https://calvin.me/all-in-one-esxi-server/

Hårdvaran var skrämmande lik den jag har också faktiskt.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem

Har FreeNAS stöd för VAAI?

Är själv ute efter en ev. ny lagringslösning. Idag har jag Nexenta med några FC-kort och en IB-kort. Anledning till att jag valde den var just att den har stöd för VAAI då jag bara kör Vmware Hostar

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Inaktiv
Skrivet av knorrrhane:

Haha tack för det

Lösningen är faktiskt inte så ovanlig, här är en kille som gjort något liknande: https://calvin.me/all-in-one-esxi-server/

Hårdvaran var skrämmande lik den jag har också faktiskt.

Bara för att han har gjort det betyder inte att det är en bra lösning, det är en urusel lösning faktiskt. Typ som att ta trädgårdsvattenslangen och dra den in till köket och fästa den med buntband på kökskranen och sedan gå ut och starta vattnet varje gång man ska koka pasta.

Permalänk
Skrivet av Hugligan:

Bara för att han har gjort det betyder inte att det är en bra lösning, det är en urusel lösning faktiskt. Typ som att ta trädgårdsvattenslangen och dra den in till köket och fästa den med buntband på kökskranen och sedan gå ut och starta vattnet varje gång man ska koka pasta.

Okaj, vad föreslår du?

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk

@enoch85: känns som tråden kommit på avvägar, sorry!

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Inaktiv
Skrivet av knorrrhane:

Okaj, vad föreslår du?

Att du lägger VMs direkt på disken kopplad till hosten?

Permalänk
Medlem
Skrivet av Hugligan:

Att du lägger VMs direkt på disken kopplad till hosten?

Kunde inte sagt det bättre själv.
Istället för gå in och sedan ut igen.

Vill inte vara med när den lösningen börjar strula.

Permalänk
Medlem
Skrivet av knorrrhane:

Nu börjar det likna något, hade glömt att jag hade iSCSI på ett eget NIC så det var begränsat av 1 Gbit, nu är det 10 Gbit: http://imgur.com/a/8DpQz

Skrivprestandan blir nog bättre av en SLOG.

Där har du bättre hastighet än vad jag får ut på NFS faktiskt (skriv)

Utan SLOG: http://imgur.com/a/SXJYq (det är 4K jag tittar mest på, dock var min rigg snabbare just där)

Skrivet av Hugligan:

Bara för att han har gjort det betyder inte att det är en bra lösning, det är en urusel lösning faktiskt. Typ som att ta trädgårdsvattenslangen och dra den in till köket och fästa den med buntband på kökskranen och sedan gå ut och starta vattnet varje gång man ska koka pasta.

HAHAHA, vilken liknelse.

Skrivet av knorrrhane:

@enoch85: känns som tråden kommit på avvägar, sorry!

Ingen fara, det kanske utvecklas till en main tråd för just detta, vem vet.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Skrivet av Hugligan:

Att du lägger VMs direkt på disken kopplad till hosten?

Ja precis, det var det jag gjorde tills jag fick slut på plats. Sen så kör jag back-up på mina VMs till ZFS-diskarna, fungerar bra! Har man inte fysisk tillgång till servern så får man börja improvisera...

Edit: Om du inte menar att jag skall börja köra VMs i OmniOS, testade det men fick inte till det ordentligt så det fick bli ESXi.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Skrivet av Danne:

Kunde inte sagt det bättre själv.
Istället för gå in och sedan ut igen.

Vill inte vara med när den lösningen börjar strula.

Så länge min zpool är intakt så går det bra, där är ju en vmfs-fil som ligger på varje share jag har gjort till mina VMs. Så är inte så bekymrad för det.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem

Förstår ärligt talat inte hur ni kan vara så förvånade. Den lösningen är inte det minsta ovanlig för hemmaanvändare om man kollar typ Datahoarder/freenas.

Tror det har uppkommit eftersom du inte kan ha nån "simpel" RAID på ESX utan du måste ha ett RAIDkort som stödjs.

Jag har kört det, fast över NFS, för att få ZFS-lagring till ESXi.

Visa signatur

En server här, några servrar där.

Permalänk
Medlem

vnic i esxi

@knorrrhane:
Varför lägger du inte iSCSI-trafiken på ett separat virtuellt nät i esxi ?

OM du inte har någon iscsi-trafik som behöver gå utanför själva burken så behövs det inte anslutas ett nic-kort till den.

Jag har gjort samma stunt som du själv men detta var i en UNIX/Linux-labb - ville kunna använda snapshot i zfs för att tillverka "golden"-diskar. Fick dock bekymmer med korruption i vmfs-utdelningarna (utdelningarna från solaris-maskinen formatterades som vmfs.)

Så det var ett antal ggr som jag tvingade skicka solaris-maskinen bakåt i tiden pga korruption av den xml-fil som lagrar attributen för volymerna. stmf-tjänsten lagrar sina uppgifter i den filen - om den är skadad så lär inte stmf starta korrekt.

Permalänk
Inaktiv
Skrivet av moron:

Förstår ärligt talat inte hur ni kan vara så förvånade. Den lösningen är inte det minsta ovanlig för hemmaanvändare om man kollar typ Datahoarder/freenas.

Tror det har uppkommit eftersom du inte kan ha nån "simpel" RAID på ESX utan du måste ha ett RAIDkort som stödjs.

Jag har kört det, fast över NFS, för att få ZFS-lagring till ESXi.

Jag blev förvånad för jag hade aldrig sett något liknande och fattar dessutom inte meningen med den lösning. Känns som att ett RAID-kort är mycket simplare, har man inte råd med det så varför inte köra Hyper-V/KVM med mjukvaru RAID?. Denna lösning anses något vara väldigt långt till höger på denna skala:

Best practice <|----------|> Worst practice

Men fungerar det så kör hårt!
Peace

Permalänk
Medlem
Skrivet av Hugligan:

Att du lägger VMs direkt på disken kopplad till hosten?

Fast då kan han inte köra ZFS som kräver direkt access till diskarna. Så det är därför man gör så.

Skickades från m.sweclockers.com

Permalänk
Inaktiv
Skrivet av jocke92:

Fast då kan han inte köra ZFS som kräver direkt access till diskarna. Så det är därför man gör så.

Skickades från m.sweclockers.com

Jo det kan han, bara köra pass through med några diskar. Det är dessutom ingen idé att köra ZFS och lägga sina VMs där som ändå har annat filsystem över (tror jag i alla fall? rätta mig om jag har fel). Så det bästa enligt mig är att skapa en pool på hostnivå för VMs, och köra pass through till en VM som man använder som NAS för filer (om man nu vill köra ZFS, men det fattar jag inte varför man skulle vilja. Men det är väl en smakfråga).

Hela meningen med virtualisering är ju att skilja hårdvaru och mjukvaru åt så att man kan administrera dessa i olika lager. Därför är det olyckligt att göra en VM beroende av diskar genom att köra pass-through. I ett scenario där din server blir stulen eller går sönder är det betydligt jobbigare att återställa en sådan setup än en VM som kör en virtuell disk under valfri pool.

EDIT: Inte för att klanka ner på ZFS, jag gillar det för t.ex. ren NAS implementering. Jag vill bara inte vara den som satt upp en "smart ass" lösning när saker och ting slutar fungera.

Permalänk
Medlem

@Hugligan: men det är ju det han gjort, passat diskar till en VM som sen har storage på...

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av Hugligan:

Jo det kan han, bara köra pass through med några diskar. Det är dessutom ingen idé att köra ZFS och lägga sina VMs där som ändå har annat filsystem över (tror jag i alla fall? rätta mig om jag har fel). Så det bästa enligt mig är att skapa en pool på hostnivå för VMs, och köra pass through till en VM som man använder som NAS för filer (om man nu vill köra ZFS, men det fattar jag inte varför man skulle vilja. Men det är väl en smakfråga).

Hela meningen med virtualisering är ju att skilja hårdvaru och mjukvaru åt så att man kan administrera dessa i olika lager. Därför är det olyckligt att göra en VM beroende av diskar genom att köra pass-through. I ett scenario där din server blir stulen eller går sönder är det betydligt jobbigare att återställa en sådan setup än en VM som kör en virtuell disk under valfri pool.

EDIT: Inte för att klanka ner på ZFS, jag gillar det för t.ex. ren NAS implementering. Jag vill bara inte vara den som satt upp en "smart ass" lösning när saker och ting slutar fungera.

Nej, förstår din tanke med att det komplicerar saker och man tappar flexibilitet.

Men sedan kanske man inte vill ha mer än en burk av princip, waf, plasts, kostnad och strömförbrukning. Skulle inte göra det på ett företag, men hemma.

Visst ska ZFS skydda hårddiskfiler med nfts om felet sker med bitflips i fysiska lagret.

Permalänk
Inaktiv
Skrivet av jocke92:

Nej, förstår din tanke med att det komplicerar saker och man tappar flexibilitet.

Men sedan kanske man inte vill ha mer än en burk av princip, waf, plasts, kostnad och strömförbrukning. Skulle inte göra det på ett företag, men hemma.

Visst ska ZFS skydda hårddiskfiler med nfts om felet sker med bitflips i fysiska lagret.

Mer än en burk har jag aldrig föreslagit, utan mer att det känns som en himla omväg att använda ISCI till VMs på samma host. Vilket som släpper vi det nu tycker jag.

Jag har tänkt lägga upp en liten guide för studenter med lite plats eller minimalister som egentligen inte är intresserad av att ha en server, nas, router etc där jag bygger en dator med hög WAF som ersätter (för mig) HTPC, NAS, server, router, Wifi AP, huvuddator på ett flexibelt sätt. Med andra ord Fiber rakt in i datorn och det är i princip allt jag har datormässigt (stationärt).

Permalänk
Skrivet av SOES:

@knorrrhane:
Varför lägger du inte iSCSI-trafiken på ett separat virtuellt nät i esxi ?

Minns ärligt talat varför jag lade den på ett eget NIC. Nu är det dock på ett eget vlan som du föreslår.

Jag har inte haft problem med vmfs och iSCSI på flera år, dock hände något nyligen med min ownCloud server då jag fick I/O error på disken. Kunde boota med live cd och migrera datan utan problem så datan var intakt. Förstår fortfarande inte vad som hände.

Skickades från m.sweclockers.com

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem
Skrivet av knorrrhane:

Minns ärligt talat varför jag lade den på ett eget NIC. Nu är det dock på ett eget vlan som du föreslår.

Jag har inte haft problem med vmfs och iSCSI på flera år, dock hände något nyligen med min ownCloud server då jag fick I/O error på disken. Kunde boota med live cd och migrera datan utan problem så datan var intakt. Förstår fortfarande inte vad som hände.

Skickades från m.sweclockers.com

Det är den här typen av fel som du kan råka ut för när man kör en sådan lösning.
Vill det sig riktigt illa så kan hela disken bli korrupt.

Permalänk
Skrivet av Danne:

Det är den här typen av fel som du kan råka ut för när man kör en sådan lösning.
Vill det sig riktigt illa så kan hela disken bli korrupt.

Tror nog inte att disken blir korrupt då det är en egen isolerad ZFS-share som iSCSI LUNen ligger på. Men man lever och lär! Det är därför man har back-up.

EDIT: @Danne, du säger förresten att det är en stor risk men det är ju ganska standard att ha en separat SAN och sen köra diskar/shares via iSCSI i servervärlden.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem
Skrivet av knorrrhane:

Tror nog inte att disken blir korrupt då det är en egen isolerad ZFS-share som iSCSI LUNen ligger på. Men man lever och lär! Det är därför man har back-up.

EDIT: @Danne, du säger förresten att det är en stor risk men det är ju ganska standard att ha en separat SAN och sen köra diskar/shares via iSCSI i servervärlden.

"Disken" vilken "disk" syftar du på då? Är det en fysisk disk eller en virtuell disk?
Osäker på vad du menar med "ZFS-share" men å andra sidan så kör jag inte ZFS så jag antar att det heter så?
Men bara för att du kör det betyder det inte att du är skyddad mot att filer kan bli korrupta.
Jo det säger sig själv att man har backup
Som man dessutom bör köra en återställningstest på då och då för att vara säker på att allt är korrekt.

Ja det är vanligt att man kör ett SAN anslutet via iSCSI. Vad det nu har man detta att göra är jag osäker på.

Permalänk
Skrivet av Danne:

"Disken" vilken "disk" syftar du på då? Är det en fysisk disk eller en virtuell disk?

Det är en virtuell disk. ZFS fungerar så att du gör en zpool, i mitt fall 3 diskar där jag kör raidz som det kallas och har 1 paritetsdisk, 1 disk kan då gå sönder utan att datan försvinner. När man har sin zpool så lägger man in olika shares som jag då kan dela ut via SMB, NFS, AFP eller iSCSI. Det blir som en virtuell disk som du säger.

Skrivet av Danne:

Ja det är vanligt att man kör ett SAN anslutet via iSCSI. Vad det nu har man detta att göra är jag osäker på.

Jag tolkade det som att du tyckte att iSCSI var det sämsta någonsin men det var kanske inte protokollet du syftade på? Kanske också var otydlig med att jag inte bara skickar vidare hela disken med iSCSI. Det håller jag med om hade varit dumt.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Inaktiv
Skrivet av knorrrhane:

Det är en virtuell disk. ZFS fungerar så att du gör en zpool, i mitt fall 3 diskar där jag kör raidz som det kallas och har 1 paritetsdisk, 1 disk kan då gå sönder utan att datan försvinner. När man har sin zpool så lägger man in olika shares som jag då kan dela ut via SMB, NFS, AFP eller iSCSI. Det blir som en virtuell disk som du säger.

Jag tolkade det som att du tyckte att iSCSI var det sämsta någonsin men det var kanske inte protokollet du syftade på? Kanske också var otydlig med att jag inte bara skickar vidare hela disken med iSCSI. Det håller jag med om hade varit dumt.

Men herregud. Är det inte uppenbart från historiken i denna diskussion att vi inte har något emot ISCI (förutom att de är onödigt för 99% som använder det) utan det är din setup som är helt åt skogen. Du verkar inte vilja ta åt dig av vad någon annan har att säga utan försöker bortförklara och rättfärdiga din usla lösning. Som att prata med ett träd.

Ursäkta min negativa ton, stresspluggar inför tenta..

Permalänk
Skrivet av Hugligan:

Men herregud.

Förstår inte hur jag skall lösa det på annat sätt med ZFS och ESXi men detta behöver du inte brusa upp dig över. Lycka till med tentan!

Skickades från m.sweclockers.com

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem

Oj vad alla brusar upp Skulle skriva nåt mer, men håller det såhär:

Faktum kvarstår att om man kör ESXI kan man inte använda lokal lagring om
- du vill ha RAID.
- du vill köra ZFS.

Detta kräver antingen 1) ett hw RAID-kort eller 2) abrovinklar.

Lösningarn kan vara simpla:
1) Köp ett RAID-kort, det är ganska billigt. Tro inte på några underverk om du inte köper med cache+caps dock.
2) Kör på workarounds som löser vissa saker men skapar andra problem. T.ex. Du får ZFS fina egenskaper, men OS'et som kör ZFS ligger antagligen på en icke-RAID volym.
3) Byt till en hypervisor som stödjer sw-RAID( i kernel ex. )

Tråden har spårat ut, helt ointressant att läsa mantran ... @enoch85 hoppas din lagring blev bra

Visa signatur

En server här, några servrar där.

Permalänk
Medlem

fel i stmf

@Danne:
Disken blev i mitt fall inte korrupt och samtliga zvol var hela, alltså var de olika linux-maskinerna hela.

Vad som inte var helt, det var den xml-fil med uppgifter för stmf-tjänsten och alltså får då esx inte tillgång till sina vmfs-volymer.

Permalänk
Medlem
Skrivet av moron:

@enoch85 hoppas din lagring blev bra

Yes, den blev bra. Slutade handla mer grejer när jag fick ut cirka 70-80 MB/s i seq write från mina VMs. Sen kan man ju önska att den hade vart perfekt, men det är den inte. Hade gärna velat ha servern i kluster och så även lagringen för extra redundans, men det får bli en senare fråga. Är inte gjord av pengar.

Forstätt gärna diskutera kring ämnet dock.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Hur skall man testa diskprestanda på ett _Bra_ vis idag?
Eftersom mitt gamla sparade dokument med dd-syntaxen tydligen är en aning utdaterat så kan det ju vara bra att uppdatera sig lite inom ämnet.

Jag provade t.ex att installera CrystalDiskMark 5.2.0 x64 i en Windows 7-miljö på min maskin med Proxmox och diverse SSDer och den uppvisar då:

Och detta säger ju mig att det inte är så trovärdigt.
Så... hur gör man sent 2016 med tanke på alla virtuella system, SSD, filsystem och annat, finns det någon magisk ring som härskar över dem alla?

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Inaktiv
Skrivet av backspace:

Hur skall man testa diskprestanda på ett _Bra_ vis idag?
Eftersom mitt gamla sparade dokument med dd-syntaxen tydligen är en aning utdaterat så kan det ju vara bra att uppdatera sig lite inom ämnet.

Jag provade t.ex att installera CrystalDiskMark 5.2.0 x64 i en Windows 7-miljö på min maskin med Proxmox och diverse SSDer och den uppvisar då:
https://ibin.co/2zh4g8ZmN9Kl.png

Och detta säger ju mig att det inte är så trovärdigt.
Så... hur gör man sent 2016 med tanke på alla virtuella system, SSD, filsystem och annat, finns det någon magisk ring som härskar över dem alla?

Vad har du för lagring?