Hårdvara för ESXi för VM och NAS med ZFS

Permalänk
Medlem
Skrivet av Kr^PacMan:

Tänkte mer på Minecraft, som hellre vill ha singeltrådad prestanda. Men självklart, kör man virtuellt är det alltid bra med fler kärnor.

SAS breakout cable gav massa resultat på Ebay.

Ahh, tackar. Enklare när man vet vad man ska söka efter
Fanns mycket att välja på. Hur är kvaliteten på de billigaste kablarna, är det några speciella man ska undvika?

Permalänk
Medlem
Permalänk
Medlem
Skrivet av JesseJames:

Ett par polare kör ESXi med FreeBSD och zfs på detta (pass through på 6 diskar i raidz2):
http://www.mullet.se/product.html?product_id=335777
Flasha om LSI SAS controllern med icke raid firmwaren bara.

Funkar klockrent. De kör ett par virtuella Linux servrar också ihop med detta.

KVM over IP som man får med IMPI 2.0 är rätt praktiskt. Ratta allt från BIOS till installation av virtuella maskiner remote.

Har grubblat över de olika valen och kommit fram till att jag behöver mer än 32 GiB minne och därför verkar det fina moderkortet med inbyggt LSI SAS controller försvinna eftersom det endast stödjer upp till 4st 8 GiB stickor.

Det går inte att uppgradera BIOS för att få stöd för mer minne?
Finns det något annat moderkort som har stöd för mer minne och samtidigt har inbyggd LSI SAS controller?

Om inte det finns till vettig peng så kanske ni har tips på annat moderkort där man får köpa till ett m1015?

Finns så mycket att välja på att jag inte vet vad jag ska kolla efter.

Permalänk
Medlem

Då blir det inte någon socket 1150/1155 för dig då.

Permalänk
Medlem
Skrivet av beh:

Då blir det inte någon socket 1150/1155 för dig då.

Ok är det en begränsning på 32 GiB för den socketen?
Vad ska jag i så fall leta efter?

Permalänk
Medlem
Skrivet av Pake:

Ok är det en begränsning på 32 GiB för den socketen?
Vad ska jag i så fall leta efter?

115x serien är begränsad till 32 GB RAM i Chipset / CPU. Om du behöver mer måste du kolla på 2011 lösningar.

Permalänk
Medlem
Skrivet av beh:

115x serien är begränsad till 32 GB RAM i Chipset / CPU. Om du behöver mer måste du kolla på 2011 lösningar.

Låter som att det kommer att dyrare med det.

Vet du om det finns något 2011-kort som har inbyggt LSI raid-kort?
Vad ska man annars titta på när det gäller den här typen av moderkort och CPU:er?

Borde bli billigare att skaffa ett 2011-system än två 115x (en för NAS och en för VM).

Permalänk
Medlem

Hur vet jag om de här minnena passar ihop med moderkort från Supermicro?

/Edit
Kanske hjälper om jag även visar vilka minnen jag menar
Hynix Ddr3-1600 16Gb Ecc/Reg Cl11 Server Memory
http://www.newegg.com/Product/Product.aspx?Item=9SIA3KX16D346...

Permalänk
Medlem
Skrivet av Pake:

Hur vet jag om de här minnena passar ihop med moderkort från Supermicro?

/Edit
Kanske hjälper om jag även visar vilka minnen jag menar
Hynix Ddr3-1600 16Gb Ecc/Reg Cl11 Server Memory
http://www.newegg.com/Product/Product.aspx?Item=9SIA3KX16D346...

Du kan ju börja med att kolla listan som Supermicro har publicerat för det moderkortet som är intressant.
Finns under respektive moderkort på deras hemsida.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem
Skrivet av backspace:

Du kan ju börja med att kolla listan som Supermicro har publicerat för det moderkortet som är intressant.
Finns under respektive moderkort på deras hemsida.

Hmm, var inte så lätt att hitta rätt modellbeteckning för minnena.
När man var inne på specifikationen för ett minne så visades inte tillverkarens ID.

Om jag däremot sökte efter namnet på sidan så visades även Model # HMT42GR7MFR4A-PB

Tittar jag sedan på Supermicros hemsida på testade minnen för ett specifikt moderkort
http://www.supermicro.com/support/resources/memory/display.cf...

Så fanns det med över testade 16GB 1.35v Reg ECC minnen.

Tack så mycket för tipset!

Permalänk
Medlem
Skrivet av Pake:

Låter som att det kommer att dyrare med det.

Vet du om det finns något 2011-kort som har inbyggt LSI raid-kort?
Vad ska man annars titta på när det gäller den här typen av moderkort och CPU:er?

Borde bli billigare att skaffa ett 2011-system än två 115x (en för NAS och en för VM).

Angående vad som blir billigare. Är väldigt svårt det där. Har man två datorer så drar de antagligen mer ström, tar mer plats och låter mer, plus att det är fler saker som kan gå sönder. Samtidigt är det kanske inte lika farligt när något går sönder eftersom det antingen påverkar NAS eller VM maskinen. Och det som går sönder kanske är en billigare del eftersom man inte har behövt gå på serveranpassade delar. Sedan tycker jag också det är enklare att inte göra NAS virtuellt.

Några saker att tänka på. Båda varianterna har sina för och nackdelar, men jag skulle valt att köra 2 datorer.

Permalänk
Medlem
Skrivet av Tossen:

Angående vad som blir billigare. Är väldigt svårt det där. Har man två datorer så drar de antagligen mer ström, tar mer plats och låter mer, plus att det är fler saker som kan gå sönder. Samtidigt är det kanske inte lika farligt när något går sönder eftersom det antingen påverkar NAS eller VM maskinen. Och det som går sönder kanske är en billigare del eftersom man inte har behövt gå på serveranpassade delar. Sedan tycker jag också det är enklare att inte göra NAS virtuellt.

Några saker att tänka på. Båda varianterna har sina för och nackdelar, men jag skulle valt att köra 2 datorer.

Vad jag förstått så är det just NAS:en som är mest känslig med att ha ECC minnen/CPU för att inte riskera att data går sönder.

Mmm, svårt val det här. Har man det i samma burk kan man ju dela på resurserna mellan de olika systemen mycket lättare.

Sen är ett annat val om man vill att alla VM ska ligga på NAS:en eller om man har en separat diskyta för det.

Permalänk
Medlem

Jag har kört min NAS virtuellt tidigare. Men eftersom jag vill kunna experimentera fritt med den virtuella miljön, och inte bara maskinerna i miljön, så valde jag att flytta ut NAS till en egen burk.

Nu kan jag fippla runt med hela virtuella miljön friare än tidigare utan att behöva tänka på hur det påverkar lagringen. Jag använder främst min NAS till lagring av bilder och backup av datorer.

En inte allt för vild gissning är att du klarar dig med 8GB minne till din FreeNAS. Om du vill spara några kronor alltså.

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av Tossen:

Jag har kört min NAS virtuellt tidigare. Men eftersom jag vill kunna experimentera fritt med den virtuella miljön, och inte bara maskinerna i miljön, så valde jag att flytta ut NAS till en egen burk.

Nu kan jag fippla runt med hela virtuella miljön friare än tidigare utan att behöva tänka på hur det påverkar lagringen. Jag använder främst min NAS till lagring av bilder och backup av datorer.

En inte allt för vild gissning är att du klarar dig med 8GB minne till din FreeNAS. Om du vill spara några kronor alltså.

Skickades från m.sweclockers.com

Jag kör med 4x 3TB WD Red diskar med 8GB RAM tilldelat till FreeNAS i en ESXi miljö. Funkar klockrent och får höga hastigheter
Läser i 100MB/sek och skriver i ~85MB/sek. Kör med RaidZ2 och kryptering.

Permalänk
Medlem
Skrivet av gregoff:

Jag kör med 4x 3TB WD Red diskar med 8GB RAM tilldelat till FreeNAS i en ESXi miljö. Funkar klockrent och får höga hastigheter
Läser i 100MB/sek och skriver i ~85MB/sek. Kör med RaidZ2 och kryptering.

Med 4x3TB så blir det 6GB tillgänglig lagring. Med 8 GB RAM så blir det ju mer än 1 GB/TB vilket är vad som rekommenderas.
Jag kommer att starta med 6x3TB vilket skulle ge 12TB lagring.

Permalänk
Medlem

Jag själv har tyvärr inte gjort några tester på eventuell skillnad i hur prestandan påverkas av mer eller mindre ram. Men går man på FreeNas egen dokumentation så ser man att minimum 8GB är rekommenderat och 16GB ofta är en bra avvägning för hemanvändaren eller det lilla kontoret. Det står även att man inte behöver ta så hårt på rekommendationen om 1GB ram/TB lagring. Men samtidigt säger dom att mer ram är bättre. http://doc.freenas.org/index.php/Hardware_Recommendations

Så ska du använda den för ditt privata bruk hemma, och inte det är något extremfall, så räcker säkerligen 8GB. Men räkna på 16GB om du vill ligga i överkanten. Sedan kommer alltid frågan in om man sätter in massor av ram bara för att man kan eller för att man tror det behövs. Man kanske vill ha en biffig maskin, och då ska man absolut inte nöja sig med 8GB bara för att det räcker. Hehe

Permalänk
Medlem

Angående mängden RAM så börjar jag fundera på om det trots allt inte är mer optimalt att sätta RAM-minnet i klientdatorn än i servern (om man i huvudsak arbetar från en arbetsmaskin och läser filerna från sin filserver). Uppgraderade från 8 GB RAM till 24 GB RAM i min arbetsmaskin och det gjorde mycket större skillnad än när jag stoppade i 16 GB RAM i filservern. Det är nämligen så att filerna man hämtar från servern går snabbare att hämta från klientdatorns filcache än från serverns filcache via gigabitnätverket. Så när man väl läst filen en gång från servern hamnar den både i serverns och klientdatorns filcache (om den får plats). Nästa gång man läser filen går det blixtsnabbt att hämta den från klientdatorns RAM men mycket låmgsammare om den ska gå från filserverns RAM via nätverket till klientdatorn.

Jobbar ofta med videofiler på 10GB och liknande storlekar. Dessa får nu plats i min klientdators filcache vilket ger en enorm fördel jämfört med att hämta dem från servern. Nu kör både min server och klientdator med ZFS on Linux och filerna överförs via NFS.

Något att tänka på kanske när man köper RAM-minne. Var gör minnet störst nytta?

Permalänk
Medlem

Hur skulle det här moderkortet fungera tillsammans med den här CPU:n

Intel DX79TO
http://www.prisjakt.nu/produkt.php?e=1014143

Intel Xeon E5-1620 3,6GHz Socket 2011 Tray
http://www.prisjakt.nu/produkt.php?p=1157214

Vad gör Supermicro moderkorten så bra? De kostar ganska mycket mer.
Det här moderkortet har 8 minnesplatser det är svårt att hitta på Supermicro.

Den här kombinationen ska väl klara ECC och virtualisering?

Permalänk
Medlem
Skrivet av Pake:

Hur skulle det här moderkortet fungera tillsammans med den här CPU:n

Intel DX79TO
http://www.prisjakt.nu/produkt.php?e=1014143

Intel Xeon E5-1620 3,6GHz Socket 2011 Tray
http://www.prisjakt.nu/produkt.php?p=1157214

Vad gör Supermicro moderkorten så bra? De kostar ganska mycket mer.
Det här moderkortet har 8 minnesplatser det är svårt att hitta på Supermicro.

Den här kombinationen ska väl klara ECC och virtualisering?

Chipsetet har stöd för VT-d, om det är aktiverat i BIOS vet jag inte. Ladda hem manualen och kolla. ECC hittar jag inget om.
Processorn stödjer dock både VT-d och ECC (tänk dock på att det är en Sandy Bridge E variant och inte den snabbare V2 som är Ivy Bridge-E). Intel har ett eget "server chipset" (C602/604/606/608) som har aktiverat ECC ram och det är för att få dessa som man brukar landa på ett SuperMicro kort + att man ofta önskar IMPI fjärr administration och många NIC etc.

Permalänk
Medlem
Skrivet av beh:

Chipsetet har stöd för VT-d, om det är aktiverat i BIOS vet jag inte. Ladda hem manualen och kolla. ECC hittar jag inget om.
Processorn stödjer dock både VT-d och ECC (tänk dock på att det är en Sandy Bridge E variant och inte den snabbare V2 som är Ivy Bridge-E). Intel har ett eget "server chipset" (C602/604/606/608) som har aktiverat ECC ram och det är för att få dessa som man brukar landa på ett SuperMicro kort + att man ofta önskar IMPI fjärr administration och många NIC etc.

Tittar man på Intels hemsida så bör den har stöd för ECC

http://www.intel.com/support/motherboards/desktop/sb/cs-00902...
The following Intel® Desktop Boards support both ECC and non-ECC DIMMs.

V2 av CPU verkar kosta lika mycket så då är det bättre att välja den
Intel Xeon E5-1620v2 3,7GHz Socket 2011 Tray
http://www.prisjakt.nu/produkt.php?p=2180547

Men som du säger så hade det varit skoj med IMPI.

Permalänk
Medlem

När jag ändå satt och kollade runt på moderkort så råkade jag se det här http://www.supermicro.com.tw/products/motherboard/Xeon/C600/X...
Som har plats för dubbla CPU:er. Det står så här:

Citat:

Dual socket R (LGA 2011) supports
Intel® Xeon® processor E5-2600
and E5-2600 v2 family†

Jag som inte har sysslat med serverdelar tidigare blir osäker på om det passar ihop med E5-1620 CPU eller om de inte är kompatibla.
Vad jag förstod av E5-2500-serien så är de hexa core med lägre hastighet jämfört med E5-1620 som är quad core.

Man behöver väl inte sätta in två CPU:er direkt utan kan börja med en och uppgradera vid behov senare?
Hur funderar det med RAM om man använder 2 CPU:er, behöver det fördelas i rätt minnesplatser eller har det ingen betydelse var de sitter?

Permalänk
Medlem

Jag skriver ofta om ebay.. men jag måste bara upplysa om alternativen till nya och fina servrar: http://www.ebay.com/itm/Dell-PowerEdge-FS12-TY-C2100-2U-2X-XE...

http://www.ebay.com/itm/Dell-PowerEdge-FS12-TY-C2100-2U-2X-XE...

EDIT:
Fast jag ser att den där säljaren inte skeppar internationellt, så det var ju synd..

Visa signatur

WS: Asus P8Z77-I Deluxe mITX | Intel 3770K@4.6 | NH-U12P | Asus 780 GTX | Corsair 2x8GB 1600Mhz CL9 | Samsung 840 512GB | Ubuntu 16.04.3 x86_64 | Corsair AX750 | 2x Dell U2412M | Puppe.se | NAS: i7 860, 16GB DDR3, GA-P55M-UD4, FD Define R3, 8x2TB Samsung F4EG, Serveraid M1015, EVGA 750W G2 PSU, FreeBSD x64

Permalänk
Medlem
Skrivet av Schrimp:

Jag skriver ofta om ebay.. men jag måste bara upplysa om alternativen till nya och fina servrar: http://www.ebay.com/itm/Dell-PowerEdge-FS12-TY-C2100-2U-2X-XE...

http://www.ebay.com/itm/Dell-PowerEdge-FS12-TY-C2100-2U-2X-XE...

EDIT:
Fast jag ser att den där säljaren inte skeppar internationellt, så det var ju synd..

Har också sett servrarna från den försäljaren.
Den här med 72GB ram hade varit trevlig http://www.ebay.com/itm/Dell-Poweredge-C1100-1U-2X-XEON-HEX-C...
Stod att man skulle kontakta dem för frågor om frakt utomlands.

Permalänk
Medlem
Skrivet av Pake:

Har också sett servrarna från den försäljaren.
Den här med 72GB ram hade varit trevlig http://www.ebay.com/itm/Dell-Poweredge-C1100-1U-2X-XEON-HEX-C...
Stod att man skulle kontakta dem för frågor om frakt utomlands.

Tyvärr skickar dom endast med FedEx, så räkna med ca 5000kr i frakt. Minst sagt sunkigt...

Visa signatur

WS: Asus P8Z77-I Deluxe mITX | Intel 3770K@4.6 | NH-U12P | Asus 780 GTX | Corsair 2x8GB 1600Mhz CL9 | Samsung 840 512GB | Ubuntu 16.04.3 x86_64 | Corsair AX750 | 2x Dell U2412M | Puppe.se | NAS: i7 860, 16GB DDR3, GA-P55M-UD4, FD Define R3, 8x2TB Samsung F4EG, Serveraid M1015, EVGA 750W G2 PSU, FreeBSD x64

Permalänk
Medlem
Skrivet av Schrimp:

Tyvärr skickar dom endast med FedEx, så räkna med ca 5000kr i frakt. Minst sagt sunkigt...

Mmm, fick ett prisförslag på $687 i frakt

Permalänk
Medlem
Skrivet av Pake:

När jag ändå satt och kollade runt på moderkort så råkade jag se det här http://www.supermicro.com.tw/products/motherboard/Xeon/C600/X...
Som har plats för dubbla CPU:er. Det står så här:

Jag som inte har sysslat med serverdelar tidigare blir osäker på om det passar ihop med E5-1620 CPU eller om de inte är kompatibla.
Man behöver väl inte sätta in två CPU:er direkt utan kan börja med en och uppgradera vid behov senare?
Hur funderar det med RAM om man använder 2 CPU:er, behöver det fördelas i rätt minnesplatser eller har det ingen betydelse var de sitter?

Någon av er som har koll på kompatibiliteten mellan de olika modellerna.

Om moderkortet har stöd för:
Dual socket R (LGA 2011) supports
Intel® Xeon® processor E5-2600 and E5-2600 v2 family

Passar ändå E5-1620v2 för våda är väl Socket 2011 eller är det något annat som gör att de inte passar?

Permalänk
Medlem
Skrivet av Pake:

Någon av er som har koll på kompatibiliteten mellan de olika modellerna.

Om moderkortet har stöd för:
Dual socket R (LGA 2011) supports
Intel® Xeon® processor E5-2600 and E5-2600 v2 family

Passar ändå E5-1620v2 för våda är väl Socket 2011 eller är det något annat som gör att de inte passar?

E5-16XX Single socket
E5-26XX Dual socket
E5-46XX Quad socket

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem
Skrivet av ozric:

E5-16XX Single socket
E5-26XX Dual socket
E5-46XX Quad socket

Så det är olika CPU:er för Single och Dual socket?
Trodde bara det var olika moderkort för det.

Permalänk
Medlem

Jag har fattat det såhär:

E5-16XX funkar bara i single socket.
E5-26XX funkar både i dual och single socket.
E5-46XX funkar funkar i alla Sockets.

Jag kör själv en E5-2620 i single socket.

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem

Då får det helt enkelt bli ett singel-CPU-system. Blir för dyrt med dual.
Hittade den här CPU:n
Intel Xeon E5-1650 3,2GHz Socket 2011
som just nu har ett attraktivt pris hos Dustin Home. Vet att det har kommit en v2 men den kostar 1000kr mer
v2 ligger på 3,5GHz men med turbo så skiljer det inte så mycket på dem.

Kan ni komma på någon orsak till varför jag ska välja v2 över den första modellen?
Annars ligger nog valet på E5-1620v2.

Jämför de tre olika CPU:erna hos prisjakt http://www.prisjakt.nu/produkt.php?j=2180547,1157258,2180548
För bara 1500kr mer så får jag en 6-kärning CPU vilket är väldigt trevligt för ett VM-system.

Ska bara försöka välja ut ett moderkort bland alla alternativ som finns. Känns som en enorm djungel när man börjar titta.
Tyvärr så är prisjakt lite för dålig när det kommer hit. Vad jag vet går det inte att filtrera fram moderkort med IPMI utan bara hur många nätverks-interface det finns.

Några tips i valet bland 2011-moderkort?

Just nu ser det ut att bli de här delarna: http://www.prisjakt.nu/list.php?l=2548791
(har inte granskat minnet än utan endast en fingervisning)