Forum Datorer och system Server Tråd Inlägg

Xeon-D 1528 Serverbygge (pensionera N54L)

1
Skriv svar
Permalänk
Medlem ★
●

Xeon-D 1528 Serverbygge (pensionera N54L)

Nu har det blivit dags att pensionera min HP N54L Microserver. Den är utrustad med:

  • 8GB RAM

  • HP 410 RAID kontroller, 256MB Cache och Batteripack.

  • Intel PCIE NIC.

  • 5 x WD RED 3TB i RAID 5.

ESXi körs från ett USB minne och det finns ett 300GB LUN för virtuella maskiner resten RDM mappas direkt mot en Linux VM där största mängden data ligger.

Några virtuella Linuxmaskiner kör:

  • Crashplan

  • Plex

  • Grafana

  • InfluxDB

  • MySQL

  • Sickrage

  • SABnzbd

  • Deluge

  • PlexPy

Sedan har jag en virtuell W7 Workstation för bokföring m.m. Dessa tjänster kommer att behöva köras på den nya lösningen också.

Den nya maskinen består av följande komponenter:

Moderkort
Supermicro X10SDV-6C+-TLN4F
• Intel® Xeon® processor D-1528 SoC, 6-Cores, 12 Threads, 35W
• Up to 128GB ECC DDR4 RDIMM 2133MHz or 64GB ECC/non-ECC UDIMM in 4 DIMM slots
• 2x 10GbE LAN ports and 2x 1GbE LAN ports; IPMI 2.0 and KVM w/ dedicated LAN
• 1x PCI-E 3.0 x16 and M.2 PCIe 3.0 x4, M Key 2242/2280
• 6x SATA3 ports via SoC
• 2x USB 3.0 ports (rear), 4x USB 2.0 ports (via headers)
• 1x SuperDOM, 1x COM, TPM header, GPIO and SMbus headers
• Form factor: Mini-ITX, 6.7" x 6.7"

Chassi
Supermicro SC721TQ Embedded Mini-Tower Chassis W/ 4x 3.5 HDD Tray
• Compact Mini-Tower Chassis (D 11" x W 8.27" x H 9.45") supports Mini-ITX 6.75" x 6.75" motherboards
• 250W Multi-output Power Supply
• 1x 12cm Rear Exhaust fan
• 4x 3.5" Hot-swap Drive Bays and 2x 2.5" Fixed Drive Bays
• 1x Low-profile Expansion Slot
• 1x Slim DVD-ROM Drive Bay (optional)

Minne
32 GB Samsung DDR4 ECC Reg

Extra HBA för intern och extern lagring
LSI 9212-4i4e SAS/SATA HBA

Hårddiskar
-

Allt utom hårddiskar har jag beställt, jag har inte heller bestämt mig vilket OS jag ska köra i botten. Ett tag hade jag tänkt att köra Windows Server 2016 och Storage Spaces. Alternativet är ESXi och köra en AIO lösning med Freenas och passthrough av HBA kortet. Det kommer att finnas ett behov av att köra ett antal virtuella Linux och Windows maskiner i framtiden.

Tråden kommer att uppdateras löpande under byggets gång, under tiden tar jag gärna emot förslag eller tips

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Avstängd
●

Jag följer detta måste se slutet på det.

Glöm inte att lägga upp mer bilder på det.

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Galet att hoppa från N54L till denna monster!

Dock så skulle jag inte råda dig att använda RAID5. Du kommer att få mycket IOWait.
Snåla inte ut nu, kör RAID 10 på dina 4 stycken WD diskar och komplettera med två mindre SSD diskar (raid1) som du använder till mer krävande tjänster.

Den femte WD disken kan du använda som en extern backup.

Senast redigerat
Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Redigera
Citera flera Citera
Permalänk
Inaktiv
●

@Calle: Skippa storage spaces och passthrough

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av BrusE:

Galet att hoppa från N54L till denna monster! Dock så skulle jag inte råda dig att använda RAID5. Du kommer att få mycket IOWait

Snåla inte ut nu, kör RAID 10 på dina 4 stycken WD diskar och komplettera med två mindre SSD diskar (raid1) som du använder till mer krävande tjänster.

Den femte WD disken kan du använda som en extern backup.

Gå till inlägget

Ja, jag räknar med en rejäl skillnad, prestandamässigt

Mina nuvarande WD RED 3TB är rätt fullproppade så det kommer förmodligen bli att bita i det sura äpplet och köpa in 4st RED 8TB.
Har ett extern SAS kabinett för 4 diskar över. Har en tanke att stoppa in 3TB diskarna där när de är tömda på data. Kabinettet kopplas in med en SFF-8088 kabel mot LSI kortet.

Förutom detta så har jag ett gäng Samsung 128GB SSD diskar liggandes. Det är en enklare OEM modell men borde duga för att lagra virtuella maskiner. Hoppas att det går att klämma in dem någonstans.

Skrivet av Hugligan:

@Calle: Skippa storage spaces och passthrough

Gå till inlägget

Ja, det lutar åt en traditionell AIO

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Calle:

Ja, jag räknar med en rejäl skillnad, prestandamässigt

Mina nuvarande WD RED 3TB är rätt fullproppade så det kommer förmodligen bli att bita i det sura äpplet och köpa in 4st RED 8TB.
Har ett extern SAS kabinett för 4 diskar över. Har en tanke att stoppa in 3TB diskarna där när de är tömda på data. Kabinettet kopplas in med en SFF-8088 kabel mot LSI kortet.

Förutom detta så har jag ett gäng Samsung 128GB SSD diskar liggandes. Det är en enklare OEM modell men borde duga för att lagra virtuella maskiner. Hoppas att det går att klämma in dem någonstans.

Ja, det lutar åt en traditionell AIO

Gå till inlägget

Ok. Men som sagt, mitt tips är att undvika RAID5 i själva servern.

EDIT: Ska du köra 10GE eller kommer du att hålla dig till 1GE?

Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Redigera
Citera flera Citera
Permalänk
Inaktiv
●

@BrusE: Jag ska vara "the odd ball" och föreslå ett system helt utan RAID. Ofta är det betydligt bättre investerat att satsa den andra hårddisken (istället för RAID10) på en rejäl och bra inkrementell backup för hemanvändaren. RAID är som sagt för de som inte kan tolerera nedtid. Lägger man skrivintensiva VMs på SSD och använder HDDs för lagring ligger man rätt bra till. Efter att ha bökat alldeles för mycket med RAID och inte anser att kostnaderna är värt det hemma så kör jag så numera.

EDIT: Jag känner att jag behöver förklara mitt påstående och backa upp det med lite statistik. Håller man sig till kvalitativa hårddiskar ser vi att fail rates enligt backblaze ligger mellan 0-2% (runt 0-1%) där du ofta får varning via smart om något håller på att gå snett. Oddsen att du skulle förlora en hårddisk är alltså minimal. Du får även ut minst lika god prestanda i en server eftersom du kan dela loaden där på ett helt annat sätt mellan VMs än tex i ett spel. Har du en bra backup så återställer du på en svinblink. Jag skulle därför våga påstå att det nästan är ett måste att först ha en bra backup och därefter en offsite DR (disaster recovery) innan man implementerar RAID. Vill man därefter köra RAID så bör man för all del göra det, men man ska inte inbilla sig att sitt system nödvändigtvis blir "stabilare". Jag skulle gärna vilja se statistik på nergraderade raider, problem med raidkontroller eller återbyggnadstider pga diskcrash där systemet blir mer eller mindre obrukbart. Jag skulle bli mycket förvånad om detta kom under 0-2%.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Hugligan:

@BrusE: Jag ska vara "the odd ball" och föreslå ett system helt utan RAID. Ofta är det betydligt bättre investerat att satsa den andra hårddisken (istället för RAID10) på en rejäl och bra inkrementell backup för hemanvändaren. RAID är som sagt för de som inte kan tolerera nedtid. Lägger man skrivintensiva VMs på SSD och använder HDDs för lagring ligger man rätt bra till. Efter att ha bökat alldeles för mycket med RAID och inte anser att kostnaderna är värt det hemma så kör jag så numera.

EDIT: Jag känner att jag behöver förklara mitt påstående och backa upp det med lite statistik. Håller man sig till kvalitativa hårddiskar ser vi att fail rates enligt backblaze ligger mellan 0-2% (runt 0-1%) där du ofta får varning via smart om något håller på att gå snett. Oddsen att du skulle förlora en hårddisk är alltså minimal. Du får även ut minst lika god prestanda i en server eftersom du kan dela loaden där på ett helt annat sätt mellan VMs än tex i ett spel. Har du en bra backup så återställer du på en svinblink. Jag skulle därför våga påstå att det nästan är ett måste att först ha en bra backup och därefter en offsite DR (disaster recovery) innan man implementerar RAID. Vill man därefter köra RAID så bör man för all del göra det, men man ska inte inbilla sig att sitt system nödvändigtvis blir "stabilare". Jag skulle gärna vilja se statistik på nergraderade raider, problem med raidkontroller eller återbyggnadstider pga diskcrash där systemet blir mer eller mindre obrukbart. Jag skulle bli mycket förvånad om detta kom under 0-2%.

http://i.imgur.com/zgNtcmX.png

Gå till inlägget

Jag reagerade på att du skrev RAID5 i första inlägget.

Jag köper ditt argument. Dock så kör jag inte med RAID enbart för att jag vill ha bra upptid på min hemserver.
Det är skönt att slippa att rulla tillbaka en backup om en disk går sönder.

Min nuvarande server, ett hemma bygge med Q6600 och 500 GB Samsung diskar har rullat i över 8 år utan att jag har bytt något i den.

Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av BrusE:

Jag reagerade på att du skrev RAID5 i första inlägget.

Jag köper ditt argument. Dock så kör jag inte med RAID enbart för att jag vill ha bra upptid på min hemserver.
Det är skönt att slippa att rulla tillbaka en backup om en disk går sönder.

Min nuvarande server, ett hemma bygge med Q6600 och 500 GB Samsung diskar har rullat i över 8 år utan att jag har bytt något i den.

Gå till inlägget

RAID5? Vet jag inte att jag skrev, vilket som.

Hela min poäng var att man kan inte ta för givet att man skulle ha mindre nertid med RAID än utan. Att en disk skulle gå sönder skulle lika väl kunna ske som att ditt moderkort skulle gå sönder. Behöver du flytta diskarna då så måste du ha samma controller, annars måste du ändå återställa från backup. Så för hemanvändare anser jag att det är hugget som stucket, mao kan man lika väl spara några kronor.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Hugligan:

RAID5? Vet jag inte att jag skrev, vilket som.

Hela min poäng var att man kan inte ta för givet att man skulle ha mindre nertid med RAID än utan. Att en disk skulle gå sönder skulle lika väl kunna ske som att ditt moderkort skulle gå sönder. Behöver du flytta diskarna då så måste du ha samma controller, annars måste du ändå återställa från backup. Så för hemanvändare anser jag att det är hugget som stucket, mao kan man lika väl spara några kronor.

Gå till inlägget

Sorry. Såg att det var din nuvarande och antog fel.
Skyller på trötthet från nattens arbete!

Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av BrusE:

Ok. Men som sagt, mitt tips är att undvika RAID5 i själva servern.

EDIT: Ska du köra 10GE eller kommer du att hålla dig till 1GE?

Gå till inlägget

Jag kommer nog initialt hålla mig till 1GBE, men det finns ett sug att skaffa ett 10GBE NIC till min stationära. Nu är jag dock osäker på om kablaget jag dragit i lägenheten håller måttet

Gällande backup, raid etc är jag väl medveten om för och nackdelarna. Någon form av pool för större mängder data kommer dock att behövas för att slippa pussla in filerna på separata diskar.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Hedersmedlem ★
●

Spännande SoC-Xeon-moderkort. Var hittar du det, Mullet?

edit: Jepp.

Senast redigerat
Visa signatur

yayaya I am Lorde yayaya

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Hugligan:

@BrusE: Jag ska vara "the odd ball" och föreslå ett system helt utan RAID. Ofta är det betydligt bättre investerat att satsa den andra hårddisken (istället för RAID10) på en rejäl och bra inkrementell backup för hemanvändaren. RAID är som sagt för de som inte kan tolerera nedtid. Lägger man skrivintensiva VMs på SSD och använder HDDs för lagring ligger man rätt bra till. Efter att ha bökat alldeles för mycket med RAID och inte anser att kostnaderna är värt det hemma så kör jag så numera.

EDIT: Jag känner att jag behöver förklara mitt påstående och backa upp det med lite statistik. Håller man sig till kvalitativa hårddiskar ser vi att fail rates enligt backblaze ligger mellan 0-2% (runt 0-1%) där du ofta får varning via smart om något håller på att gå snett. Oddsen att du skulle förlora en hårddisk är alltså minimal. Du får även ut minst lika god prestanda i en server eftersom du kan dela loaden där på ett helt annat sätt mellan VMs än tex i ett spel. Har du en bra backup så återställer du på en svinblink. Jag skulle därför våga påstå att det nästan är ett måste att först ha en bra backup och därefter en offsite DR (disaster recovery) innan man implementerar RAID. Vill man därefter köra RAID så bör man för all del göra det, men man ska inte inbilla sig att sitt system nödvändigtvis blir "stabilare". Jag skulle gärna vilja se statistik på nergraderade raider, problem med raidkontroller eller återbyggnadstider pga diskcrash där systemet blir mer eller mindre obrukbart. Jag skulle bli mycket förvånad om detta kom under 0-2%.

Gå till inlägget

Jag ser diskkrascher relativt ofta inom yrket, anledningen till att köra raid är inte för att "rädda" data, det är mycket riktigt som du säger backuper till för.

Anledningen till att du kör raid är som du påpekar till för driftstabilitet. Vad du verkar bortse från är tiden det tar att återställa från backuper. Ska du återställa 8TB data genom en 1Gb/s lina tar detta 18h vid teoretisk maxhastighet eller via USB 3.1 strax över 11h om diskarna kan hålla en hastighet på runt 200MB/S kontinuerligt. Detta finns inte en chans att du når vid små filer som på t.ex återställning av virtuella maskiner.

Vid en diskkrasch utan RAID blir jobbet att köpa en ny disk vänta på frakt, hämta ny disk, installera, vänta på återläsning av backuper och möjligtvis lite konfiguration. Under denna tid ligger systemet nere.
Detta kan jämföras mot att helt enkelt beställa en disk online och rycka ur gammal och trycka i ny. Sammanlagt arbete att faktiskt beställa, hämta ut och installera den nya disken blir då under 1h, nertiden blir 0.

Har du inte RAID betalar du med din tid och systemets otillgänglighet vid en krasch.

Visa signatur

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av mini-ryttge:

Jag ser diskkrascher relativt ofta inom yrket, anledningen till att köra raid är inte för att "rädda" data, det är mycket riktigt som du säger backuper till för.

Anledningen till att du kör raid är som du påpekar till för driftstabilitet. Vad du verkar bortse från är tiden det tar att återställa från backuper. Ska du återställa 8TB data genom en 1Gb/s lina tar detta 18h vid teoretisk maxhastighet eller via USB 3.1 strax över 11h om diskarna kan hålla en hastighet på runt 200MB/S kontinuerligt. Detta finns inte en chans att du når vid små filer som på t.ex återställning av virtuella maskiner.

Vid en diskkrasch utan RAID blir jobbet att köpa en ny disk vänta på frakt, hämta ny disk, installera, vänta på återläsning av backuper och möjligtvis lite konfiguration. Under denna tid ligger systemet nere.
Detta kan jämföras mot att helt enkelt beställa en disk online och rycka ur gammal och trycka i ny. Sammanlagt arbete att faktiskt beställa, hämta ut och installera den nya disken blir då under 1h, nertiden blir 0.

Har du inte RAID betalar du med din tid och systemets otillgänglighet vid en krasch.

Gå till inlägget

Jag är mycket väl medveten om detta även om jag inte riktigt håller med om det du säger och tycker heller inte du tar hänsyn till nackdelarna med raid. Hur lång tid tar det att återbygga en 4x8TB raid5? Har man en DR så kan du starta igång den på 5 min och köra med under tiden återställningen sker.. Dessutom som privatperson har man betydlig annan belastning än i industrin och man har förhoppningsvis tid för viss nertid vid ev crash (som ändå är väldigt osannolik om man har koll på smart via mail).

RAID10 köper jag, det är jävligt nice. Men ska man punga ut för 2 extra 8TB diskar bara för att ev inte ha nertid om man ändå kör bra backup och offsite replikering? Nja.. det är väl upp till var och en.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Nu börjar tråden spåra ur. Märk väl detta är för hemmalabbet så vi lämnar DR, Offsite, Återställningstider, SLA utanför

On topic:

Interna disklåda - 4 x 8TB WD RED.
Extern disklåda - 4 x 3TB WD RED (en cold spare).
Intern 2.5" SSD - Har tillgång till 4st Samsung 128GB SSD diskar samt en Intel 1500 180GB

Det finns 2st 2.5" platser i chassit men jag räknar kallt med att det går att klämma in 4st totalt

Nu börjar det spåra (bli dyrt) men om jag köper in en NVME disk för datastore skulle det gå att köra passthrough på båda interna kontrollern och HBA kortet till FresNas. (https://forums.servethehome.com/index.php?threads/intel-xeon-...)

Alternativet är att köra dem som singeldiskar för datastore i ESXi.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hmmm trevlig hårdvara. Jag skulle nog titta på senaste versionen av freenas(11) den har stöd för VMs och med LSI HBA kortet så känns ZFS rätt lösning. klämma i SSD för att rulla VMs på... Då kan du hoppa esxi, om inte det är något krav(labba med kanske) men att visualisera Freenas nu när det stöder VMs känns som att gå över ån efter vatten..

Skickades från m.sweclockers.com

Visa signatur

2x E5-2690 | Supermicro x9dri-ln4f+ | 128GB 10600R Samsung ddr3 | 500GB 850 Evo | Asus R9-290x Matrix | Corsair RM1000i | Corsair Carbide AIR 540 | Intel X5650 | ASUS PT6-Delux OC-Palm | 12GB | 500GB Samsung 850 EVO + 400 GB Intel 910| Asus 7850 | Corsair Carbide 400Q |Supermicro X8DTI-f | 2x Intel Xeon X5650 | 96GB ECC RAM | 2x 250 GB Samsung 850 EVO | UNRAID 6.2.2 | Corsair Graphite 600t

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av Tette:

Hmmm trevlig hårdvara. Jag skulle nog titta på senaste versionen av freenas(11) den har stöd för VMs och med LSI HBA kortet så känns ZFS rätt lösning. klämma i SSD för att rulla VMs på... Då kan du hoppa esxi, om inte det är något krav(labba med kanske) men att visualisera Freenas nu när det stöder VMs känns som att gå över ån efter vatten..

Skickades från m.sweclockers.com

Gå till inlägget

Om man har flera serverdator som jag har så är det inte att gå över ån efter vatten.

Och 11.1 har många bug fixar med så blir skoj när den kommer ut.

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Tette:

Hmmm trevlig hårdvara. Jag skulle nog titta på senaste versionen av freenas(11) den har stöd för VMs och med LSI HBA kortet så känns ZFS rätt lösning. klämma i SSD för att rulla VMs på... Då kan du hoppa esxi, om inte det är något krav(labba med kanske) men att visualisera Freenas nu när det stöder VMs känns som att gå över ån efter vatten..

Skickades från m.sweclockers.com

Gå till inlägget

Ja, har läst att FreeNas nu fixar att köra VMar och efter att ha läst på verkar prestandan vara riktigt bra! (https://b3n.org/vmware-vs-bhyve-performance-comparison/)

Men även SmartOS och Proxmox bör då kanske jämföras och utvärderas tänker jag?

Det hade varit fint med en tabell så man kunde jämföra funktioner och begränsningar.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av superegg:

Om man har flera serverdator som jag har så är det inte att gå över ån efter vatten.

Och 11.1 har många bug fixar med så blir skoj när den kommer ut.

Gå till inlägget

Ja men nu var ju svaret ämnat till Calle som skulle pensionera EN HP microserver, att i det läget välja Esxi och virtualisera Freenas är ju hel galet tycker jag.

För den intresserade som vill läsa lite om Freenas och VM så kan jag rekommendera detta blogginlägg
http://www.freenas.org/blog/yes-you-can-virtualize-freenas/ det är några år gammalt men ändå relevant

Skickades från m.sweclockers.com

Visa signatur

2x E5-2690 | Supermicro x9dri-ln4f+ | 128GB 10600R Samsung ddr3 | 500GB 850 Evo | Asus R9-290x Matrix | Corsair RM1000i | Corsair Carbide AIR 540 | Intel X5650 | ASUS PT6-Delux OC-Palm | 12GB | 500GB Samsung 850 EVO + 400 GB Intel 910| Asus 7850 | Corsair Carbide 400Q |Supermicro X8DTI-f | 2x Intel Xeon X5650 | 96GB ECC RAM | 2x 250 GB Samsung 850 EVO | UNRAID 6.2.2 | Corsair Graphite 600t

Redigera
Citera flera Citera
Permalänk
Moderator
Moderator ★
●

*Tråd smått rensad enl § 1 (§ 1.6).*

Visa signatur

*-<|:C-<-<

Nytt namn, samma bismak.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag slår ett slag för Proxmox då du får ZFS samt LXC och KVM för virtualisering och då mycket av vm:arna du körde var linuxmaskiner så är kanske just LXC intressant.

Kör Proxmox själv och har precis migrerat samtliga Windows-maskiner på jobbet till en Proxmox server.
Nackdelen med Proxmox jämfört med ESXi är att det ska köras från disk och inte från USB (även om det går att "fulhacka").

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Uppdatering

Jag fick tidigare idag ett meddelande att prylarna snart skickas från leverantören (Supermicro kortet var beställningsvara) så det börjar dra ihop sig för testkörning. HBA kortet beställde jag på Ebay så dröjer nog nån vecka till. Jag har inte heller beställt några nya hårddiskar.

För att utvärdera FreeNAS samt Proxmox som Hypervisor blir det en del labbande initalt med några SSD diskar.

Gällande lagring är tanken just nu:
4x8TB WD RED - RAID-Z. Bulklagring, prestanda är ingen issue.
4x120GB Samsung SSD - RAID10, labb och mer prestandakrävande lagring. Kanske utökas framöver.

Nätverk
Sedan är det klart frestande att uppgradera nätverkskortet i min Workstation för att få lite bättre fart mot lagringen. Jag har bara en CAT6 kabel mellan garderoben och min datorplats, det är inte aktuellt att byta ut kablaget eller dra en till kabel (fick göra en custom borr 65cm+ för att få fram kabeln...).

Det är högst oklart om installationen fixar 10GBit utan fel men Intel x550 och Asus XG-C100C ska enligt uppgift stödja nBase T vilket innebär att man kan länka upp dem i 2.5/5/10Gbit. Där 2.5 och 5 bör vara betydligt lättare att få till utan fel vid överföring.

Tanken var då att nyttja en av 10Gbit portarna på Supermicro kortet för att koppla ihop Workstationen och låta en virtuell switch slussa ut det mot övriga LANet/routern mot internet.

Asus XG-C100C är ju rätt billigt och prestandamässigt förmodligen släpar det säkert en del jämfört med t ex ett Intel x550 men det kan jag nog leva med.

Vad tror ni om detta?

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Medlem
●

Kan slå ett slag för Proxmox också. En del klagar på att ZoL inte är klart enterprise-mässigt, men jag har inte direkt märkt någon skillnad Solaris -> Debian (Proxmox). Det finns så många fördelar om man är väl med en Linux-dist att det väger över. Jag kör zfs-snaps till en FN-host på annan plats (var 15'e min).

Webinterfacet är trevligt, du kan konfa Ceph om du vill det också, de har en ny storagelösning för replication sen v5, du kan välja mellan KVM och LXC, etc etc.

Xeon-D är en trevlig platform, jag kör en 1520 som pfsense. Det enda jag hade velat är fler val till fläktar...

Edit. Ang 10G-kortet, varför inte köpa ett Intel från Ebay där? Kolla omdömen nog bara och akta kopior...

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av moron:

Kan slå ett slag för Proxmox också. En del klagar på att ZoL inte är klart enterprise-mässigt, men jag har inte direkt märkt någon skillnad Solaris -> Debian (Proxmox). Det finns så många fördelar om man är väl med en Linux-dist att det väger över. Jag kör zfs-snaps till en FN-host på annan plats (var 15'e min).

Webinterfacet är trevligt, du kan konfa Ceph om du vill det också, de har en ny storagelösning för replication sen v5, du kan välja mellan KVM och LXC, etc etc.

Xeon-D är en trevlig platform, jag kör en 1520 som pfsense. Det enda jag hade velat är fler val till fläktar...

Edit. Ang 10G-kortet, varför inte köpa ett Intel från Ebay där? Kolla omdömen nog bara och akta kopior...

Gå till inlägget

Jag har spanat en del på Intel kort från ebay. Men det känns lite trist att få en kopia som dör efter 6mån. Ska suga på den karamellen.

Nu är det dock installation som gäller

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Calle:

Jag har spanat en del på Intel kort från ebay. Men det känns lite trist att få en kopia som dör efter 6mån. Ska suga på den karamellen.

Nu är det dock installation som gäller
http://i.imgur.com/qCIK3iB.jpg

Gå till inlägget

Alltid lika kul!

Bra val tycker jag. Kör hårt.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Nu har jag hunnit labba en del och beställa diskar, det blir 4st WD RED 8TB.
Var i valet och kvalet mellan dem och Seagate Ironwolf 10TB men jag är lite rädd för att de låter lite mer och blir varmare. Prestanda är inte högsta prio för den diskpoolen.

Jag har även hunnit utvärdera Proxmox, FreeNAS och ESXi som Hypervisor.

FreeNAS
+ Fördel att köra ZFS direkt på stålet.
+ Bra prestanda
+ Stabilt
+ Kan boota från USB
+ Smidigt att hantera utdelningar till NFS och Samba direkt i GUI.
+ WebGUI för ZFS och diskhanteringen är trevligt när man är ny på ZFS.
- Bhyve är en ganska ny Hypervisor
- Begränsat med finesser och funktioner för virtualisering.
- BSD i botten (det händer lite mer på Linuxfronten imho).
- Begränsad kompabilitet för att t ex virtualisera en brandvägg eller dyl.

Proxmox
+ Fördel att köra ZFS direkt på stålet.
+ Bra prestanda
+ Linux i botten
+ Bra stöd för olika filsystem och lagringssystem.
- Bör installeras på disk.
- Ingen jättebra integrering av ZFS (CLI utan överblick i GUI).
- Uppdaterings och uppgraderingsförfarandet känns spontant mer scary? (inget jag har testat)

ESXi
+ Är van produkten (svårt att lära gamla hundar sitta).
+ Bra prestanda
+ Bra kompabilitet och stöd vid labb.
+ Kan boota från USB
- Obefintligt stöd för någon form av RAID eller dyl.
- Kommer innebära mer overhead i form av fler VMar för att köra tjänster som kunde gått native i t ex FreeNAS eller Proxmox.

Det finns fullt stöd för diskkontroller, nätverkskort etc även om det krävdes lite handpåläggning i ESXi.

Valet kommer dock initialt att bli ESXi med Passthrough av LSI HBA kortet till en virtuell FreeNAS och där så många tjänster som möjligt som går mot den stora ZFS poolen körs som Jails för att få snabb åtkomst till disk. Det kommer dock förmodligen bli en eller ett par virtuella maskiner som accessar diskpoolen över NFS eller SMB, men testningen ger rätt bra prestanda.

Sedan kommer jag köra ett antal SSD diskar på interna diskkontrollern för VMar och labb.

Det verkar dock hända en del med VMs och stöd för Docker i FreeNAS så det är inte omöjligt att jag bygger om den till en native FreeNAS framöver.

Senast redigerat
Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

En kort uppdatering, kvällen igår spenderas med att montera disk i diskslädar och skapa volymer i FreeNAS. Nu kör jag ESXi från en USB sticka och mappar in LSI kortet till FreeNAS VMen med Passthrough.

Jag har bara hunnit testa några snabba tester mellan en virtuell Windows Server 2016 som skrev och läste mot en SMB share. Runt 350MB/s verkar den kunna skicka i mellan VMarna med VMXNet3 NICar. Ingen jätteimponerande prestanda, men det är ju inte direkt några högprestanda diskar det rör sig om. FreeNAS bara 2 vCPU och 8GB just nu tilldelat just nu, kan hända att lite mer RAM skulle skynda på det.

Bild från sidan, 2st 2.5" SSD diskar monterade i avsedda platser och 2st 2.5" SSD som sitter löst i hörnet. Har tänkt att köra virtuella maskiner från dessa.

Kabeldragningen lämnar lite att önska än, men kommer åtgärdas när jag känner mig nöjd med setupen.

Strax innan montering.

RAID-Z Array skapad och lite tester påbörjade

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Redigera
Citera flera Citera
Permalänk
Snusfri ★
●

Trevligt med lite porr så här på kvällskvisten
Lite fetare än min NAS (HPE Gen8, 2x8TB IronWolf, FreeNAS) så man blir lite avis

Visa signatur

WS: i9 13900K - 128GB RAM - 6.5TB SSD - RTX 3090 24GB - LG C2 42" - W11 Pro
LAPTOP 1: Lenovo Gaming 3 - 8GB RAM - 512GB SSD - GTX 1650
LAPTOP 2: Acer Swift 3 - 8GB RAM - 512GB SSD
SERVER: i5 10400F - 64GB RAM - 44TB HDD
NALLE: Pixel 7 Pro

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara