Vinn nätagg från Seasonic

Hitta rätt moderkort för TrueNAS, PCIe, M2-sata

Permalänk
Medlem

Hitta rätt moderkort för TrueNAS, PCIe, M2-sata

Plan.

Köra TrueNAS med x diskar, plex + hw transcode
OS-disk, 2st sata-ssd -> moderkort
ev. Log/cache, sata-ssd > moderkort
lagringsdisk(ar) sata-HDD > HBA
- Tittar på Seagate Exos X16 10-16TB (har inte bestämt)

Användning
- 1:1:5 pool:vdev:disk
-- i slutändan kanske 3 pooler med 1 vdev a 5 disk i varje
-- söker volym/tillgänglighet över prestanda
- lagring av media (plex/jail)
- allmän fillagring (1 user)
- backup för datorer hemma
- kanske iscsi/nfs för ett par VM (låg belastning)

Finnes
ASUS Z170 Pro Gaming + Intel Core i7-6700K
- 2 x PCIe 3.0/2.0 x16 (Single at x16, dual at x8/x8, )
- 1 x PCIe 3.0/2.0 x16 (max at x4 mode, )
- 3 x PCIe 3.0/2.0 x1
Corsair H110i GTX CPU Kylare
Corsair RM1000
2x Corsair Vengeance LPX Red16GB (2x8GB) / 3000MHz / DDR4 / CL15
-- Cpu och iGPU något klena
2x Samsung SSD 860 EVO M.2 2TB SATA

I varukorgen
Define 7 XL
2st LSI HBA 8port (IT mode)

Sökes:
Moderkort Intel chipset, socket 1200, sneglar på Intel Core i3 10100 3,6GHz för lagom pris/prestande med senaste? iGPU, Intel UHD Graphics 630
- 3st PCI-express 8-16x fysiska i varje, 4x logiskt borde räcka
2 slottar ska köra LSI HBA PCIe 3.0 8x (4x borde räcka för 8st mekaniska diskar)
1 slot för eventuellt 10gig NIC (SFP+)
HDMI eller DP ut
bonus
-2st M2 som båda klarar SATA

De moderkort jag hittat hittills med 2+ M2 klarar NVME/SATA på ena och NVME på andra
Ser ut som mid/high-end chipset Z490 behövs?
ex. https://rog.asus.com/se/motherboards/rog-strix/rog-strix-z490...

3 x PCIe 3.0 x16 (x16 or x8+x4+x4)
1 x PCIe 3.0 x4 (max at x2 mode)
Intel® 10th Gen Processors
Intel® Z490 Chipset
1 x PCIe 3.0 x1

Medveten om att TrueNAS gillar ECC
CPU-kombo med ECC+Intel UHD Graphics P630 blir enligt prisjakt Intel Xeon E-2174G 3,8GHz Socket 1151
Drar genast iväg i pris...

1. Finns rätt moderkort för mig?
2. Tips på bättre moderkort/CPU? som inte kostar skjortan eller låter för mycket

Permalänk
Medlem

Har du kollat på sidorna som säljer begagnade servrar? Ofta Xeon och ECC minnen i dem.

Permalänk
Medlem

Om du har tänkt köra ZFS rekommenderas ECC minnen stärkt, vill minnas att risken för dataförlust utan ECC är större vid användning av ZFS jamnfört med andra filsystem.

Visa signatur

Main: Acer X32FP Fortress II Ryzen 5900X ROG Strix B550-F Wifi II RTX 3080 Ducky Shine 6 SH HD650 O2 amp + DAC Audioengine 2+ Samsung 970 Evo Plus 1TB + Kingston FURY Renegade 2TB
Server: Lian Li PC-V354B X11SCH Xeon E-2176G 64GB ECC RAM LSI 9207-8i
Media: Sony KD-65XF9005 Sony HT-ZF9 nVidia Shield TV pro 2019
nVidia Shield TV pro 2015 SSD Yamaha HS-5

Permalänk
Avstängd

@rpha

Eller så köper du en beg serverdator?

Tex: https://ggsp.se/12-supermicro?orderby=quantity&orderway=desc

Jag kör med två E5-2670 i min FreeNAS och det funkar bra.

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Permalänk
Medlem
Skrivet av lAvliden:

Har du kollat på sidorna som säljer begagnade servrar? Ofta Xeon och ECC minnen i dem.

Skrivet av roosterx:

Om du har tänkt köra ZFS rekommenderas ECC minnen stärkt, vill minnas att risken för dataförlust utan ECC är större vid användning av ZFS jamnfört med andra filsystem.

Skrivet av superegg:

@rpha

Eller så köper du en beg serverdator?

Tex: https://ggsp.se/12-supermicro?orderby=quantity&orderway=desc

Jag kör med två E5-2670 i min FreeNAS och det funkar bra.

Svarar alla

Jag har absolut kikat på serverdelar.

- de låter vanligtvis för mycket för min smak
-- fläktar med femsiffrig RPM är roligt den 1a minuten
- de har IPMI, bra, men i princip aldrig i kombination med intel iGPU
- siktar på att köra fler än 12 3.5", då blir det 4U 24, typ aldrig i lager

Sparad data är inte "kritisk", den finns idag backad till google drive (tills de säger till mig om datamängd...)

Permalänk
Avstängd
Skrivet av rpha:

Svarar alla

Jag har absolut kikat på serverdelar.

- de låter vanligtvis för mycket för min smak
-- fläktar med femsiffrig RPM är roligt den 1a minuten
- de har IPMI, bra, men i princip aldrig i kombination med intel iGPU
- siktar på att köra fler än 12 3.5", då blir det 4U 24, typ aldrig i lager

Sparad data är inte "kritisk", den finns idag backad till google drive (tills de säger till mig om datamängd...)

4U serverdator låter inte så supermycket värre med 1U och sen så kommer den inte blir så varm heller om den bara ska används för att hantera diskar.

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Permalänk
Inaktiv

Intel Xeon E-2174G och Core™ i3-10100 har bara 16 pcie lanes, riktigt fattigt. Då kan du lika gärna köpa en Xeon E3-1240L v5 begagnat på ebay. https://www.ebay.com/sch/i.html?_from=R40&_nkw=Intel%C2%AE+Xe...

Här har du moderkort till 1240L: https://www.prisjakt.nu/c/moderkort?615=Intel+%5BC230+Series%...

Permalänk
Medlem
Skrivet av superegg:

4U serverdator låter inte så supermycket värre med 1U och sen så kommer den inte blir så varm heller om den bara ska används för att hantera diskar.

Varm blir den säkert inte. Högljudd, garanterat?

Permalänk
Medlem
Skrivet av anon185723:

Intel Xeon E-2174G och Core™ i3-10100 har bara 16 pcie lanes, riktigt fattigt. Då kan du lika gärna köpa en Xeon E3-1240L v5 begagnat på ebay. https://www.ebay.com/sch/i.html?_from=R40&_nkw=Intel%C2%AE+Xe...

Från tidigare länkat moderkort,
3 x PCIe 3.0 x16 (x16 or x8+x4+x4)
Skulle räcka för 3 kort som var för sig inte behöver mer än 4x data?
- PCI Express 3.0 x4 = 4 GB/s

Permalänk
Inaktiv
Skrivet av rpha:

Från tidigare länkat moderkort,
3 x PCIe 3.0 x16 (x16 or x8+x4+x4)
Skulle räcka för 3 kort som var för sig inte behöver mer än 4x data?
- PCI Express 3.0 x4 = 4 GB/s

Det kan man ju tycka. Om man vill ha ECC så är det dock svårt att hitta moderkort med den layouten (8x, 4x, 4x).

Jag ser nu att du tänker köra två stycken LSI controllers, finns det en anledning för varför du behöver just två?
Räcker det inte med en LSI controller? Så att du behöver bara köra en HBA och 10GBE.

Permalänk
Avstängd
Skrivet av rpha:

Varm blir den säkert inte. Högljudd, garanterat?

Det är en tolkningsfråga vad som är högljudd.

Jag kan säga att min 1U låter mer än vad min 4U gör, så för mig så är 4U server tyst.

Det går ju annans att modda om dom och byta ut fälten.

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Permalänk
Medlem
Skrivet av anon185723:

Det kan man ju tycka. Har dock svårt att hitta moderkort med den layouten om man vil ha ECC.

Jag ser nu att du tänker köra två stycken LSI controllers, finns det en anledning för varför du behöver just två?
Räcker det inte med en kontroller? Då behöver du bara köra en HBA och 10GBE.

Tanken var att köra upp till 16 diskar. Det finns förstås 16i-kort. ex LSI SAS 9201-16i

Permalänk
Medlem
Skrivet av superegg:

Det är en tolkningsfråga vad som är högljudd.

Jag kan säga att min 1U låter mer än vad min 4U gör, så för mig så är 4U server tyst.

Det går ju annans att modda om dom och byta ut fälten.

För mig låter 99% av servrar mätta i U för mycket. Föredrar konsumentfläktar hemma.

Permalänk
Inaktiv
Skrivet av rpha:

Tanken var att köra upp till 16 diskar. Det finns förstås 16i-kort. ex LSI SAS 9201-16i

LSI SAS 9201-16i använder pci-express 2.0. Vilket begränsar kortet till 4GB/s. Vill du ha SAS 12Gbps med mer bandbredd så kan du titta på LSI 9302-8i för att få 6GB/s. Behöver du mer portar så kan du alltid koppla in sas expanders. Typ Intel RES2SV240 eller RES3TV360 för 24 eller 36 portar. RES2SV240 drivas helt av molex och behöver inte en enda pci-e lane.

Mina 10TB s-ata peakar på runt 210 MB/s vardera. 4000/210=19.04 HDD eller 6000/210=28.57 HDD.

Om du vill ha ett billigt rack chassi så kan jag rekommendera Inter-Tech IPC 4U-4416. Har även deras 4U-4420. Vill man ha fin vibrationsdämpning på vagorna så måste man vara redo att betala bra mycket mer.

Ska jag säga något negativt om 4U-4416 så är monteringsanording på 5.25" baysen inte det roligaste. Har ett med två ExpressCage MB326SP-B för att få in 12 SSDer.

https://www.amazon.se/Icy-Dock-v%C3%A4xelram-f%C3%B6r-SATA/dp...

Permalänk
Medlem
Skrivet av anon185723:

LSI SAS 9201-16i använder pci-express 2.0. Vilket begränsar kortet till 4GB/s. Vill du ha SAS 12Gbps med mer bandbredd så kan du titta på LSI 9302-8i för att få 6GB/s. Behöver du mer portar så kan du alltid koppla in sas expanders. Typ Intel RES2SV240 eller RES3TV360 för 24 eller 36 portar. RES2SV240 drivas helt av molex och behöver inte en enda pci-e lane.

Mina 10TB s-ata peakar på runt 210 MB/s vardera. 4000/210=19.04 HDD eller 6000/210=28.57 HDD.

Jag räknade med att HDD peak på 250MB/s vilket räcker precis för PCIe 2.0 x8, 16 disk

Skrivet av anon185723:

Om du vill ha ett billigt rack chassi så kan jag rekommendera Inter-Tech IPC 4U-4416. Har även deras 4U-4420. Vill man ha fin vibrationsdämpning på vagorna så måste man vara redo att betala bra mycket mer.
https://i.computersalg.dk/digitalcontent/0/1856/18561842.jpg

Ska jag säga något negativt om 4U-4416 så är monteringsanording på 5.25" baysen inte det roligaste. Har ett med två ExpressCage MB326SP-B för att få in 12 SSDer.

https://images-na.ssl-images-amazon.com/images/I/61CYK-eyfaL._SL1280_.jpg
https://www.amazon.se/Icy-Dock-v%C3%A4xelram-f%C3%B6r-SATA/dp...

Inter-Tech IPC 4U-4416 ser ut som ett vettigt chassi, trevligt med bakplan. Ingår alla slädar? Framgår inte tydligt tycker jag.

Inter-Tech IPC 3U-3416 verkar snarlik, -1U, -2x5.25", 60mm istället för 80mm baktill

Permalänk
Inaktiv
Skrivet av rpha:

Jag räknade med att HDD peak på 250MB/s vilket räcker precis för PCIe 2.0 x8, 16 disk

Inter-Tech IPC 4U-4416 ser ut som ett vettigt chassi, trevligt med bakplan. Ingår alla slädar? Framgår inte tydligt tycker jag.

Inter-Tech IPC 3U-3416 verkar snarlik, -1U, -2x5.25", 60mm istället för 80mm baktill

Kort och gott så behöver du fyra SFF-8087 kablar som ska gå från HBA in i backpanel. Sen behöver du ha fyra molex in i backpanel för ström. Fläktarna som kommer med är hot swappable under drift. Fläktarna drivs av ett molex uttag och är inte PWM styrda. De kommer utan modifikation att gå på 100%.

Vill du ha PWM fläktar för att få ner ljudnivån så säljer inter-tech ett kit. Med kittet så får du PWM fläktar och en kabel som du kan koppla till moderkortet för styrning.

https://www.computersalg.se/i/6361666/inter-tech-l%c3%bcfter-...

Permalänk
Medlem
Skrivet av anon185723:

Kort och gott så behöver du fyra SFF-8087 kablar som ska gå från HBA in i backpanel. Sen behöver du ha fyra molex in i backpanel för ström. Fläktarna som kommer med är hot swappable under drift. Fläktarna drivs av ett molex uttag och är inte PWM styrda. De kommer utan modifikation att gå på 100%.

Vill du ha PWM fläktar för att få ner ljudnivån så säljer inter-tech ett kit. Med kittet så får du PWM fläktar och en kabel som du kan koppla till moderkortet för styrning.
https://www.inter-tech.de/images/produkte/accessories/88887289/88887289.jpg
https://www.computersalg.se/i/6361666/inter-tech-l%c3%bcfter-...

Vad hindrar mig från att koppla in vanliga 120mm fläktar med PWM till moderkort/hub?

Permalänk
Inaktiv
Skrivet av rpha:

Vad hindrar mig från att koppla in vanliga 120mm fläktar med PWM till moderkort/hub?

Rent tekniskt så stoppar inget dig.

Inter-tech skickar utöver PWM fläkar med en PWM kabel i deras paket. Den kabeln går mellan fläktkontrollern och ditt moderkort. Det är egentligen ingen krånglig proprietär kabel du missar från deras paket... Kabeln går från 6 pinnar in i ena änden och delar sig till 3 vanliga fläkt kontakter. Kort och gott så är det två pinnar för varje fläkt. Med egna fläktar får du stå med egna kablar från kontrollen.

Om du inte vill använda en egen kabel så kan du nog rotera de nya fläktarna i samma slot. På så sätt missar de strömuttaget och kopplas därmed förbi deras fläktkontroller. Efter det är det bara att dra PWM kabeln från fläkten direkt in i moderkortet. Kan nog testa det i morn när jag har tid.

Permalänk
Inaktiv

Original fläkt i sitt hot-swap fäste.

Random 120mm fläkt i hots-swap fäste. Du kan koppla PWM direkt till moderkortet.

Om du vill använda det inbyggda kontrollerkortet så måste fläkt kabeln sitta i detta fäste.

Får snygga till kabeldraggningen när jag orkar. Kort och gott så kan du lätt köra egna fläktar.

Permalänk
Inaktiv

Här är special PWM-kabeln som kommer med Inter-Techs egna PWM-kit. Om du drar dina fläktkablar direkt till moderkortet så kommer du inte att behöva denna kabel. Denna krävs bara ifall du vill koppla fläktarna till deras kontroller. Den enda fördelen är att du inte behöver ta på moderkortet ifall du ska ersätta en fläkt i framtiden.

Du kan ersätta kabeln med de färgglada kablarna jag visade i ett tidigare inlägg. Längden kan vara allt mellan två till fem decimeter beroende på vart dina fläktuttag sitter på moderkortet.