Testpilot: Asustor AS4004T – NAS-enhet med 10 Gbps för hemanvändare

Jag

Alla dom där alternativen känns mer idiotiska i en hemmamiljö när mediafiler för Plex lagras på en zyxel Nas...

Jag.. Visst har jag fått bygga om min förrförra array och det tog ett par timmar men det spelade ju mindre roll.

Mja... visst är ZFS absolut ett bra fs men vettetusan om det finns så mkt färdigt skit som kör med det.
Kan iofs ha fel på den punkten då jag verkligen inte undersökt om så är fallet.
I mina ögon är en Nas jävligt bra för cold storage ex.vis.

Att mekaniska diskar är “för långsamma" för att man ska använd dem i RAID kan vara den sämsta anledningen till att inte ska använda (hårdvaru) RAID. Hur ska man annars säkra upptid - oavsett om det är multinods-SAN eller VMware's vSAN eller en S2D-nod? All-Flash storage i stripe-mirror (för att undvika termen RAID10) är väldigt få förunnat...

Värdelös blogpost som snarare borde handla om begränsningar i spinnande rost än RAID..

Skickades från m.sweclockers.com

@Björn Endre: testade du att mäta rå nätverksprestanda?
Fråga bara för att klarlägga om man kan förutsätta att det var diskarna som slog i taket och inte nätverkskortet.

$ iperf3 -c 172.21.0.1
Connecting to host 172.21.0.1, port 5201
[  4] local 172.21.0.3 port 37996 connected to 172.21.0.1 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  1.09 GBytes  9.34 Gbits/sec   10   1.01 MBytes       
[  4]   1.00-2.00   sec  1.08 GBytes  9.27 Gbits/sec    0   1.01 MBytes       
[  4]   2.00-3.00   sec  1.09 GBytes  9.41 Gbits/sec    0   1.01 MBytes       
[  4]   3.00-4.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   4.00-5.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   5.00-6.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   6.00-7.00   sec  1.09 GBytes  9.41 Gbits/sec    0   1.01 MBytes       
[  4]   7.00-8.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   8.00-9.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   9.00-10.00  sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  10.9 GBytes  9.39 Gbits/sec   10             sender
[  4]   0.00-10.00  sec  10.9 GBytes  9.39 Gbits/sec                  receiver

iperf Done.

Har jobbat rätt mycket 10 Gbit/s på jobbet, men det har uteslutande varit med fiber. Vidare rörde detta programvara, primärt lager 3-7 och till viss del lager 2, har dålig koll på lager 1.

Någon som jobbat med både koppar och fiber? Erfarenhet, något för/nackdel med respektive teknik? Fiberkablarna som används på jobbet känns ju lite smidigare att dra än en typisk cat6 kabel.

$ iperf3 -c 172.21.0.1
Connecting to host 172.21.0.1, port 5201
[  4] local 172.21.0.3 port 37996 connected to 172.21.0.1 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  1.09 GBytes  9.34 Gbits/sec   10   1.01 MBytes       
[  4]   1.00-2.00   sec  1.08 GBytes  9.27 Gbits/sec    0   1.01 MBytes       
[  4]   2.00-3.00   sec  1.09 GBytes  9.41 Gbits/sec    0   1.01 MBytes       
[  4]   3.00-4.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   4.00-5.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   5.00-6.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   6.00-7.00   sec  1.09 GBytes  9.41 Gbits/sec    0   1.01 MBytes       
[  4]   7.00-8.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   8.00-9.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
[  4]   9.00-10.00  sec  1.10 GBytes  9.42 Gbits/sec    0   1.01 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  10.9 GBytes  9.39 Gbits/sec   10             sender
[  4]   0.00-10.00  sec  10.9 GBytes  9.39 Gbits/sec                  receiver

iperf Done.

Har du något bra förslag hur jag kan göra det? Jag skulle gärna lägga in iPerf på den men jag är inte säker på hur. Har Googlat lite men inte hittat det. Helst skulle jag definitivt vilja få in någon sorts RAM-disk eller liknande där jag kan testa mot såa tt jag kommer bort från diskarna men vet inte hur jag skulle göra det. I slutändan får jag väl se testet som passande en vanlig testpilot/användare och jag lämnar med glädje över djupare testning till den som är duktigare på nätverk än jag :).

Är det en ARM eller x86 CPU i burken?

Oavsett skulle jag lösa det genom att ta en Linux-maskin, git-clone:a iperf3 och sedan bygga det hela med statiskt länkning av alla bibliotek. Använt den metoden för att lägga in iperf3 på de accesspunkter jag kört testpilot på.

Är det x86 är det ju inga större problem, är det ARM så kan jag bara detaljerna för Ubuntu-baserade distron men i grunden måste man installera korskompilator samt nödvändiga bibliotek i ARM-smak.

Finns "nc" (netcat) skulle man kunna ful-hacka ett enkelt prestandatest så här

#Mottagare:
$ nc -l 12345 > /dev/null

# Sändare
$ dd if=/dev/zero bs=4k count=1M | nc 172.21.0.1 12345
1048576+0 records in
1048576+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 3.88731 s, 1.1 GB/s

Inte direkt. Det jag gjorde var:

1/ Satt upp RAMdisk på datorn och installerade programmen där.
2/ Skapa delade mappar på NAS'en som användes som mål
3/ Körde testerna mot NAS'en.

Jag lät den stå på "standard"-inställningar, det som jag tror en vanlig användare gör. Faktum är att jag inte vet vilka inställningar man ska mixtra med för att få bättre prestanda.

Asustor har Net-stat som app och jag övervakade systemet när jag körde 20 stycken skrivningar och sen 20 st läsningar av 400 MB via NAS Tester. Jag såg aldrig att CPU gick i topp utan maxade runt 80% vid skrivningar (RAID 0, 2 st SSD). Det som gör mig lite förvånad är fortfarande att läshastigheten rapporteras runt 700-800 MB/s och att även om jag kör den 20 gånger efter varandra så ser jag ingen större förändring. Om det t ex berodde på cachning så tycker jag det borde bli lägre i början och sen snabbare när cachen utnyttjas. men det ser jag alltså inte.

Så lägre latens över koppar, verkar rimligt om man tänker på vad som måste ske i transivers.
Edit: läste nog fel, du menade nog att fiber har lägre latens och var också vad jag hittade med lite googling.

Rätt låg latens i fibern. PCIe lägger minst på ett par mikrosekunder och kan ändå få en genomsnittlig latens på ~30 μs om man kör "flood-ping" mellan två maskiner som är kopplade "back-to-back"

$ sudo ping -c10000 -f 172.21.0.1
PING 172.21.0.1 (172.21.0.1) 56(84) bytes of data.
 
--- 172.21.0.1 ping statistics ---
10000 packets transmitted, 10000 received, 0% packet loss, time 344ms
rtt min/avg/max/mdev = 0.026/0.028/0.201/0.004 ms, ipg/ewma 0.034/0.028 ms

Första paketet får högre latens då detta system slår på "receive coalescing" om det blir en tillräckligt låg paus mellan två ramar (går i.o.f.s. stänga av, men lite överkurs för ett snabbskott).

Behöver inte köra några tester, var mest en fråga om det finns några stora skiljelinjer mellan dessa. Men kanske handlar mest om tycke, smak och existerande infrastruktur? Utgår från att kopparvariant är bakåtkompatibel med långsammare varianter av Ethernet, det är ju en klar fördel i så fall!

Du påvisar uppenbara kunskapsluckor gällande RAID med tanke på det du skriver. Det blir rent av löjligt. Jag kan bara hoppas på att du läser på bättre innan du skriver nästa kommentar som innehåller en stor mängd faktafel.

Kort sagt, SFP+ DAC vinner eller är nära nog på alla relevanta mätpunkter medans 10GBASE-T förlorar på alla punkter (om man bortser från billiga prylar du kan köpa för hemmet) och fiber vinner när du ska mer än ett par meter. Om du bygger ett datacenter så vill du använda DAC inom ett rack till switchar i samma rack, däremot vill du i de flesta fallen använda fiber när du ska utanför racket till dina aggregeringsswitchar.
10GBASE-T drar betydligt mer effekt än SFP+, vilket är varför vi inte sett 10GBASE-T SFP+ förrän det senaste året från vissa tillverkare (följer ingen riktig standard vad jag vet), SFP+ standarden är max 2,5w. En DAC eller SR SFP+ drar under 1w.
SFP+ (DAC och SR samt LR SFP+) har lägre latens än 10GBASE-T då den senare använder sig av betydligt mer komplex encoding, 0,3µs jämfört med 2,6µs.
Hastigheten som signaler färdas i både koppar (beror på ett antal faktorer när det gäller koppar, se velocity factor eller wave propagation speed) och fiber (ljusets hastighet igenom ett medium, refractive index) är båda ca 2/3 av ljusets hastighet i vakuum, så ingen direkt skillnad där då båda hamnar på ca 5ns per meter. Dock kan wave propagation speed skilja sig mellan olika typer av kopparkablar, 65% av ljusets hastighet gäller för CAT6A, koax kablar som DAC kan vara snabbare än så (70-80%) men har inte sett några värden för just en DAC, dock gäller det så korta avstånd att det egentligen inte spelar någon roll.