Väldigt ojämn överföringshastighet, FreeNAS

Intressant tråd! Hoppas att det inte är någon som kör FreeNAS utan passthrough till en SAS-controller, då missar man som tråden beskriver.

Har du testat iSCSI med andra OS, typ OmniOS, för att se om det är bättre prestanda?

Skickades från m.sweclockers.com

Ja, man byter prestanda mot dataintegritet. Har du testat med en SSD som SLOG när du kör ZFS?

Berätta gärna om det gjorde någon skillnad.

@Kr^PacMan: Tycker detta är kul så har funderat lite mer! Du säger du får 80-100 Megabyte/s men det låter nästan som att restriktionen är i ett 1 Gbit nätverk, är det så? Vad får du om du kör t.ex. Bonnie direkt mot din zpool?

Hittade också ett test om raid-konfiguration och prestanda som jag tycker var intressant:
https://calomel.org/zfs_raid_speed_capacity.html

Hur skall du lägga upp din nya raidz pool hade du tänkt?

Håller själv på att planera hur jag skall bygga om min lagring förstår du så är intressant att veta hur andra tänker!

80-100 Mbyte/s är bra över 1 Gbit tycker jag. Skall bli spännande att se vad du får med 10 Gbit.

Nu har jag faktiskt liknande som du, 3 st 4 TB diskar i raidz. Jag har WD Red diskar på 5400 rpm så inte riktigt snabbaste man kan få tag på, 150 Mb/s internal transfer speed så fick 149 Mbyte/s seq-write och 155 Mb/s seq-read med Bonnie. Så det får vara ok!

Nu kör jag ESXi från ett USB-minne med ett LSI SAS 2308 i passthrough till OmniOS för att få direkt access till diskarna. Min plan vidare är som följer:

- Skaffa 1 disk till och köra raidz1 för att få bättre skrivhastighet och mer plats.
- Jag har beställt en Samsung SM863 120 Gb som jag skall ha som SLOG.
- Jag har ett Supermicro X10SLM+-LN4 så jag har beställt 2 st SuperDOM 64GB som jag tänkte konfigurera som boot mirror och installera OmniOS på. Tänkte också testa SmartOS och Solaris 11 (om det nu har stöd för min hårdvara) men tror inte Solaris är vägen att gå eftersom man får betala för patcher och uppdateringar som jag förstår det. Men kan vara kul att testa!

Eftersom jag skall köra OmniOS native så skall jag testa hur det fungerar med zones och virtualisering, har läst på en del men skall börja testa tänkte jag.

@BerraBing bara för att klargöra något. När du satte upp din testmiljö.

Överförde du då från main storage VM till en FreeNAS VM som skrev in i en esxi datastore eller till diskar som FreeNAS hade rå-access till via pass through av din kontroller ?

Lycka till med BTRFS. Det är roligt ända tills en pool går åt helvete och inte kan återställas pga buggar som de inte lyckas lösa.

Nja. FreeNAS är sjukt bra, men man bör ha vissa saker i åtanke när man bygger. ZFS är inte snabbt, det är säkert. Så det är lite nummer ett. Och sen är inte FreeNAS speciellt lämpligt för att virtualiseras. Det är nummer två.

FreeNAS är populärt av en anledning, men den anledningen är inte "snabbast", och det verkar som om du hade den förväntningen. Så då skär det sig lite. Som tur är hittade du en bra lösning du är nöjd med.

Rätt hårdvara, och körd på hårdvaran, inte i ett virtuellt skal, så är FreeNAS väldigt stabil. Det är hela poängen med FreeNAS. Den är nästan idiotsäker. Till kostnaden av prestanda i någon utsträckning.
B!

@-=Mr_B=-: Vad är det som gör FreeNAS "sjukt bra" om man jämför med andra liknande system, enligt dig?

Om du läser meningen igen, så står det där, i klartext. FreeNAS är centrerat runt att hålla dina data så säkra som möjligt. Och det gör jobbet jäkligt bra.
B!

@-=Mr_B=-: Jo men det där är ju inget som utmärker just FreeNAS eller hur?
OpenMediaVault : Trevligt användargränssnitt, har stöd för ZFS.
NAS4Free : Trevligt användargränssnitt, har stöd för ZFS.
NexentaStor : Trevligt användargränssnitt, har stöd för ZFS
ZFSguru : Trevligt användargränssnitt, har stöd för ZFS

Jag skulle vilja påstå att de alternativen jag listade fyller samma funktion, dvs, gör jobbet jäkligt bra för att hålla datan säker.
Det är bara det att Jag inte förstår varför just FreeNAS lyfts fram så ofta eftersom en standardinstallation utan några modifikationer utav diverse parametrar ger en väldigt medelmåttig överföringshastighet via gigabit-nätverk.

Men nu är jag kanske lite mer grinig/petig/finsmakare och gärna vill kunna få ut maximal hastighet som mitt nätverk kan leverera jämfört med andra.

Iallafall, alltid kul att få prata med folk som förespråkar FreeNAS.

Så vitt jag vet finns det ingen annan fri NAS-mjukvara som så fullständigt centrerat sig runt säkerheten för datalagringen. Jag är inte riktigt säker på varför du listar mjukvaror som kan använda ZFS. ZFS är ett verktyg, som rätt använt hjälper till, men till skillnad från (så vitt jag vet) alla andra lösningar så har inte någon annan prioriterat datasäkerhet före allt annat, utan istället gjort andra, ofta mer användarvänliga val.

Så länge du är nöjd med dem, rekomendera dem gärna. Jag kan inte göra det, dels för att jag har bristande erfarenhet av ett par av dem, och dels för att jag har dålig erfarenhet av resten. Jag hoppas du inser att du är lite löjlig när du går på som om jag hävdat att det inte finns några alternativ.

Jaha, och?

Då får jag rekommendera ett system helt utan redundans, och säkerhetskontroller. Det kommer alltid ge bästa möjliga prestanda. Och har sin plats, exempelvis som temporär nätverkslagring vid videoredigering.

Eller hur. Det verkar snarast som om du surar över något, och tar ut det på din omgivning.
B!

Jag hade lite strul med sporadisk "hicka" i prestanda med min FreeNAS-server, men det var för att jag aktiverat någon HDD power-save funktion ("spin-down") vid burn-in-test och sen glömt ta bort den.

[Följande gäller asynkron skrivning.] Efter en reboot kan det även se ut som i din första bild, med snabb överföring en stund, följt av ett glapp där inget verkar skickas. Ofta är det p.g.a. att transaktionsgruppen för asynkron skrivning är fylld, och ZFS har inte än lyckats känna av hur snabbt disk-systemet kan skriva data. Den försöker sen anpassa sin storlek efter diskarnas potential, och timeout-parametern för transaktionsruppen, vfs.zfs.txg.timeout (default = 5 sekunder). Om jag inte minns fel så allokerar FreeNAS två transaktionsrupper till ca 25% av total mängd RAM, 2x1GB i ditt fall. När en transaktionsgrupp är fylld så flushas den till disk, och man börjar fylla nästa. FreeNAS låter dig alltså skriva 2 GB, och sen får du vänta. I ditt fall verkar du ha toppar runt 400 MB/s, dvs 2GB skulle ta ca 5 sekunder, och sen behöver du vänta i ett antal sekunder innan diskarna hinner skriva färdigt föregående transaktionsgrupp. FreeNAS ska kunna justera storleken på transaktionsgrupperna med en konvergeringspunkt kring disksystemets faktiska förmåga att skriva data, men jag har märkt att det kan ta ett tag ibland, speciellt om man bombarderar NASen med massvis av data på en gång, och mer ofta med lite äldre versioner av FreeNAS (9.3 och tidigare).

Utan tidsskala i dina grafer m.m. är det svårt att säga något mer detaljerat om just din upplevelse. Det finns en hel del kommandon att köra från konsolen i FreeNAS som ger information om t.ex. hur upptagna diskarna är.

Värt att tänka på med WD Green-diskar är att de inte alltid passar bra i en NAS. De har en tendens att parkera sina läshuvuden väldigt ofta, vilket sliter extra mycket på den mekanismen, och kan påverka svarstiderna för diskarna. Verkar främst gälla 2TB och lägre kapacitet, och äldre modeller. Kanske är det fixat nu för tiden.
http://wiki.nas4free.org/doku.php?id=faq:0148

Det tog ett tag för mig att få allt på plats som jag önskade, men jag har själv strålande prestanda och stabilitet. Jag kör FreeNAS i en VM med tillgång till en SAS-kontroller via VT-d passthrough. Servern och speldatorn är länkade med 10 Gbps. Lagringen består av 4x640 GB WD Black (striped mirrors; RAID10) för spel, 2x4TB Seagate NAS (mirrored; RAID1) för random lagring och backup, samt en extern 5TB USB-disk med copies=2 eller copies=3 i poolerna för synkronisering (och extra backup) av lokala snapshots.

En av de stora fördelarna med ZFS är dess cache:ning, och att ju mer minne man slänger på den desto gladare blir den. Främst gäller det dock för prestanda när användarmönstret inkluderar att man läser en liten del av den data man har väldigt ofta.

Denna typ av mjukvaru-NAS är nog inget jag generellt rekommenderar för gemene man, men det är riktigt kraftfullt och trevligt om man är villig att grotta ner sig lite i det.