Virtualiseringsserver och freenas

Citera flera Citera

2012-06-07 16:45

PowerNet

Avstängd

Registrerad: Nov 2011

●

Skrivet av zenjin:

Hej
För tillfället så har jag en burk stående som nas/webserver och router under vmware esxi och hårdvaru mässigt är det ett http://www.asus.com/Motherboards/AMD_CPU_on_Board/E35M1M_PRO/ som står för beräkningskraften.

Men nu har det blivit dax att utöka lagringsmängden i nas delen och jag har då tänkt gå över till freenas och zfs. Men jag har börjat bli lite orolig för att den nuvarande lösningen med Raw Device Mapping kommer att innebära en stor prestanda förlust mot att köra nasen som en separat burk. Så jag har lite frågor som jag hoppas kunna få svar på

Begränsar RDM prestandan hos diskarna och i så fall ungefär hur mycket?

Får man bättre prestanda med något utav alternativen till vmware esxi och i så fall vilket?

Och kanske viktigast av allt skulle en upgradering av cpu hastigheten innebära en stor förändring i disk prestandan?

Hänger inte direkt med på hur du byggt upp ditt system riktigt, som jag läst mig till så har du följande:

Moderkort: http://www.asus.com/Motherboards/AMD_CPU_on_Board/E35M1M_PRO/[
Diskar: ?
Minne: ?
OP/OS: ESXi

Som jag förstår det så kör du ESXi inlagt på ett USB minne/disk? och i ESXi så virtualiserar du FreeNAS, korrekt?
Hur ser din setup ut i diskarna?
Enklast/lättast skulle ju vara om du trycker i ett par diskar till i maskinen, lägger in FreeNAS virtuellt på en låt säg 5-10 GB stort utrymme i en VM, och i VM inställningarna så lägger du till en extra disk till den VMen, väljer på vilka fysiska diskar den skalagras och storleken, sparar, och senstartar VM en igen, så bör FreeNAS detektera den om du går in under "skapa volym"/"initiera disk" i FreeNAS webbinställningarna (kommer inte ihåg exakt vad menyn heter), väljer disken du nyss skapade i VM inställningarna i ESXi, låter FreeNAS göra klart jobbet och skapa partition etc. Done

Sen delar du ut disken som vanligt i FreeNAS som utdelad hela, eller delar av den, med rättigheter etc.

Sen mät prestandan vid filkopiering från t.ex. laptop/ stationär in mot FreeNAS och se vad du får ut i MB/s, du kommer säkerligen få ut tillräckligt bra prestanda för att kunna köra det med skapliga hastigheter.

Tänk på att det kan vara värt att uppgradera RAM minnet till 8GB (vad det moderkortet max klarar) om du inte redan har maxat minnesmängden.

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Citera flera Citera

2012-06-07 17:29

zenjin

Medlem

Plats: Oslo
Registrerad: Sep 2009

●

Skrivet av PowerNet:

Hänger inte direkt med på hur du byggt upp ditt system riktigt, som jag läst mig till så har du följande:

Moderkort: http://www.asus.com/Motherboards/AMD_CPU_on_Board/E35M1M_PRO/[
Diskar: ?
Minne: ?
OP/OS: ESXi

Som jag förstår det så kör du ESXi inlagt på ett USB minne/disk? och i ESXi så virtualiserar du FreeNAS, korrekt?
Hur ser din setup ut i diskarna?
Enklast/lättast skulle ju vara om du trycker i ett par diskar till i maskinen, lägger in FreeNAS virtuellt på en låt säg 5-10 GB stort utrymme i en VM, och i VM inställningarna så lägger du till en extra disk till den VMen, väljer på vilka fysiska diskar den skalagras och storleken, sparar, och senstartar VM en igen, så bör FreeNAS detektera den om du går in under "skapa volym"/"initiera disk" i FreeNAS webbinställningarna (kommer inte ihåg exakt vad menyn heter), väljer disken du nyss skapade i VM inställningarna i ESXi, låter FreeNAS göra klart jobbet och skapa partition etc. Done

Sen delar du ut disken som vanligt i FreeNAS som utdelad hela, eller delar av den, med rättigheter etc.

Sen mät prestandan vid filkopiering från t.ex. laptop/ stationär in mot FreeNAS och se vad du får ut i MB/s, du kommer säkerligen få ut tillräckligt bra prestanda för att kunna köra det med skapliga hastigheter.

Tänk på att det kan vara värt att uppgradera RAM minnet till 8GB (vad det moderkortet max klarar) om du inte redan har maxat minnesmängden.

Hej tack för ett snabbt svar trots bristande information från min sida setupen som är tänkt att köras är

Moderkort: http://www.asus.com/Motherboards/AMD_CPU_on_Board/E35M1M_PRO/[
Diskar lagring: 3x Seagate barracuda 7200rpm 2tb diskar + 1tb wd green disk(För webbserver)
Disk system + vm's: 320gb 7200rpm disk
Minne: 6gb är lite av ett ihopskrap till en början kommer troligen att utökas
OP/OS: ESXi

På den här burken är tanken att köra:

Router: Pfsense
Nas: FreeNas
Webbserver/svn host: Ubuntu server

Nu kör jag en debian maskin som nas.
Som om jag förstår det hela rätt har direkt access till disken med RDM http://blog.davidwarburton.net/2010/10/25/rdm-mapping-of-loca...

Det är just detta steg som gör att jag blir fundersam går det här att lösa på något snyggare sätt har tänkt att använda zfs som verkar vilja ha direkt access till diskarna vilket detta uppfyller men innebär det några problem?

Och sedan om alternativen kvm/xen eller hyper-v har bättre/effektivare lösningar för det här problemet?

Dessutom så har jag funderat på att om man använder hyper-v använda windows server som nas och windows software raid funktion men är den något att hänga i granen?

Visa signatur

Återkommer om den saken....

Citera flera Citera

2012-06-07 19:59

PowerNet

Avstängd

Registrerad: Nov 2011

●

Skrivet av zenjin:

Hej tack för ett snabbt svar trots bristande information från min sida setupen som är tänkt att köras är

Moderkort: http://www.asus.com/Motherboards/AMD_CPU_on_Board/E35M1M_PRO/[
Diskar lagring: 3x Seagate barracuda 7200rpm 2tb diskar + 1tb wd green disk(För webbserver)
Disk system + vm's: 320gb 7200rpm disk
Minne: 6gb är lite av ett ihopskrap till en början kommer troligen att utökas
OP/OS: ESXi

På den här burken är tanken att köra:

Router: Pfsense
Nas: FreeNas
Webbserver/svn host: Ubuntu server

Nu kör jag en debian maskin som nas.
Som om jag förstår det hela rätt har direkt access till disken med RDM http://blog.davidwarburton.net/2010/10/25/rdm-mapping-of-loca...

Det är just detta steg som gör att jag blir fundersam går det här att lösa på något snyggare sätt har tänkt att använda zfs som verkar vilja ha direkt access till diskarna vilket detta uppfyller men innebär det några problem?

Och sedan om alternativen kvm/xen eller hyper-v har bättre/effektivare lösningar för det här problemet?

Dessutom så har jag funderat på att om man använder hyper-v använda windows server som nas och windows software raid funktion men är den något att hänga i granen?

Hej, sorry för svaret dröjde lite.

Var tvungen att labba lite mer, då FreeNAS inte ville installeras då man gjort på "standard vm skapnings viset".
Utan labbade runt och råkade träffa på en guide på:
http://wiki.weblab360.com/@api/deki/pages/108/pdf

Guiden är för ESXi 4.0, men funkar lika bra på ESXi 5.0, följ den men byt ut dem här stegen (enligt mitt tycke, inget krav):

jag använde: FreeNAS-8.0.4-RELEASE-p2-x64.iso
( http://sourceforge.net/projects/freenas/files/FreeNAS-8.0.4/FreeNAS-8.0.4-RELEASE-p2-x64.iso/download )

Select Virtual Machine Version 7 till - Select Virtual Machine Version 8
Select Guest OS Other Version FreeBSD (32-bit) - till - Select Guest OS Other Version FreeBSD (64-bit) (om du kör 64 bit system från FreeNAS)
Select memory size 512MB - till - 1024 eller 2048 för bättre preestanda på NAS en. (eller mer om du vill)
Select Disk Size 2 GB - till - Select Disk Size 4GB (FreeNAS kräver 2GB för att installeras, bra att ha lite extra utrymme för framtida uppdaterings krav)
Select allocate and commit space on demand (Thin Provisioning) - till - Thick Provision Lazy Zeroed (tar upp allt utrymme direkt, bra så man vet hur mycket man har att spela med så inte en VM växer sig större.)

Klistrat in guiden här:

Open source software that turns an old x86 PC into a network attach storage(NAS) appliance box that is
simple to install, manage, use and upgrade. FreeNAS does run on VMware ESX/i 4.0.
The following instruction how to install FreeNAS v7.1.x on VMware ESXi 4.0.

Create New VM

STEP 1 : Create Custom VM
Right mouse click on ESXi host, select New Virtual Machine -> Custom
Type in name for your VM e.g. FreeNAS
Select data store VM will reside, click Next
Select Virtual Machine Version 7
Select Guest OS Other Version FreeBSD (32-bit)
Select number of virtual processors 1
Select memory size 512MB
Select NICs 1, VM Network 2 (will be on 2nd NIC), adapter E1000
Select SCSI controller LSI Logic Parallel
Select create a new virtual disk
Select Disk Size 2 GB
Select allocate and commit space on demand (Thin Provisioning)
Select location store with the virtual machine
Select virtual device node SCSI(0:0) or default
Select edit the virtual machine settings before completion
Select device status connect at power on
Select new CD/DVD (adding), datastore ISO, browse and select ISO file

STEP 2 :
Install FreeNAS
STEP 1 : Boot VM
STEP 2 : Install FreeNAS to hard drive
Console setup menu select 9 Install/Upgrade to hard drive/flash device, etc..
Install & Upgrade menu

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Citera flera Citera

2012-06-07 20:16

zenjin

Medlem

Plats: Oslo
Registrerad: Sep 2009

●

Skrivet av PowerNet:

Hej, sorry för svaret dröjde lite.

Var tvungen att labba lite mer, då FreeNAS inte ville installeras då man gjort på "standard vm skapnings viset".
Utan labbade runt och råkade träffa på en guide på:
http://wiki.weblab360.com/@api/deki/pages/108/pdf

Guiden är för ESXi 4.0, men funkar lika bra på ESXi 5.0, följ den men byt ut dem här stegen (enligt mitt tycke, inget krav):

jag använde: FreeNAS-8.0.4-RELEASE-p2-x64.iso
( http://sourceforge.net/projects/freenas/files/FreeNAS-8.0.4/FreeNAS-8.0.4-RELEASE-p2-x64.iso/download )

Select Virtual Machine Version 7 till - Select Virtual Machine Version 8
Select Guest OS Other Version FreeBSD (32-bit) - till - Select Guest OS Other Version FreeBSD (64-bit) (om du kör 64 bit system från FreeNAS)
Select memory size 512MB - till - 1024 eller 2048 för bättre preestanda på NAS en. (eller mer om du vill)
Select Disk Size 2 GB - till - Select Disk Size 4GB (FreeNAS kräver 2GB för att installeras, bra att ha lite extra utrymme för framtida uppdaterings krav)
Select allocate and commit space on demand (Thin Provisioning) - till - Thick Provision Lazy Zeroed (tar upp allt utrymme direkt, bra så man vet hur mycket man har att spela med så inte en VM växer sig större.)

Klistrat in guiden här:

Open source software that turns an old x86 PC into a network attach storage(NAS) appliance box that is
simple to install, manage, use and upgrade. FreeNAS does run on VMware ESX/i 4.0.
The following instruction how to install FreeNAS v7.1.x on VMware ESXi 4.0.

Create New VM

STEP 1 : Create Custom VM
Right mouse click on ESXi host, select New Virtual Machine -> Custom
Type in name for your VM e.g. FreeNAS
Select data store VM will reside, click Next
Select Virtual Machine Version 7
Select Guest OS Other Version FreeBSD (32-bit)
Select number of virtual processors 1
Select memory size 512MB
Select NICs 1, VM Network 2 (will be on 2nd NIC), adapter E1000
Select SCSI controller LSI Logic Parallel
Select create a new virtual disk
Select Disk Size 2 GB
Select allocate and commit space on demand (Thin Provisioning)
Select location store with the virtual machine
Select virtual device node SCSI(0:0) or default
Select edit the virtual machine settings before completion
Select device status connect at power on
Select new CD/DVD (adding), datastore ISO, browse and select ISO file

STEP 2 :
Install FreeNAS
STEP 1 : Boot VM
STEP 2 : Install FreeNAS to hard drive
Console setup menu select 9 Install/Upgrade to hard drive/flash device, etc..
Install & Upgrade menu

Återigen tack för ett snabbt svar
Dock är det inte själva installationen som är problematisk utan mer om de alternativ som finns hanterar rdm på ett bättre sätt och om rdm kommer innebära någon större prestandaförlust.

Så jag har inte helt bestämt mig för att köra en esxi lösning utan undrar över hur alternativen står sig i diskprestanda och möjligheter för rdm

Visa signatur

Återkommer om den saken....

Citera flera Citera

2012-06-07 20:25

PowerNet

Avstängd

Registrerad: Nov 2011

●

Skrivet av zenjin:

Återigen tack för ett snabbt svar
Dock är det inte själva installationen som är problematisk utan mer om de alternativ som finns hanterar rdm på ett bättre sätt och om rdm kommer innebära någon större prestandaförlust.

Så jag har inte helt bestämt mig för att köra en esxi lösning utan undrar över hur alternativen står sig i diskprestanda och möjligheter för rdm

Varför vill du ha RDM för FreeNAS?

Gör du enligt Guiden ovan med ESXi och har FreeNAS virtuellt så blir det bra, körde själv guiden och det funkar, och får ut runt 40MB/s stadig överförings hastighet från klient in i FreeNAS VM en.
Vilket får anses okej, och tillräcklig prestanda för det ändamålet.

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Citera flera Citera

2012-06-07 20:44

zenjin

Medlem

Plats: Oslo
Registrerad: Sep 2009

●

Skrivet av PowerNet:

Varför vill du ha RDM för FreeNAS?

Gör du enligt Guiden ovan med ESXi och har FreeNAS virtuellt så blir det bra, körde själv guiden och det funkar, och får ut runt 40MB/s stadig överförings hastighet från klient in i FreeNAS VM en.
Vilket får anses okej, och tillräcklig prestanda för det ändamålet.

Min uppfattning är att FreeNas eller egentligen zfs bara fungerar som det är tänkt om det har full rättighet till hela disken.
Och det faktum att man om man inte kör med rdm nästlar filsystem om jag inte är helt ute och cyklar.

Dessa två punkter är väll min främsta oro och att det skall uppstå problem vid eventuell uppgradering

och som det ser ut nu så lutar det definitivt åt att låta hela rasket vara nere ett par dagar och göra ordentliga tester av både prestanda och möjligheten att importera pools och liknande mellan olika installationer och hypervisors för att säkerhetsställa mig om att jag har möjlighet att upgradera/modifiera både hårdvara och mjukvara utan att behöva förstöra data.

Visa signatur

Återkommer om den saken....

Citera flera Citera

2012-06-07 20:45

hansfilipelo

Medlem

Plats: Norrköping
Registrerad: Feb 2006

●

Skrivet av PowerNet:

Varför vill du ha RDM för FreeNAS?

Gör du enligt Guiden ovan med ESXi och har FreeNAS virtuellt så blir det bra, körde själv guiden och det funkar, och får ut runt 40MB/s stadig överförings hastighet från klient in i FreeNAS VM en.
Vilket får anses okej, och tillräcklig prestanda för det ändamålet.

Med ZFS är det rekommenderat att ha direkt access till diskarna. Det är också rekommenderat att ha MINST 4 GB RAM.

Allt enligt rekommendationer från FreeNAS egen wiki och ZFS best practices: http://doc.freenas.org/index.php/Hardware_Requirements
http://www.solarisinternals.com/wiki/index.php/ZFS_Best_Pract...

Till TS:

RDM kommer att ge minimal prestandaförlust. Ska du inte köra videoredigering mot NASen kommer det passa dig utmärkt.

Se sedan till att ha 1 GB RAM per TB lagringsutrymme (dock minst 4 GB). Om du har mindre än 6 GB RAM cachar inte ZFS till RAM och prestandan hos din NAS försämras.

Visa signatur

Primär: MBP 16", M1 Pro, 32 GB, 512 GB SSD, Thunderbolt dock, Dell U3415W HTPC: FD Node 202, Ryzen R5 3600, 16 GB, Radeon RX480 Nitro+ 4 GB, 850 Pro 512 GB+MX100 512GB Main server: Rasberry Pi 4 8 GB Worker server: FD Node 304, Core i3 3220T, 16 GB RAM, 60 GB Intel 330+80 GB 320, 3*3TB WD Red, Debian Backup: AMD E-350, 8 GB, 40 GB Intel V40, 3x3TB WD Red, Debian

Citera flera Citera

2012-06-07 21:07

PowerNet

Avstängd

Registrerad: Nov 2011

●

Skrivet av zenjin:

Min uppfattning är att FreeNas eller egentligen zfs bara fungerar som det är tänkt om det har full rättighet till hela disken.
Och det faktum att man om man inte kör med rdm nästlar filsystem om jag inte är helt ute och cyklar.

Dessa två punkter är väll min främsta oro och att det skall uppstå problem vid eventuell uppgradering

och som det ser ut nu så lutar det definitivt åt att låta hela rasket vara nere ett par dagar och göra ordentliga tester av både prestanda och möjligheten att importera pools och liknande mellan olika installationer och hypervisors för att säkerhetsställa mig om att jag har möjlighet att upgradera/modifiera både hårdvara och mjukvara utan att behöva förstöra data.

Alternativt så gör du enligt guiden och kommer igång med nya NAS en på någon timma

Det är fullt tillräckligt att göra enligt guiden, och sen adda till extra disk utrymme i ESXi till VMen, som du sen läser in med FreeNAS i webconfig inställningarna och väljer att skapa ZFS filsystem eller vilket filsystem du nu vill köra för lagringen.

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Citera flera Citera

2012-06-07 21:48

zenjin

Medlem

Plats: Oslo
Registrerad: Sep 2009

●

Skrivet av PowerNet:

Alternativt så gör du enligt guiden och kommer igång med nya NAS en på någon timma

Det är fullt tillräckligt att göra enligt guiden, och sen adda till extra disk utrymme i ESXi till VMen, som du sen läser in med FreeNAS i webconfig inställningarna och väljer att skapa ZFS filsystem eller vilket filsystem du nu vill köra för lagringen.

Kommer definitivt testa den metoden med.

Dock är tidsaspekten här i stort sätt irrelevant kan flytta det som används i det nuvarande systemet under tiden jag labbar.
Detta gör att jag hellre sätter upp det så optimalt som möjligt en gång istället för att senare när jag har mindre tid och möjlighet att förändra behöva göra om allting

Visa signatur

Återkommer om den saken....

Citera flera Citera

2012-06-07 21:54

PowerNet

Avstängd

Registrerad: Nov 2011

●

Skrivet av zenjin:

Kommer definitivt testa den metoden med.

Dock är tidsaspekten här i stort sätt irrelevant kan flytta det som används i det nuvarande systemet under tiden jag labbar.
Detta gör att jag hellre sätter upp det så optimalt som möjligt en gång istället för att senare när jag har mindre tid och möjlighet att förändra behöva göra om allting

Vilket du inte behöver göra om inte din hårdvara kraschar
Sätter du upp det enligt guiden och addar extar disk volymer och låter FreeNAS läsa in dem och skapa ZFS system så får du bästa möjliga prestanda och användbarhet (och kan flytta det till ny VMHost om du behöver på ett enkelt vis)

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Citera flera Citera

2012-06-09 01:20

saddam

Avstängd

Plats: Sthlm
Registrerad: Nov 2008

●

Skrivet av hansfilipelo:

Se sedan till att ha 1 GB RAM per TB lagringsutrymme (dock minst 4 GB). Om du har mindre än 6 GB RAM cachar inte ZFS till RAM och prestandan hos din NAS försämras.

Detta stämmer inte alls. Du bör ha 1GB RAM per TB disk om du tänker köra deduplication, vilket är en mycket minneskrävande funktion. Annars klarar du dig gott och väl med 2GB RAM eller ännu mindre - om du bara vill ha ZFS.

ZFS har en mycket effektiv disk cache, och om du använder en stor disk cache, kanske 6GB RAM eller så, så kommer ofta datat finnas i RAM cachen så det går väldigt snabbt. Om du har 1GB RAM, så kommer inte det vara mycket disk cache, kanske 300MB och då kommer prestanda sjunka. Isåfall, ZFS kommer att tvingas läsa från disk hela tiden, så prestandan kommer sjunka till disk prestanda. Och RAM är ju mycket snabbare än disk, så man vill helst ha 4GB RAM eller så.

Jag själv körde ZFS raid under ett helt år på en 1GB RAM OpenSolaris server utan problem. Jag hade knappt ingen diskcache men diskarna är ju ganska snabba så det gjorde inte så mycket.

Mao, har du 6GB RAM eller mer, så får du mycket disk cache och det går snabbt. Men ZFS går bra att köra ändå, om du har mindre RAM. T.om 1GB RAM går bra.

Här finns en stor guide med ESXi och ZFS:
http://hardforum.com/showthread.php?t=1573272

Citera flera Citera

2012-06-09 10:49

hansfilipelo

Medlem

Plats: Norrköping
Registrerad: Feb 2006

●

Skrivet av saddam:

Detta stämmer inte alls. Du bör ha 1GB RAM per TB disk om du tänker köra deduplication, vilket är en mycket minneskrävande funktion. Annars klarar du dig gott och väl med 2GB RAM eller ännu mindre - om du bara vill ha ZFS.

ZFS har en mycket effektiv disk cache, och om du använder en stor disk cache, kanske 6GB RAM eller så, så kommer ofta datat finnas i RAM cachen så det går väldigt snabbt. Om du har 1GB RAM, så kommer inte det vara mycket disk cache, kanske 300MB och då kommer prestanda sjunka. Isåfall, ZFS kommer att tvingas läsa från disk hela tiden, så prestandan kommer sjunka till disk prestanda. Och RAM är ju mycket snabbare än disk, så man vill helst ha 4GB RAM eller så.

Jag själv körde ZFS raid under ett helt år på en 1GB RAM OpenSolaris server utan problem. Jag hade knappt ingen diskcache men diskarna är ju ganska snabba så det gjorde inte så mycket.

Mao, har du 6GB RAM eller mer, så får du mycket disk cache och det går snabbt. Men ZFS går bra att köra ändå, om du har mindre RAM. T.om 1GB RAM går bra.

Här finns en stor guide med ESXi och ZFS:
http://hardforum.com/showthread.php?t=1573272

Om du läser länken jag skickade förut (FreeNAS hårdvarukrav) finner du följande:

Citat:

NOTE: by default, ZFS disables pre-fetching (caching) for systems containing less than 4 GB of usable RAM. Not using pre-fetching can greatly reduce performance. 4 GB of usable RAM is not the same thing as 4 GB installed RAM as the operating system resides in RAM. This means that the practical pre-fetching threshold is 6 GB, or 8 GB of installed RAM. You can still use ZFS with less RAM, but performance will be affected.

Visa signatur

Primär: MBP 16", M1 Pro, 32 GB, 512 GB SSD, Thunderbolt dock, Dell U3415W HTPC: FD Node 202, Ryzen R5 3600, 16 GB, Radeon RX480 Nitro+ 4 GB, 850 Pro 512 GB+MX100 512GB Main server: Rasberry Pi 4 8 GB Worker server: FD Node 304, Core i3 3220T, 16 GB RAM, 60 GB Intel 330+80 GB 320, 3*3TB WD Red, Debian Backup: AMD E-350, 8 GB, 40 GB Intel V40, 3x3TB WD Red, Debian

Citera flera Citera

2012-06-09 15:42

saddam

Avstängd

Plats: Sthlm
Registrerad: Nov 2008

●

Ok, isåfall måste man skilja mellan Solaris ZFS och ZFS till andra OS. Jag hörde att ZFS till FreeBSD var lite buggigt och krävde mycket RAM.

ZFS till Solaris är stabilt och kräver inte alls lika mycket RAM som till andra OS. Det verkar som att ZFS är mer inbakat rätt in i Solaris, på ett mer integrerat sätt. Till andra OS så krävs massa extra kod som bryggar in ZFS in i OSet - vilket kan kräva RAM och göra det buggigt.

Så då tycker jag att man ska göra skillnad på ZFS implementation och klargöra til vilket OS man pratar om. Inte säga "ZFS kräver mycket RAM" - för det är inte sant om vi pratar Solaris. Visst blir ZFS snabbt med mycket RAM på Solaris, men det är inte ett krav.

Citera flera Citera

2012-06-09 17:00

TimmyQ

Medlem ★

Plats: Göteborg
Registrerad: Jul 2001

●

säkerts nämns tidigare, men openfiler är snabbare än freenas IMO ihop med ESX

Visa signatur

RetroPC samlare av högsta nivå.
medlem 504 på sweclockers
https://timmynator.se

Citera flera Citera

2012-06-09 17:24

zenjin

Medlem

Plats: Oslo
Registrerad: Sep 2009

●

Efter lite tänkande så lutar det åt att försöka mig på att bygga ihop en något kraftigare burk främst för att ha möjlighet till mer ram vilket jag har förstått innebär stora prestanda ökningar.

Om det blir något sådant så lutar det åt ett fx system antingen 4100 eller 6100 för att få iommu och ecc utan att behöva gå upp så mycket i pris

Visa signatur

Återkommer om den saken....

Citera flera Citera

2012-06-09 17:42

PowerNet

Avstängd

Registrerad: Nov 2011

●

Skrivet av zenjin:

Efter lite tänkande så lutar det åt att försöka mig på att bygga ihop en något kraftigare burk främst för att ha möjlighet till mer ram vilket jag har förstått innebär stora prestanda ökningar.

Om det blir något sådant så lutar det åt ett fx system antingen 4100 eller 6100 för att få iommu och ecc utan att behöva gå upp så mycket i pris

Så du tycker att 200- 300 Mbit/s inte är tillräcklig prestanda för en NAS i skrivprestanda? (testat mot en Intel Atom CPU D525 @ 1.80GHz, 4GB RAM ZFS filsystem med en usel Western Digital Caviar Green disk)

Även testat emot en FreeNAS VM i ESXi, vilket då ligger runt 300-400 Mbit/s (denna VM har 512 MB ram tilldelat, fast ESXi i botten kör snabbare diskar)

Vad är det du kör då som är så krävande som kräver högre hastigheter

(Hastigheterna är tagna ur FreeNAS statistik vyn, även räknat och kollat mot ESXi nätverks vyn så det stämmer)

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Citera flera Citera

2012-06-09 18:13

Oegat

Medlem ★

Registrerad: Jan 2003

●

Med FreeBSD och mindre än 4G ram så ska det fortfarande gå att slå på prefetch, med raden

vfs.zfs.prefetch_disable="0"

i /boot/loader.conf. Jag antar att samma sak gäller freenas.

Visa signatur

Här hade jag en historik sen 1990-talet, men den blev tillslut för lång. Aktiva maskiner 2022-framåt:
Work/Play/Everythingstation: AMD Epyc 7443p, Pop OS host, Win10 + Linux guests (KVM/Qemu)
Work/Play nr 2: AMD Phenom II 1090t, Debian + Win 10 (dual boot)
Server x3: Epyc 7252 (TrueNAS Core), Atom 2550 (FreeBSD, backup), Opteron 6140 (Ubuntu, off prem backup)
Retrohörna under uppbyggnad: Dual Pentium Pro 200MHz, Pentium P54C 90MHz, Gravis Ultrasound MAX

Citera flera Citera

2012-06-09 18:27

zenjin

Medlem

Plats: Oslo
Registrerad: Sep 2009

●

Skrivet av PowerNet:

Så du tycker att 200- 300 Mbit/s inte är tillräcklig prestanda för en NAS i skrivprestanda? (testat mot en Intel Atom CPU D525 @ 1.80GHz, 4GB RAM ZFS filsystem med en usel Western Digital Caviar Green disk)

Även testat emot en FreeNAS VM i ESXi, vilket då ligger runt 300-400 Mbit/s (denna VM har 512 MB ram tilldelat, fast ESXi i botten kör snabbare diskar)

Vad är det du kör då som är så krävande som kräver högre hastigheter

(Hastigheterna är tagna ur FreeNAS statistik vyn, även räknat och kollat mot ESXi nätverks vyn så det stämmer)

Dock kommer inte filservern vara den ända vm som körs vilket gör att ram begränsningar och även i viss mån cpu begränsningar börjar uppstå samt att jag föredrar att använda iommu för nätverkskortet till routern istället för att som nu använda esxi's switchar

Visa signatur

Återkommer om den saken....

Citera flera Citera

2012-06-10 12:36

hansfilipelo

Medlem

Plats: Norrköping
Registrerad: Feb 2006

●

Skrivet av TimmyQ:

säkerts nämns tidigare, men openfiler är snabbare än freenas IMO ihop med ESX

OpenFiler har inte ZFS mig veterligen. För min del var det ett stort no go.

Visa signatur

Primär: MBP 16", M1 Pro, 32 GB, 512 GB SSD, Thunderbolt dock, Dell U3415W HTPC: FD Node 202, Ryzen R5 3600, 16 GB, Radeon RX480 Nitro+ 4 GB, 850 Pro 512 GB+MX100 512GB Main server: Rasberry Pi 4 8 GB Worker server: FD Node 304, Core i3 3220T, 16 GB RAM, 60 GB Intel 330+80 GB 320, 3*3TB WD Red, Debian Backup: AMD E-350, 8 GB, 40 GB Intel V40, 3x3TB WD Red, Debian

Citera flera Citera

2012-06-10 12:50

hansfilipelo

Medlem

Plats: Norrköping
Registrerad: Feb 2006

●

Skrivet av saddam:

Ok, isåfall måste man skilja mellan Solaris ZFS och ZFS till andra OS. Jag hörde att ZFS till FreeBSD var lite buggigt och krävde mycket RAM.

ZFS till Solaris är stabilt och kräver inte alls lika mycket RAM som till andra OS. Det verkar som att ZFS är mer inbakat rätt in i Solaris, på ett mer integrerat sätt. Till andra OS så krävs massa extra kod som bryggar in ZFS in i OSet - vilket kan kräva RAM och göra det buggigt.

Så då tycker jag att man ska göra skillnad på ZFS implementation och klargöra til vilket OS man pratar om. Inte säga "ZFS kräver mycket RAM" - för det är inte sant om vi pratar Solaris. Visst blir ZFS snabbt med mycket RAM på Solaris, men det är inte ett krav.

Visst - ZFS KRÄVER inte mycket RAM på Solaris, men faktum är att även på Solaris rekommenderar man ungefär samma modell som FreeNAS.

Saxat från Oracle Solaris ZFS performance: 10 Easy Tips (http://constantin.glez.de/blog/2010/04/ten-ways-easily-improv...

Citat:

How much RAM do you need? As a rough rule of thumb, divide the size of your total storage by 1000, then add 1 GB so the OS has some extra RAM of its own to breathe. This means for every TB of data, you'll want at least 1GB of RAM for caching ZFS metadata, in addition to one GB for the OS to feel comfortable in.

Skulle du själv, om det var du och inte TS som köpte ny hårdvara, strunta i dessa rekommendationer?

Senast redigerat 2012-06-10 13:33

Visa signatur

Primär: MBP 16", M1 Pro, 32 GB, 512 GB SSD, Thunderbolt dock, Dell U3415W HTPC: FD Node 202, Ryzen R5 3600, 16 GB, Radeon RX480 Nitro+ 4 GB, 850 Pro 512 GB+MX100 512GB Main server: Rasberry Pi 4 8 GB Worker server: FD Node 304, Core i3 3220T, 16 GB RAM, 60 GB Intel 330+80 GB 320, 3*3TB WD Red, Debian Backup: AMD E-350, 8 GB, 40 GB Intel V40, 3x3TB WD Red, Debian

Citera flera Citera

2012-06-10 19:59

saddam

Avstängd

Plats: Sthlm
Registrerad: Nov 2008

●

Skrivet av hansfilipelo:

Visst - ZFS KRÄVER inte mycket RAM på Solaris, men faktum är att även på Solaris rekommenderar man ungefär samma modell som FreeNAS.

Saxat från Oracle Solaris ZFS performance: 10 Easy Tips (http://constantin.glez.de/blog/2010/04/ten-ways-easily-improv...

Skulle du själv, om det var du och inte TS som köpte ny hårdvara, strunta i dessa rekommendationer?

Han pratar om lagringsservrar. Alltså, saker som körs i produktion ute på företag för att lagra saker.

Det är ungefär som jag länkar till en sida där de pratar om tunga vetenskapliga beräkningar: "vi rekommenderar minst dubbla 8-core cpuer, men ännu mer cpu är ju förstås bättre". Såna rekommendationer gäller inte för hemanvändare på detta forum.

Men visst är det så att ZFS trivs bäst med stor disk cache (dvs mycket RAM). Om du inte har mycket ram, så blir det diskarna som bestämmer hastigheten - dvs det duger det med. Poängen är dock att ZFS inte kräver mycket RAM. Jag har sett folk som säger "om du inte har minst 8GB RAM så kan du glömma ZFS" - men det är ju inte korrekt. Jag körde ZFS på 1GB Solaris PC under ett år, visst det gick långsamt, men det gick. Jag fick typ 30MB/Sek - pga jag körde en 32bits cpu, och ZFS är 128bitar så det blir långsamt om man kör 32bits cpu. Jag körde ZFS pga jag vill ha skydd mot datakorruption, och inte för prestandan.

Så nästa gång folk säger "lägg ned dina ZFS planer om du inte har minst 12 GB RAM" - så är det fel.

Citera flera Citera

2012-07-14 20:26

Raffe

Medlem ★

Plats: Linköping
Registrerad: Okt 2009

●

Skrivet av saddam:

Han pratar om lagringsservrar. Alltså, saker som körs i produktion ute på företag för att lagra saker.

Det är ungefär som jag länkar till en sida där de pratar om tunga vetenskapliga beräkningar: "vi rekommenderar minst dubbla 8-core cpuer, men ännu mer cpu är ju förstås bättre". Såna rekommendationer gäller inte för hemanvändare på detta forum.

Men visst är det så att ZFS trivs bäst med stor disk cache (dvs mycket RAM). Om du inte har mycket ram, så blir det diskarna som bestämmer hastigheten - dvs det duger det med. Poängen är dock att ZFS inte kräver mycket RAM. Jag har sett folk som säger "om du inte har minst 8GB RAM så kan du glömma ZFS" - men det är ju inte korrekt. Jag körde ZFS på 1GB Solaris PC under ett år, visst det gick långsamt, men det gick. Jag fick typ 30MB/Sek - pga jag körde en 32bits cpu, och ZFS är 128bitar så det blir långsamt om man kör 32bits cpu. Jag körde ZFS pga jag vill ha skydd mot datakorruption, och inte för prestandan.

Så nästa gång folk säger "lägg ned dina ZFS planer om du inte har minst 12 GB RAM" - så är det fel.

Du verkar verkligen ha koll på detta, lust att kolla i min tråd och försöka hjälpa med en liten guide hur jag bör gå till väga?
http://www.sweclockers.com/forum/22-microsoft-windows/1126556-windows-7-xbmc-ramminne-trinty/

Visa signatur