Inlägg

Jag antog kan vile köra på 6G diskar för supportens skull som jag skrev där uppe. Är inte det aktuellt är det i min mening storleken på lagrad data som avgör vad jag skulle gått på. Pratar vi flera TB går ju SSD bort men sannolikt rör det sig inte om det i en företagsmiljö. I min hemmiljö med tusentals .mkv kör jag givetvis gamla hdds men i vår företagsmiljö skulle jag som jag tidigare beskrivet helt gått över till SSD om igen, jag inte varit bunden av avtal.

Poängen är, är du inte bunden till supportavtal öppnas en riktigt kul marknad idag i standard servrar typ HP DL380.

Då skulle jag faktiskt rekommenderat just Nexenta. Min tanke kring SSD var prisbilden i dagsläget, en HP 6G Sas disk är i princip lika dyr som en SSDdisk.

Jämför
http://www.dustin.se/product/5010628052/hp-hd-900gb-2-5-6g-10...

med

http://www.dustin.se/product/5010748428/samsung-840-evo-1tb-s...

Kanske missförstod dig angående 6G diskarna dock...

Hej Wixner

Med kommersiella, menar då du som i att du kan tänka dig att betala? Jag skulle säga Nexenta isåfall, gratis upp till 18TB i icke kommersiellt användande.

Dock skulle jag verkligen rekommendera dig att köra SSD diskar istället för 6G SAS diskar. Om du inte avtalsmässigt måste vara bunden av en viss typ av support från HP/Dell/IBM.

Kufra, anledningen är egentligen främst att i samband med att jag satt upp lösningen så dog rätt mycket av utvecklingen/underhållet av OpenIndiana, projektledaren hoppade av osv och att bygga en långsikt lagringslösning på något som det inte är uppdateringsfokus på kändes fel. Samtidigt gick en av de tidigare ZFS utvecklarna/skaparna över till ett företag som jag tror heter Joyent som står bakom OmniOS, samtidigt som Gea (skaparen av Napp-IT) började ändra fokus till just OmniOS, det var helt enkelt mkt som talade för det.

Med andra ord fungerar det eftersom den har en ARM processor, det kommer fungera bra så länge det du spelar upp på inte kräver att NASen ska transcoda innehållet. Exempelvis fungerar det bra att spela upp till en desktopclient men ska du titta på en vanlig mkvfil på din IOS enhet får du problem.

Hej Calle/beh

Låt mig förtydliga lite, alla vms körs på en HP DL380 G7 server, i denna sitter det ett LSI HBA kort med externa portar, dessa portar är kopplade rakt in i ett "dumt" supermicrochassi som endast innehåller en expander till 24 3,5" diskplatser. Så fast det är två fysiska boxar är supermicrochassit egentligen bara en utökning av simpla diskplatser.

Själva OSt som hanterar ZFS arrayn körs som ett vm med 32 GB Ram i vilket HBA kortet är passthruat (svenglish ftw). Lösningen började som en OpenIndiana installation med Napp-IT men slutade som OmniOS med Napp-it.

ZFS arrayn jag skapat och dess share delar jag ut tillbaka till ESXi ssom en vanlig datastore via NFS. Solaris har en bra NFSmotor men det är inte det snabbaste protokollet, dock kompenseras detta mer än tillräckligt av SSD zilen (läscachen).

Just nu har jag 3 datastore som ESXi har tillgång till, en raid1 lösning bestående av 450GB HP HHD diskar i HP servern, en Raid10 Array bestående av 4 st HP 640GB diskar samt datastoren från ZFS. Att clona ett vm från Raid1 lösning till ZFSdatastoren går ca 4ggr så fort som att clona den till Raid10 arrayn.

OmniOS kör vmxnet3 nätverk så delningen tillbaka till ESXi är via 10Gbps.

Där säger jag inte emot dig och hade det inte funnits någon redundans i våran lösning (externa hostingföretaget) så är jag osäker på om jag vågat köra på denna lösning då jag själv har lite begränsat med tid att gräva ner mig i just ZFS och OSt det kör på.

Om man dock ska prata lite pengar så la jag ca 80-90K på HP servern men endast ca 35k på hela supermicroboxen inkl diskar och HBA kort. Att göra motsvarande komplettering i HP boxen med ex. LSI kort var inte möjlig då, varken rent fysiskt eller prismässigt men jag kan tänka mig om man börjar gå över 100k strecket så ändras förutsättningarna. Hade jag satt upp allt på nytt idag hade jag gjort det annorlunda igen.

Då hade det blivit en C6100 box med 2,5" diskplatserna sen hade jag endast kört Samsungs 1TB SSD diskar, spritt ut nuvarande ca 40VM på 2-3 av noderna och sen kört Veeams replikation till den 4de noden och därmed minskat ner på Raidredundans och istället förlitat mig på replikorna (var 5min). Det hade förenklat hela uppsättningen rejält och då vi kör IBM Domino som applikationsplattform hade den vid en krash endast behövt återsynka de 5 min med hostingföretagets data vilket tagit ett par sekunder.

Inte minst hade detta kostat mindre än 50% av nuvarande lösning till 4-5ggr prestandan.

Hej Wixner

Tänkte bara ge lite feedback på vad vi har uppsatt i mitt företag, åtminstone en del av det. Tidigare hade vi ca 20 servrar (1U HP servrar) där varje kund hade sin egen dedikerade server. I samband med att vi gick över till ESXi migrerade vi de flesta servrarna till en HP DL380 G7. Då denna och dess diskkapacitet snabbt blev en begränsning kopplade jag på ett 24 st 3,5" Supermicro chassi (expander versionen) på HP servern via ett LSI HBA kort. Uppsättning var ett gäng 1 TB pro HDD diskar samt två Intel 3xx SSD för skrivcache och en Intel 240GB som läscache.

Just denna komplettering med de extra 4-6TB vi fick har varit 100% stabil och till en mycket liten kostnad jämfört med vad det skulle kostat att komplettera upp HP 380 servern med deras egna diskar.

I samband med att vi gick över till ZFS arrayn skapade vi även en failover lösning mot ett externt hostingföretag (för de som undrar varför jag bara pratar om 1 server).

Till denna uppsättning kör vi Veeam på ett Windows 2012 i en av de gamla hp 1U burkarna som relativt löpande kör backuper på allt och dumpar detta på en Synology NAS, kör deduplicering både i Veeam och på Win2012 (bara det sparar oss just nu över 4TB backupdata, underbart).

Den lösning vi driftar gäller anläggningsregister/felanmälan mm. för flera av Sverige större företag (snittomsättning på vår kund är 11 Miljarder/år). Min största reflektion på allt detta är hur pass mycket en rejält utrustad ESXi server faktiskt klarar av. Vi har aldrig fått en kommentar om begränsad prestanda och vår aktuella flaskhals just nu är RAM-minne.

Nu blev det nog lite fel när du skrev, på vilket vis minskar du på redundansen om du har större diskar? Raidz2 som Raidz2....resilver tiden blir längre det är enda skillnaden.

Exakt, kör du en intern passthru-lösning kan det spela roll men 100MBps nätverk är garanterat flaskhalsen.

Schrimp, givetvis måste man ställa sig frågan vad man ska ha den till men är inte det tämligen självklart? Du köper väl inte saker du inte behöver bara för att det är billigt (inte så ofta iaf ).

C6100 är även rätt högljudd om man inte moddar den ska kanske sägas. Min tanke med att beställa dessa gemensamt är ju inte att de andra personerna var tänkta att vara tant agda som ska ha den som HTPC i vardagsrummet

Givetvis kostar elen, dock är dessa väldigt energisnåla och man behöver inte köra alla 4 samtidigt.

PowerNet, kostnader har vi raddat upp ett gäng gånger och frakten inom landet kan jag ta hand om då jag skickar väldigt mkt redan idag, jag nämnde dock min hemmaort av en smidighetsanledning =).

Schrimp, du har rätt, de ligger lite högre i pris, 1200kr upp. Jag var på 5520 processorerna i minnet men de är ju "bara" fyrkärniga. Fortfarande helt galna prestanda i förhållande till priset. Vi pratar 100k+ serverkapacitet så mina värden är flexibla.

Hej igen Balk71. 1 fråga och ett tips.

Tips: När det gäller SSD, försöka ta en som har inbyggd kondensator (detta gäller bara skrivcachen), då strömmen går vill du inte tappa datan som inte hunnits dumpas ner på diskarna, har ssdn då en kondensator löser den detta.

Fråga: Varför vill du ha kryptering så pass mycket? Jag är bara nyfiken alltså, ingen kritik menat. Skulle du inte bara kunna kryptera från dina OS istället för att kryptera själva lagringslösningen.

Hej. Tycker du är inne på ett riktigt bra spår. Några tankar som dök upp.

1. Nästa version av Vmware (som snart släpps) stöder väldigt stora datastores, just nu är begränsningen 2TB, dvs om du delar ut en virtuell hårddisk, du kan givetvis dela ut från ZFS-OSet direkt till ditt vm och ha hur stor som helst, för och nackdelar.

2. Om du gillar GUI bör du åtminstonde kolla upp napp-it som är ett GUI specifikt för ZFS på diverse Solarisbaserat OS, typ OmniOS, OpenIndiana mfl och även kolla upp Nexentas gratisversion som kanske är den mest "professionella" där ute. Maxgräns på 18TB där just nu förresten...

3. Precis som ozric skriver, skippa grafiken i cpun och spara några kronor, IPMI på supermicro moderkort är suveränt och du kommer aldrig behöva en skärm/tangentbord direkt kopplad till servern.

En liten notis också bara, RED diskar kommer i 4TB varianter nu också om du vill spara lite ström.

Och ett litet tips till (sorry). ZFS har en suverän funktion som gör att man kan använda SSD diskar som cache diskar för både skrivoperationer och läs. Zil respektive l2arc kallas det. Själv kör jag med en intel ssd som skrivcache (behöver bara vara max 20GB stor) och intel 240GB som läscache, ger oerhört bra prestanda.

Sorry för lite missförstånd.

Dell C6100 är alltså en server i 2U format som i sig innehåller 4 noder (varje nod innehåller 2 processorer). Priset för en server med 4 noder är ca 1k$ så grundpriset är 6500kr ungefär. För 8 CPUer! vardera med 6 kärnor. Frakten är ca 400$ om man bara köper en server. Därav samgåendet, för 5 servrar blir totala frakten ca 1k$ dvs 200$ / server. På detta kommer givetvis normala avgifter, dvs ca 100kr i tulladministration + moms. Lite osäker på om man betalar tull på begagnade datorer, har inte för mig det. Totala priset per server blir alltså ca 1k$+200$+100kr+25% moms. Ca 10-11000. För totalt 48 kärnor och möjlighet till 768 GB Minne (så mkt minne ingår givetvis inte). Exempelvis är detta tillräckligt med prestanda för att driva siter som servethehome (som faktiskt drivs på just en sån här server).

Veeam dumpar ju ner det i sitt egna backupformat (i vilken de även sparar de specifika backupinställningar, dvs om ditt win2012 krashar är inte backuperna förlorade, bara backupjobben i sig (schemaläggning osv)) men givetvis skulle du kunna mappa Synology Iscsi anslutningen till ett annat win2012 och fortsätta jobba med filerna där. Däremot fungerar det inte på andra OS just nu (om du kör med dedupliceringen påslaget).

Men säg att du kör din backupOS på samma virtuella miljö som VMna du tar backup på, kracshar hela Vspheremiljön får du då installera upp Win2012 på en annan fysisk host och mappa Iscsin dit innan återställning. Av den anledningen körs alla mina vm på samma host FÖRUTOM just Win2012backup OSet, den kör på en dedikerad gammal HPserver.

Dock är det just detta Veeam får lite kritik för. Vem backar upp Veeam helt enkelt. Det vanligaste här är att köra BackupExec för att backa Win2012 OSet. Som du även är inne på, offsitefunktionalitet i Veeam7 är kanon, suveränt för en offsite backup av alltihopa. Funkar helt ok på lite sämre linor också tycker jag.

Som HerrNilsson sa fungerar det bra. Kontrollera bara licensen, den är per socket som du säkert vet.

Ett riktigt bra förslag när det gäller detta är (om du har tillgång till det) att installera veeam i en Win2012 server och slå på Deduplication på disken. Just nu sparar jag 55% av mitt lagringsutrymme pga detta (ca 4TB). Kör i princip exakt samma uppsättning som du gör. Som NAS kör jag en Synology DS1813+. Från den exporterar jag en ISCSIutdelning direkt till Win2012. Kunde även kört den till vSphere och sen skapat en disk till Win2012. Fina är att synologyn stödjer VAAI.

Hej

För er som är insatt i serverhårdvara har ni kanske sett att större datacenter dumpat iväg sina Dell C6100 XS23-TY3. Vi pratar tusentals till priser som är absurda, runt 1000$ för 4 servrar i en 2U förpackning. Varje server med 2 st 6 kärning CPUer. Problemet för oss här i Sverige är att frakten i princip kostar lika mycket som servern. Går man ihop och beställer några åt gången kommer man ner i ca 200$ stycket. Jag undrar helt enkelt om det finns någon annan som är i startgroparna för att beställa från ebay och vill gå ihop. Själv hör jag hemma i Helsingborg i Sverige men den sista fraktbiten borde inte vara ett problem.

Vill ni läsa mer om servern föreslår jag följande:

http://forums.servethehome.com/processors-motherboards/1247-d...

Ett enkelt räkneexempel på denna server och en annan jag har (HP DL 380 G7) ger en kostnad per tråd som är ca 100kr / tråd för C6100 och ca 2500 kr / tråd för HPn och då pratar vi likvärdiga proppar.

//Andreas

Lite roligt ibland, själv irriterar jag mig på avsaknaden av 5,25" platser, en 5st 3,5" diskar i 3 st 5,25" platser-vagga med hotswap stöd är ju underbart när man bygger lagringsserver. Tyvärr är det sällan det finns riktigt bra chassi med 9 sådana platser (alt. 12) om det samtidigt ska vara tyst.

Hej alla

Hade hoppats några klocka personer här kunde komma med lite tips på hur ni skulle satt upp följande:

Jag kommer införskaffa
Intel Xeon E3-1230v2
Supermicro X9SCM-IIF
Kingstorn ValueRam TS DDR3 1600MHz ECC Unbuff. 8GB x 4
WD Red 3TB x 5
IBM M1015

Jag har även tänkt återanvända mitt P180B chassi som fortfarande är en pärla men tyvärr inte används. Min nuvarande server kör i ett Define R2 chassi men jag har valt att inte använda det då jag i framtiden tänkt utnyttja 3 st 5,25" plast för 5 diskar när behovet finns.

Till ovanstående kommer jag skaffa de SSDdiskar som behövs, har en del liggandes.

Det jag ska installera är ESXi i vilket jag kommer passthrua M1015 till Freenas/Nas4Free/OI för ZFS. Till ZFS addar jag de 5 3TB diskarn i en raidz1 och sen ska jag ha både zil och readcache på ssd. Frågan är hur jag installerar allt, det bästa jag kommit fram till med tanke på att chassi "bara" rymmer 6 diskar i grundutförande är:

ESXi på USB i moderkortets usb2 header. ESXit tilldelar jag sedan en ssd från en av moderkortets SATA 6GB/s portar. På denna installeras ZFSs oset och alla resterande vms läggs på zfs. Problemet här är att då är de 6 diskarplatserna upptagna och det saknas en ssd till zfsuppsättningen då jag väl inte kan använda den redan använda ssddisken till zfs? Likaså är där ingen raid1 eller liknande så rasar den ssdn blir det tillatt ominstallera ZFSsoset och vad mer jag nu lagt på den.

Tar tacksamt emot tips på en bättre uppsättning. Ett alternativ vore att köra zfsoset på en usbsticka också men det är inte många os som esxi tycker om att bota från usb i tyvärr =(.

Att jämföra dom mot varandra vore fel det har du rätt i men att jämföra dom för att ge en förståelse för ljudnivån tycker jag är ok. Refererade till just P180 för att det var (är...) ett så pass populärt chassi.

120718 - Uppdatering
Har nu kört datorn en vecka ungefär och är extremt nöjd med moderkortet. Körde Asus egna Tuningprogram och just nu kör den helt perfekt i 4,45 GHz från original 3,5GHz. Det var en större ökning än vad jag hade väntat mig. I win7 indexet får den 7,8 på ram och cpu (max är 7,9) och på disk får den 7,9. 6,6 på grafikdelarna. Har kört 4-5 andra prestandatestsviter och är lika glad varje gång resultatet kommer. Bootar datorn på ca 12-13 sekunder vilket i praktiken är galet snabbt.

Dock, den låter mer än vad jag först upplevde det som och vad jag hade väntat mig. Jag trodde det var originalchassifläktarna men det visar sig vara 140mm cpufläkten (kör endast en cpufläkt). Det gjorde mig lite besviken då denna är tämligen påkostad och får bra i tester. Jag stängde av denna fläkten helt och köra 100% belastning på cpun (i 4,45Ghz alltså). Det maxade tempteraturen på 67 grader från ca 60 med fläkt. Hur bra som helst så behovet av den fläkten är tämligen litet.