Filserverbygge: Ubuntu server, ZFS och truecrypt

Permalänk

Filserverbygge: Ubuntu server, ZFS och truecrypt

Hej,

Jag har läst en del på forumet om serverlösningar och jag vet att det finns mycket intelligent och kunnit folk här så jag registrerade mig och tänkte som första del i mitt medlemskap dela med mig av mina planer på servermaskin och samtidigt starta diskussion och få tips om det. Förhoppningen är att många andra ska få nytta av informationen också.

Jag har själv ingen tidigare erfarenhet av detta, så jag välkomnar alla tips och tar gärna emot kritik i mitt tänkande då jag inser att jag mycket väl kan ha valt fel vägar eller har förstått saker fel. Jag har mycket mer erfarenhet av windows-system än något annat. Mina linux/unix kunskaper är grundläggande trots att jag använt såna system under min femåriga universitetstid. Har dock inte pluggat något datavetenskapligt (pluggat teknisk fysik och elektroteknik). Jag har dock lätt för och tycker det är roligt att lära mig.

När jag skulle välja lösning har jag utgått ifrån vilken funktionalitet jag vill ha ut av projektet:

  • Stabil filserver med redundans

  • Backupmöjlighet för dokument, foton och annat som inte går att återfå om det försvinner

  • Inte bara kunna nå filservern på det lokala nätverket utan även via internet

  • Streama högupplöst film direkt från servern

  • Data krypterat med truecrypt (inte OS-partitionen)

  • Möjlighet att utöka diskutrymmet enkelt

  • Möjlighet att enkelt kunna byta ut hårddiskar som går sönder mot nya

  • Webserver (Apache)

  • Kunna hantera servern remote (SSH)

  • Lite andra servertjänster (små)

Fyll gärna på med andra möjligheter gällande användningsområden, det uppskattas!

Min nuvarande plan:

Hårdvara
Gällande hårdvara har jag inte bestämt mig till 100% eftersom jag vill lämna detta steg tills efter jag har bestämt mig för mjukvara och upplägg. Jag har inte tänkt mig någon budgetvariant, men jag vill heller inte spendera pengar i onödan. Filosofin är att få ut mycket för vad man betalar.

Chassi
Plats för minst 11st diskar
Helst hotswap

PSU
Corsair
Inte säker på vilken effekt som krävs, får räkna på det

Moderkort
Föredrar ASUS men öppen för förslag
DVI-utgång
Många SATA-anslutningsmöjligheter
ECC-stöd?

CPU
Intel Core i5 (i3 har inte AES-instruktionsset)
Integrerat grafikkort
AES-instruktionsset

RAM
Minst 8GB, beror på vad som anses behövas för ZFS.
ECC?

Hårddiskar
3TB verkar vara billigast per GB just nu. Dessutom känns det bäst att köra på stora istället för många, inte minst platsmässigt.

Mjukvara

  • Ubuntu server

  • ZFS

  • raidz2 för nivå 2 redundans

  • Truecrypt (two-fish+AES+serpent) på diskarna

  • VPN-server (PPTP)

  • Samba

  • SSH för remote

  • Apache-server

  • Backup finns säkert lösning på på något vis, riktigt viktiga saker vill jag även lagra

Frågor
Slutligen lite mer direkta frågor som ni gärna får svara på och tycka till om.

  • Finns det någon möjlighet att hitta ett chassi med minst 11 diskplatser varav (minst) 10st är hotswap-platser för max 5kkr (helst lägre)? (Har tittat både på “vanliga” chassin och server-rack. Såg en del på mullet.se men ett 3U rack för 16 diskar kostar 8000kr och då tillkommer skåp. För mycket pengar för mig.)

  • Hur viktigt är det med ECC på minnena och vad får man räkna med för skillnad i pris?

  • Min plan var att kryptera diskarna (5st) och därefter göra en zpool med en 5-diskars raidz2 partition, är det bakvänt? För- och nack-delar?

  • Tanken är då att kunna utöka med en ytterligare raidz2 på 5 diskar till samma zpool senare då man inte i zfs kan utöka antalet diskar i en raid. Är valet av antal diskar (5) lagom?

  • Tips på 3TB hårddiskar för ändamålet?

Kritik välkomnas som sagt. Ge gärna alternativ till kritiken och ge gärna svar på ett sånt sätt att andra också kan ha nytta av kunskapen som delas i tråden.

Permalänk
Medlem

Intressant projekt, kommer följa denna tråd. Önskar att alla som postar försöker hålla lika hög nivå som trådskaparens förstainlägg! Dvs. inget blaj.

Tips: Har för mig att linuxprofessor är en hejjare på ZFS, får se om han kan hitta hit, annars får du väl dra ett PM

Visa signatur

pfSense: GA-J1900N-D3V Quad-core Celeron 2GHz, Samsung 4GB, pfSense 2.2.2@USB
ESXi: i5 3470S, Gigabyte GA-B75N, Corsair XMS3 16GB, Intel PRO/1000 VT Quad GbE, Streacom F7C, ESXi@USB
Campfire Audio Lyra II, HiFiMAN HE-400, Yamaha EPH-100, Audioengine D1, FiiO E10

Permalänk
Medlem

Du skulle kunna använda dig av FreeBSD istället, om det inte finns ideologiska skäl bakom valet av OS. ZFS trivs bättre under FreeBSD än Ubuntu, om det inte ändrats den allra senaste tiden. Systemen skiljer sig inte mycket emellan när det kommer till konfigurationen, och FreeBSDs forum är väldigt kunnigt också.

ECC ser jag ingen som helst anledning att du inte ska använda dig utav, så utgå från det när du väljer komponenter. Jag tror många med mig kommer att påpeka detta också.
Och angående rammängd, så tycker jag att du ska peta i så mycket du kan undvara i pengaväg. 4GB absolut minst men gärna 8GB+ (läs 16-32). Ju bättre ZFS-respons kommer du att få.

Kryptera kan du göra utan TrueCrypt. LUKS på diskarna, och sen ZFS ovanpå har jag sett någon köra här på forumet. Så slipper du ett tredjepartsprogram också.

Sen skulle jag kanske försöka få till OS på usb-pinnar. 2st 16GB klarar du dig ypperligt på. Så sparar du anslutningar och pengar.. Ett USB-minne som tackar för sig kan du alltid ersätta med ett klonat senare.. Alltså en zmirror på 2 usb-minnen. Snapshots etc på köpet.
Sönderskrivningar av minnena löser du med "ramdisk", alltså att du flyttar de filer som skrivs ofta till ramet, och sparar då på minnescellerna. Loggfilerna och /tmp är väl tacksamt att lägga där till en början.

Visa signatur

WS: Asus P8Z77-I Deluxe mITX | Intel 3770K@4.6 | NH-U12P | Asus 780 GTX | Corsair 2x8GB 1600Mhz CL9 | Samsung 840 512GB | Ubuntu 16.04.3 x86_64 | Corsair AX750 | 2x Dell U2412M | Puppe.se | NAS: i7 860, 16GB DDR3, GA-P55M-UD4, FD Define R3, 8x2TB Samsung F4EG, Serveraid M1015, EVGA 750W G2 PSU, FreeBSD x64

Permalänk
Medlem

Jag har en bekant som har använt sig utav ZFS under Linux i över ett år utan problem - lite googlande gav lite ditt och datt men inget konkret. Man kan köra ZFS i kerneln numera, om jag minns rätt. Vilket betyder att man slipper dras med det i user space.

Vad gäller problem så tycker jag en hel del folk på diverse forum har sagt att man bör undvika det, "för att man har hört att det inte fungerar så bra". Dock inga exempel eller varför det är så. Utav det jag har hittat så verkar det än vara lite ord mot ord utan några konkreta fakta, vilket inte hjälper valet över huvud taget. Är det någon som har dåliga erfarenheter utav ZFS under Linux? Provade själv med en virtuell Linuxinstallation och drog igång en pool av diskar och labbade runt en kväll och jag märkte inte utav några problem. Den återskapade poolen utan problem, bytte ut diskar som var "trasiga" och sådant. Jättevackert.

Kanske är det så att det var sämre stöd för det förut och att den stämpeln fortfarande lever kvar? Någon som har bättre koll och kan ge sin åsikt? Jag utgår bara ifrån mina egna personliga resultat och åsikter här som sagt.

Permalänk
Medlem
Skrivet av Fastidious:
  • Tanken är då att kunna utöka med en ytterligare raidz2 på 5 diskar till samma zpool senare då man inte i zfs kan utöka antalet diskar i en raid. Är valet av antal diskar (5) lagom?

Utav ren snålhet hade jag försökt att använda fler diskar i varje pool. RaidZ2 använder ju som namnet antyder två diskar till paritet och då får du bara tre diskar till data i array med fem diskar.

Själv kör jag RaidZ2 på sex diskar men jag kommer inte göra om det i nästa version av mina hemmaserver, RaidZ2 på åtta diskar verkar mycket mer ekonomiskt och borde inte utgöra någon prestanda nackdel för mig.

Permalänk

Först, tack alla för svar och engagemang!

Skrivet av ziim0n:

Intressant projekt, kommer följa denna tråd. Önskar att alla som postar försöker hålla lika hög nivå som trådskaparens förstainlägg! Dvs. inget blaj.

Tips: Har för mig att linuxprofessor är en hejjare på ZFS, får se om han kan hitta hit, annars får du väl dra ett PM

Välkommen, tackar!

Skrivet av Schrimp:

Du skulle kunna använda dig av FreeBSD istället, om det inte finns ideologiska skäl bakom valet av OS. ZFS trivs bättre under FreeBSD än Ubuntu, om det inte ändrats den allra senaste tiden. Systemen skiljer sig inte mycket emellan när det kommer till konfigurationen, och FreeBSDs forum är väldigt kunnigt också.

Det är ju ett alternativ att överväga om det krävs. Har testat det mesta virutellt och det fungerar fint på ubuntu server, även hört att det ska fungera bra med zfs under linux. Jag har då kört det dom kallar för "Native ZFS for Ubuntu PPA" Det jag personligen saknar är möjlighet att utöka antalet enheter i raidz-arrayen, men det går väl inte på ZFS överhuvudtaget?

Skrivet av Schrimp:

ECC ser jag ingen som helst anledning att du inte ska använda dig utav, så utgå från det när du väljer komponenter. Jag tror många med mig kommer att påpeka detta också.
Och angående rammängd, så tycker jag att du ska peta i så mycket du kan undvara i pengaväg. 4GB absolut minst men gärna 8GB+ (läs 16-32). Ju bättre ZFS-respons kommer du att få.

ECC blir det då, troligen 16GB. Gäller att annan hårdvara också stödjer detta? Tips om saker man ska tänka på?

Skrivet av Schrimp:

Kryptera kan du göra utan TrueCrypt. LUKS på diskarna, och sen ZFS ovanpå har jag sett någon köra här på forumet. Så slipper du ett tredjepartsprogram också.

Jag testade LUKS (cryptsetup) virtuellt under ubuntu server. Det verkade fungera bra men jag fick en bättre känsla av truecrypt. Truecrypt kan dessutom köra flera algoritmer samtidigt, det verkar inte LUKS kunna. Detta verkar dock rätt onödigt då säkerheten snarare kommer ligga i vad man väljer för passphrase. Om fler har insikter i för- och nackdelar gällande TrueCrypt vs LUKS så är det jättebra information. En nackdel med TrueCrypt jag sett är:
http://fedoraproject.org/wiki/ForbiddenItems#TrueCrypt

Skrivet av Schrimp:

Sen skulle jag kanske försöka få till OS på usb-pinnar. 2st 16GB klarar du dig ypperligt på. Så sparar du anslutningar och pengar.. Ett USB-minne som tackar för sig kan du alltid ersätta med ett klonat senare.. Alltså en zmirror på 2 usb-minnen. Snapshots etc på köpet.
Sönderskrivningar av minnena löser du med "ramdisk", alltså att du flyttar de filer som skrivs ofta till ramet, och sparar då på minnescellerna. Loggfilerna och /tmp är väl tacksamt att lägga där till en början.

Har redan en gammal disk som jag tänkt använda som OS-disk, men jag blev intresserad av din idé. Jag hänger inte riktigt med dock. Fungerar detta för ubuntu server? Det känns lite skumt för mig att man kan få till att köra en zmirror med hjälp av mjukvara under ett OS som ligger på denna zmirror? Utveckla gärna!

Skrivet av Samsite:

Kanske är det så att det var sämre stöd för det förut och att den stämpeln fortfarande lever kvar? Någon som har bättre koll och kan ge sin åsikt? Jag utgår bara ifrån mina egna personliga resultat och åsikter här som sagt.

Jag har också haft den känslan, söker också mer svar gällande brister.

Skrivet av Fnorken:

Utav ren snålhet hade jag försökt att använda fler diskar i varje pool. RaidZ2 använder ju som namnet antyder två diskar till paritet och då får du bara tre diskar till data i array med fem diskar.

Själv kör jag RaidZ2 på sex diskar men jag kommer inte göra om det i nästa version av mina hemmaserver, RaidZ2 på åtta diskar verkar mycket mer ekonomiskt och borde inte utgöra någon prestanda nackdel för mig.

Helt klart något att fundera på då det inte finns stöd i ZFS för att utöka antalet diskar i en raidz2. Det blir en lite högre initialkostnad för mig dock att öka antalet diskar och det utrymmet behöver jag inte än. 9TB räcker gott och väl och det känns onödigt att köpa mindre diskar än 3TB om det är billigast per TB. Kan tänka mig att överväga 6st men då vill jag ha plats för 12 + OS. Jag skulle vilja ha expansionsmöjligheter motsvarande en hel array till i framtiden.

Permalänk
Skrivet av Fastidious:

Först, tack alla för svar och engagemang!

Välkommen, tackar!

Det är ju ett alternativ att överväga om det krävs. Har testat det mesta virutellt och det fungerar fint på ubuntu server, även hört att det ska fungera bra med zfs under linux. Jag har då kört det dom kallar för "Native ZFS for Ubuntu PPA" Det jag personligen saknar är möjlighet att utöka antalet enheter i raidz-arrayen, men det går väl inte på ZFS överhuvudtaget?

ECC blir det då, troligen 16GB. Gäller att annan hårdvara också stödjer detta? Tips om saker man ska tänka på?

Jag testade LUKS (cryptsetup) virtuellt under ubuntu server. Det verkade fungera bra men jag fick en bättre känsla av truecrypt. Truecrypt kan dessutom köra flera algoritmer samtidigt, det verkar inte LUKS kunna. Detta verkar dock rätt onödigt då säkerheten snarare kommer ligga i vad man väljer för passphrase. Om fler har insikter i för- och nackdelar gällande TrueCrypt vs LUKS så är det jättebra information. En nackdel med TrueCrypt jag sett är:
http://fedoraproject.org/wiki/ForbiddenItems#TrueCrypt

Har redan en gammal disk som jag tänkt använda som OS-disk, men jag blev intresserad av din idé. Jag hänger inte riktigt med dock. Fungerar detta för ubuntu server? Det känns lite skumt för mig att man kan få till att köra en zmirror med hjälp av mjukvara under ett OS som ligger på denna zmirror? Utveckla gärna!

Jag har också haft den känslan, söker också mer svar gällande brister.

Helt klart något att fundera på då det inte finns stöd i ZFS för att utöka antalet diskar i en raidz2. Det blir en lite högre initialkostnad för mig dock att öka antalet diskar och det utrymmet behöver jag inte än. 9TB räcker gott och väl och det känns onödigt att köpa mindre diskar än 3TB om det är billigast per TB. Kan tänka mig att överväga 6st men då vill jag ha plats för 12 + OS. Jag skulle vilja ha expansionsmöjligheter motsvarande en hel array till i framtiden.

jag skulle också rekommendera FreeBSD eller möjligen OpenIndiana som grund-OS.

när det gäller ECC så är det bara Xeon som har stöd på Intel-sidan, kör du AMD har du betydligt större valmöjligheter att köra en billigare CPU ändå ändå få ECC-stöd.

tyvärr har jag ingen erfarenhet av krypteringssidan, så där kan jag inte säga något om vad du ska eller inte ska köra.

att boota linux från en zpool-mirror är nog inte att tänka på, fungerar dock utmärkt i både freebsd och openindiana (eller någon annan solaris-variant).

du kan inte utöka antalet diskar i en raidz, du kan dock utöka antalet vdevs i poolen. dvs kör du 8 diskar i raidz2 kan du vid ett senare tillfälle lägga till 8 diskar till, detta innebär förstås att utrymme motsvarande 2+2 diskar kommer att gå åt till paritetinformationen.

Visa signatur

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Permalänk

Mina tankar:
Varför inte köra Solaris om du nu ska använda zfs? För linux kommer "snart" brtfs, som typ är zfs motsvarighet.

Använder du solaris ZFS har du inbyggt stöd för kryptering(zfs_crypto), inget mecknade med andra mjukvaror eller strul samt 100% kompatibilitet. Använder det själv.

Angående chassi är Norco relativt billiga och trevliga, se http://www.norcotek.com/item_detail.php?categoryid=1&modelno=... (hittas lätt på ebay)

ECC behöver inte vara mycket dyrare. AMD stödjer unbuffered ECC i alla konsument cpus (sist jag kollade ämnet) och de har ungefär samma pris som vanliga minnen.

Sorry om det vart konstigt skrivet men har haft en lååång dag

Visa signatur

sysl....
Bygg din egen router med pfSense
Citera för svar!

Permalänk
Medlem

Har du tänkt dig mer än 24 GB i ram ska du ha buffered/registered minnen. De har stabilare signal som behövs för att köra +24 GB ram. Men de kostar en slant mer. I ditt läge lär det räcka gott med unbuffered.

Blev faktiskst lite nyfiken på ZFS själv, ska följa denna tråd å testa lite själv.

lycka till med bygget.

Edit: Jag skulle rekommendera ECC-minnen. Eftersom du satsar så mycket på att få säkerdata så känns det lite dumt att inte köra ECC. Sen kan man ju fråga sig om det verkligen Märks eller inte

Visa signatur

.

Permalänk

Linux vs FreeBSD
Det verkar som att många föredrar FreeBSD för ändamålet. Anledningen till att jag vill köra linux är helt enkelt att jag vill lära mig mer om det för att jag kommer ha nytta av det på olika andra håll. Det är inte omöjligt att köra FreeBSD istället. Det vore intressant dock med lite mer konkreta anledningar och jämförelser mellan att köra ZFS under FreeBSD och linux. Som det är nu har jag mest hört lösa kommentarer om det här och var, de flesta inte särskilt nya. En sak har vi rett ut här: Om man vill ha OS på ett ZFS filsystem så funkar det nog inte under linux.

ECC Hårdvara
Gällande ECC så håller jag med om att det känns vettigt att köra med det när man fokuserar på ett system som ska vara säkert och stabilt. Jag föredrar intel och funderar på en Xeon E3-1235 som inte är så rysligt dyr ändå. Fyra kärnor, AES-NI, ECC, inbyggd GPU, hyperthreading. Verkar vara en prisvärd CPU. Ska bara hitta nått vettigt moderkort. Gällande minnen så funderar jag på: 2x8GB Kingston 1066Mhz DDR3 ECC Reg.

BTRFS
Har tidigare kollat på btrfs också eftersom jag tyckte det verkade intressant. Intresset att använda det för det här projektet svalnade tidigt eftersom jag såg att det inte har stöd för paritetsbaserad raid än. Därför är det fortfarande ZFS som är mest intressant.

OS-disk
Tycker fortfarande om idén om att ha OSet på USB-sticka, inte minst för att slippa en stor klumpig hårddisk för något som inte behöver särskilt mycket utrymme. Kan man kanske köra på nån smidig lösning för att backa up systemet (OS) på en sekundär sticka?

Backup
Något som jag inte ens pratat om än är backup. Min plan för backup för de filer jag är extra rädd om (foton och dokument) är att köra subversion repositories för dom. Jag har ändå tänkt att ha en SVN-server igång på server-burken och då kör jag helt enkelt ett repo för varje grupp jag känner att jag vill ta backup på. Exempelvis foton. Då kan jag tex ha en extern hårddisk hos mina föräldrar och när jag nån gång i kvartalet besöker dom så bara kör jag en update som tar ner alla foton som inte fanns innan till disken och förvarar hemma hos dom. Bonus är ju att man även kan ladda upp foton till servern när man är ute och fotar på semestrar och sånt (förutsatt att man har bra lina för det).

Permalänk
Medlem

Kan inte FreeNAS vara ett smidigt alternativ?

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem

OT: Eftersom detta ser ut som ett projekt jag tänkte ha i framtiden så tänkte jag bara skriva en notis så jag hittar tillbaka.

Tills TS: Mycket bra skrivet och professionellt. Helt awsome tråd:)

Visa signatur

Intel i9-12900KS | Powercolor 6900XT Red Devil Ultimate | Corsair 32GB | Asus Strix Z790-F | ASUS ROG THOR 1200w | FD Meshify 2 |

Permalänk
Skrivet av Fastidious:

Linux vs FreeBSD
Det verkar som att många föredrar FreeBSD för ändamålet. Anledningen till att jag vill köra linux är helt enkelt att jag vill lära mig mer om det för att jag kommer ha nytta av det på olika andra håll. Det är inte omöjligt att köra FreeBSD istället. Det vore intressant dock med lite mer konkreta anledningar och jämförelser mellan att köra ZFS under FreeBSD och linux. Som det är nu har jag mest hört lösa kommentarer om det här och var, de flesta inte särskilt nya. En sak har vi rett ut här: Om man vill ha OS på ett ZFS filsystem så funkar det nog inte under linux.

ECC Hårdvara
Gällande ECC så håller jag med om att det känns vettigt att köra med det när man fokuserar på ett system som ska vara säkert och stabilt. Jag föredrar intel och funderar på en Xeon E3-1235 som inte är så rysligt dyr ändå. Fyra kärnor, AES-NI, ECC, inbyggd GPU, hyperthreading. Verkar vara en prisvärd CPU. Ska bara hitta nått vettigt moderkort. Gällande minnen så funderar jag på: 2x8GB Kingston 1066Mhz DDR3 ECC Reg.

BTRFS
Har tidigare kollat på btrfs också eftersom jag tyckte det verkade intressant. Intresset att använda det för det här projektet svalnade tidigt eftersom jag såg att det inte har stöd för paritetsbaserad raid än. Därför är det fortfarande ZFS som är mest intressant.

OS-disk
Tycker fortfarande om idén om att ha OSet på USB-sticka, inte minst för att slippa en stor klumpig hårddisk för något som inte behöver särskilt mycket utrymme. Kan man kanske köra på nån smidig lösning för att backa up systemet (OS) på en sekundär sticka?

Backup
Något som jag inte ens pratat om än är backup. Min plan för backup för de filer jag är extra rädd om (foton och dokument) är att köra subversion repositories för dom. Jag har ändå tänkt att ha en SVN-server igång på server-burken och då kör jag helt enkelt ett repo för varje grupp jag känner att jag vill ta backup på. Exempelvis foton. Då kan jag tex ha en extern hårddisk hos mina föräldrar och när jag nån gång i kvartalet besöker dom så bara kör jag en update som tar ner alla foton som inte fanns innan till disken och förvarar hemma hos dom. Bonus är ju att man även kan ladda upp foton till servern när man är ute och fotar på semestrar och sånt (förutsatt att man har bra lina för det).

Den största anledningen för mig är att det är betydligt mer beprövat under FreeBSD. Linux-stödet är väldigt färskt och inte en del av Linux-kärnan utan måste laddas som en separat modul (pga. licenser som inte är kompatibla).

Känns som en vettig CPU. Kolla moderkort från Supermicro, de brukar vara populära. Finns på t.ex. www.mullet.se

Håller med dig fullt ut ang. BTRFS, ligger fortfarande ljusår efter ZFS.

Du kan ju alltid köra mjukvaru-RAID1 med två USB-stickor. Jag varnar dig dock, det lär inte gå undan. Avsaknaden av bl.a. cache som finns i vanliga hårddiskar gör det till en smärtsamt långsam upplevelse så fort man ska göra något som är lite diskintensivt.

Visa signatur

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Permalänk
Medlem
Skrivet av Fastidious:

ECC Hårdvara
Gällande ECC så håller jag med om att det känns vettigt att köra med det när man fokuserar på ett system som ska vara säkert och stabilt. Jag föredrar intel och funderar på en Xeon E3-1235 som inte är så rysligt dyr ändå. Fyra kärnor, AES-NI, ECC, inbyggd GPU, hyperthreading. Verkar vara en prisvärd CPU. Ska bara hitta nått vettigt moderkort. Gällande minnen så funderar jag på: 2x8GB Kingston 1066Mhz DDR3 ECC Reg.

Finns det moderkort till LGA1155 som stödjer RDIMM? Jag har inte sett några. Och även om det finns så kommer du nog billigare undan på att köpa UDIMM, så länge du inte behöver mer än 32 GB ram.

Permalänk
Medlem

Jag har själv E3-1240 i min server (1230an fanns inte i lager, och det var inte så stor prisskillnad).
Jag kör dock ESXi i botten, och har FreeNAS som en egen virtuell maskin med passthrough till mitt kontrollerkort. Sen har jag ett antal virtuella maskiner utöver, bland annat ubuntu för webserver och mysql-server (till websidor och XBMC). Jag har också en tellstick och en 1-wire-buss i lägenheten som styrs från en av de virtuella maskinerna.

Jag har själv ett Supermicro X9-SCA-F med 16 GB RAM, varav FreeNAS får 5GB. Jag rekommenderar kortet varmt, har IPMI så jag kan fjärrstyra datorn helt och hållet. Har ALDRIG haft en CD-skiva eller skärm ansluten till maskinen. Fick ha en USB-pinne en gång för att kunna flasha kontrollerkortet dock...

Jag har ett Norco RPC-4224, är också bra, men byt fläktar till några tysta.
Jag har inte märkt av några prestandaförsämringar för att jag kör virtualiserat. Jag kommer eventuellt att köra routing i den också, då servern knappt svettas med nuvarande användning. Jag kör dock inte med någon kryptering (ännu).

/Zyber

Visa signatur

Jag är en optimist; det är aldrig så dåligt så att det inte kan bli sämre.

Permalänk

Tack för alla positiva kommentarer och tack till alla som deltar i tråden!

Skrivet av Endosavian:

Mina tankar:
Angående chassi är Norco relativt billiga och trevliga, se http://www.norcotek.com/item_detail.php?categoryid=1&modelno=... (hittas lätt på ebay)

Nån som vet var man köper dessa? Räcker med en mindre variant också. Tycker mullet verkar dyra men det kanske är för att supermicro är dyra och dom bara säljer deras produkter i pricip. Har heller inte hittat många återförsäljare att jämföra med. Tycker det borde finnas fler som säljer server-prylar i vårt långa land? Var köper folk sina grejor utan att bli ruinerade? Om det inte finns får jag väl motvilligt gå tillbaka till nån tower-lösning, kanske med hotswap-burar i 3x5.25".

Skrivet av backspace:

Kan inte FreeNAS vara ett smidigt alternativ?

FreeNAS är som jag förstått det baserat på FreeBSD, så jag hade nog isåfall kört FreeBSD.

Skrivet av linuxprofessor:

Du kan ju alltid köra mjukvaru-RAID1 med två USB-stickor. Jag varnar dig dock, det lär inte gå undan. Avsaknaden av bl.a. cache som finns i vanliga hårddiskar gör det till en smärtsamt långsam upplevelse så fort man ska göra något som är lite diskintensivt.

Ok, så du rekommenderar egentligen att köra OS på en riktig disk då om jag förstått det rätt? Jag har ju en disk så det är mest plats, men om det inte är så bra att köra via USB så är det som det är.

Skrivet av Genesis:

Finns det moderkort till LGA1155 som stödjer RDIMM? Jag har inte sett några. Och även om det finns så kommer du nog billigare undan på att köpa UDIMM, så länge du inte behöver mer än 32 GB ram.

Nej, det verkar dåligt med det. Har kollat som bara den jag också och inte hittat nått med stöd för det. Jag tänker nog inte köra med buffrade (registred) minnen, jag tror inte jag behöver det för det här. Då är frågan om det går att hitta 2x8GB ECC som är obuffrade. Hittade EN variant för rimlig peng. 690kr för 8GB på dustin, två sådana då.

Skrivet av zyberzero:

Jag har själv ett Supermicro X9-SCA-F med 16 GB RAM, varav FreeNAS får 5GB. Jag rekommenderar kortet varmt, har IPMI så jag kan fjärrstyra datorn helt och hållet. Har ALDRIG haft en CD-skiva eller skärm ansluten till maskinen. Fick ha en USB-pinne en gång för att kunna flasha kontrollerkortet dock...

Får man fråga var du köpte moderkortet och vilka minnen du kör? Tack för att du delade med dig, intressant.

Permalänk
Skrivet av Fastidious:

Ok, så du rekommenderar egentligen att köra OS på en riktig disk då om jag förstått det rätt? Jag har ju en disk så det är mest plats, men om det inte är så bra att köra via USB så är det som det är.

bra och bra, det kan bli lite segt vid vissa typer av belastning som är I/O-intensivt mot systemdisken. det bästa är ju såklart att köra med speglade systemdiskar för att minimera nertiden på systemet.

Visa signatur

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Permalänk
Medlem
Skrivet av Fastidious:

Får man fråga var du köpte moderkortet och vilka minnen du kör? Tack för att du delade med dig, intressant.

Moderkortet (och även kontrollerkortet) köptes på Mullet. Minnena köptes på Dustin, har 4 * http://www.dustinhome.se/product/5010374913

/Zyber

Visa signatur

Jag är en optimist; det är aldrig så dåligt så att det inte kan bli sämre.

Permalänk
Medlem

Gällande chassi så finns det xcase som säljer Norcos chassin under deras egna märke och dessa är baserade i Storbritannien och ett http://www.xcase.co.uk/2u-12-bay-hotswap-chassis-p/case-x-cas... skulle kanske passa för dina ändamål?

Permalänk
Medlem
Skrivet av Fastidious:

Tack för alla positiva kommentarer och tack till alla som deltar i tråden!

Nån som vet var man köper dessa? Räcker med en mindre variant också. Tycker mullet verkar dyra men det kanske är för att supermicro är dyra och dom bara säljer deras produkter i pricip. Har heller inte hittat många återförsäljare att jämföra med. Tycker det borde finnas fler som säljer server-prylar i vårt långa land? Var köper folk sina grejor utan att bli ruinerade? Om det inte finns får jag väl motvilligt gå tillbaka till nån tower-lösning, kanske med hotswap-burar i 3x5.25".

Du kan köpa norco chassin här http://cybershop.ri-vier.nl/19-inch-rack-mount-4u-rack-mount-...

anledningen till att dem på mullet är så dyra är för att de är supermicro chassin avsedda för företags världen och dem har massa funktioner man som vanlig hemanvändare inte behöver typ rendundanta nättagg, fläktar som går o hotswapa utan att öppna lådan, inbyggd sas expander mm inget av detta är något en normal hemanvändare behöver noterbart är även att dessa chassin låter som jetplan

Visa signatur

Valkommitens ordförande går till dikatorn och säger vi har en bra och en dålig nyhet vilken vill du höra först?
-Den Bra -Du är president igen
-Så vad är den dåliga nyheten? -Ingen röstade på dig!
Om du vill veta hur det är att leva i en diktatur läs här https://charter97.org/en/news/

Permalänk
Medlem

inte läst tråden så det kan vara sagt men du kan ej expandera truecrypt partitioner. så om du ska lägga till fler, måste du köpa många diskar och skapa en ny raid, brevid den andra

Permalänk
Medlem
Skrivet av solger:

inte läst tråden så det kan vara sagt men du kan ej expandera truecrypt partitioner. så om du ska lägga till fler, måste du köpa många diskar och skapa en ny raid, brevid den andra

Hm.. Kan man inte bara kryptera diskarna, var för sig då givetvis? Krypterar en hel disk, mountar den i TC och använder den mountade enheten som disk i ZFS-poolen? Upprepa för varje disk. Då krypterar man ju själva disken, som är statisk vad gäller det maximala utrymmet. Är en disk på 2 TB så är den på 2 TB, punkt. Den kommer inte växa. Må så vara att ZFS-poolen växer senare då man tillför fler diskar, men då krypteringen sköts på lagret under, mot disken så att säga, så är det inget ZFS vet om.

Vidare får jag fortfarande intrycket att ZFS under Linux inte rekommenderas på grund utav att folk just av den anledningen för att det inte har fungerat tillfredsställande tidigare. Nu kan man ju köra det i kerneln, jag vet inte om det är just anledningen dock. Men jag får intrycket, inte bara här på SweC utan även på andra forum, att man inte rekommenderar det just för att det "inte är säkert", men när man ber om en utförlig förklaring så kommer inget. Många säger emot utan att ha konkreta anledningar till att stödja sitt argument. Jag var inne på det lite tidigare i tråden också. Ja, det var säkert jättedåligt tidigare. De flesta saker brukar vara det i början xD

Men då många personer som sagt inte kan försvara sina påståenden med argument så får jag intrycket utav att det mer stämpeln som ligger kvar och gror än att det just är jättedåligt att använda. Vad säger folket, har jag fel i mina argument? Kom gärna med kritik i sådana fall, det är trots allt därför vi frågar andra. Man vill höra deras åsikter.

Permalänk
Medlem
Permalänk
Skrivet av mix_room:

håller med om att detta måste vara den bästa lösningen. kan ju även tillägga att man kan köra VirtualBox i Solaris om man vill virtualisera eller köra Solaris Containers/Zones för att skapa flera virtuella instanser av OSet.

Visa signatur

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Permalänk

Tack för alla tips!

Har kollat en hel massa på olika sätt att köpa Norcos chassin. Har inte bestämt mig helt än, men det lutar åt RPC-3216. Någon som vet skillnaden på RPC-3116 och RPC-3216? Finns dessutom med ett A på slutet och jag har inte lyckats klura ut vad som skiljer dessa olika åt. För att sammanfatta för andra intresserade finns Norcos chassin i europa (som folk redan skrivit i tråden) hos tex:
http://cybershop.ri-vier.nl/ (NL)
http://www.xcase.co.uk/ (UK)
För europa betalar man moms enligt det som står i butiken, frakt går att räkna ut om man lagt saker i kundvagnen på sidorna.
Det går också att köpa från USA via ebay, bara att söka på ebay efter norco rpc (eller specifikt den modell man söker). Tänk då på att det tillkommer svensk moms (25%) på både frakt och pris. Frakten ökar ju rejält givetvis.

Notera dock att Xcase inte verkar sälja några Norco 3U chassin, vilket ju var det jag mest var ute efter. Alternativet är RPC-4220 (4U 20x3.5 SATA/SAS), som givetvis blir upp en klass i prisnivå också.

Lite ytterligare frågor:

  • Passar vanliga nätagg också i ett sånt chassi (rack dvs) eller måste man köpa de "speciella" som finns på sidorna som säljer såna chassin?

  • Är det något annat man bör tänka på att beställa till ett rack chassi? Rails finns som tillval tex, är det om man sen skulle vilja montera i skåp, eller är det för att kunna dra ut den eller vad?

  • Vad tjänar man på att köpa ett "server"-moderkort från supermicro jämfört med ett vanligt tex ASUS-kort? Dvs vad ger jag ca 500kr extra för? ECC på båda.

Permalänk
Medlem
Skrivet av Fastidious:

[---]
För europa betalar man moms enligt det som står i butiken, frakt går att räkna ut om man lagt saker i kundvagnen på sidorna.
Det går också att köpa från USA via ebay, bara att söka på ebay efter norco rpc (eller specifikt den modell man söker). Tänk då på att det tillkommer svensk moms (25%) på både frakt och pris. Frakten ökar ju rejält givetvis.
[---]
Lite ytterligare frågor:

  • Passar vanliga nätagg också i ett sånt chassi (rack dvs) eller måste man köpa de "speciella" som finns på sidorna som säljer såna chassin?

  • Är det något annat man bör tänka på att beställa till ett rack chassi? Rails finns som tillval tex, är det om man sen skulle vilja montera i skåp, eller är det för att kunna dra ut den eller vad?

  • Vad tjänar man på att köpa ett "server"-moderkort från supermicro jämfört med ett vanligt tex ASUS-kort? Dvs vad ger jag ca 500kr extra för? ECC på båda.

Beställer du inom EU tillkommer som sagt ingen extra kostnad. Jag beställde från Holland, tog ganska precist en vecka för att få grejjerna.
Fråga 1: Ja. Det gör det. Skillnaden mellan 3116 och 3216 är att i 3216 kan man montera dubbla, redundanta, nätaggregat(som är mindre än ett vanligt ATX-agg).
Fråga 2: Jag köpte rails, till den dagen jag skaffar ett skåp. Det är för att lättare kunna dra ut servern ur skåpet.
Fråga 3: Jag vet inte vilket Asus-kort du har kollat på, men fördelar som jag såg mot att köpa ett vanligt konsumentkort:
* dubbla (bra) Intel-NICar, perfekt för routing
* IPMI, så man kan fjärrstyra datorn helt, mounta ISO-filer över nätverket som datorn kan boota(!) ifrån.

Visa signatur

Jag är en optimist; det är aldrig så dåligt så att det inte kan bli sämre.

Permalänk
Medlem
Skrivet av Fastidious:

[*]Är det något annat man bör tänka på att beställa till ett rack chassi? Rails finns som tillval tex, är det om man sen skulle vilja montera i skåp, eller är det för att kunna dra ut den eller vad?

Om du köper rails kan du först montera dessa i racket, och sedan fästa servern i railsen. Det är betydligt lättare ett skruva fast ett 1kg rails par i racket än att försöka bulta fast din 30kg serverburk, särskilt om du inte har en lyft. Om du sedan behöver ändra något i servern kan du enkelt dra ut den i railsen, öppna locket och mecka när den sitter kvar. Definitivt värt den extra utgiften.

Permalänk
Medlem
Skrivet av Samsite:

Hm.. Kan man inte bara kryptera diskarna, var för sig då givetvis? Krypterar en hel disk, mountar den i TC och använder den mountade enheten som disk i ZFS-poolen? Upprepa för varje disk. Då krypterar man ju själva disken, som är statisk vad gäller det maximala utrymmet. Är en disk på 2 TB så är den på 2 TB, punkt. Den kommer inte växa. Må så vara att ZFS-poolen växer senare då man tillför fler diskar, men då krypteringen sköts på lagret under, mot disken så att säga, så är det inget ZFS vet om.

nu vet jag inte hur det fungerar just i ZFS, men när man normalt skapar en raidX så formateras väl diskarna, dvs man kan inte lägga raid på truecrypt, bara lägga truecrypt på en raid?

Permalänk

Har funderat ett tag nu på hårdvaran, speciellt chassi, och det lutar starkt åt ett Norco. Kan inte riktigt bestämma mig mellan RPC-4220 och RPC-3216. Det skiljer ju bara 300kr på de båda. 4 extra diskslots men större. Storleken spelar iofs ingen större roll så det kanske är smartare med 4220 för den lilla extrapengen. På moderkorts-sidan lutar det åt ett från Supermicro med IPMI (samma som zyberzero nämnde), har kollat lite IPMI på det och det verkar ju praktiskt helt klart. Nackdelen med det kortet är att det bara finns 6st SATA-platser (hade velat ha 8st) och med min setup åker jag på att köpa ett controller-kort då vilket ju blir en extra kostnad. Tankar om detta?

Totalt sett:
Chassi: Norco RPC-4220 (eller RPC-3216A)
PSU: Seasonic OEM 500W ATX SS-500ET 80 Plus Bronze
MB: Supermicro X9SCA-F-O
CPU: Intel Xeon E3-1235
CPU-kylare: Inte bestämt, förslag?
RAM: 2x8GB Kingston DIMM DDR3 1333MHz CL9 ECC DR X4
HDD: 6x3TB Seagate Barracuda (64MB / 7200rpm)
HDD-controller: Inte bestämt, förslag?

Kritik, idéer, förslag välkomnas.

Skrivet av solger:

nu vet jag inte hur det fungerar just i ZFS, men när man normalt skapar en raidX så formateras väl diskarna, dvs man kan inte lägga raid på truecrypt, bara lägga truecrypt på en raid?

Jag har testat på en virtuell burk iaf. Truecrypt direkt på diskarna och sen skapa en raidz2 med de krypterade diskarna fungerar fint. Om en disk togs bort så fungerade det bra att köra truecrypt på en ny och sen byta ut. Gissar att då krypteringen körs i ett undre lager utan att ZFS bryr sig om det. Ni som är mer detaljkunniga får gärna fylla i.

Permalänk
Medlem

Jag sitter själv och migrerar min Ubuntu server till BSD, eftersom ZFS är så förb***at buggigt i Linux. Hela datorn totalkraschar efter att jag fört över ett par gig data bara, och det är verkligen inget skoj när man har en 3TB-disk med filer som ska dit. Och BSD tokvägrar såklart läsa disken av nån outgrundlig anledning.. Så det blir att springa fram och tillbaka till servern och trycka resetknappen, logga in igen och fortsätta kopieringen...

Ang. raid (eller zpool) på krypterade diskar så gillar inte ZFS det nåt vidare, det vill gärna ha direktaccess till disken utan nåt mellanliggande lager.