Ny i server världen. vart ska jag börja?

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003

Ny i server världen. vart ska jag börja?

Hej!

Jag gillar att labba med olika OS och köra mycket "learn by doing", började med rpi för några år sedan och sedan tagit gamla laptops mm och provat filserver-program, linux-distar, dockers mm. Dock börjar jag växa ur detta och det är ju inte heller särskilt redundant vid datalagring.

Så jag tänker att det kanske är ide att skaffa en riktig server-dator begagnat.

men vart ska jag börja? vad är bra och vad är för gammalt och dåligt idag? vill också försöka att hålla kostnaden i budget nivå.

men har några grund frågor.

grund hårdvara? CPU, Ram, moderkort? vad bör man minimum ha?
några bra instegsmodeller?

prisvärda diskar?

tänker att jag ska köra främst lagring för familjens bilder, filmer, viktiga dokument.
köra docker kontainers, ex pihole, home assistant, Unifi controller, plex
ev någon VM.
Kunna orka med att vara VPN servrer för iaf 3 klienter samtidigt.
minst 1x1gb nic

Raid, är det något som OS styr eller är det HW styrt?

är det Raid 1 som är vettigast i hemmiljö?

tänker att det jag söker är något som liknar vad en synology kan ge funktionsmässigt fast med bättre prestanda.

är det FreeNas som är bästa instegs OS för detta ändamål med och deras ZFS-filsystem?

finns det andra saker som är värt att tänka på?

hur är det med UPS, är det mer eller mindre ett måste för en server? eller tål de ex ett strömavbrott(tänker mest på nas-lagringen)?

Trädvy Permalänk
Medlem
Registrerad
Aug 2016
Skrivet av DoDaN:

hur är det med UPS, är det mer eller mindre ett måste för en server? eller tål de ex ett strömavbrott(tänker mest på nas-lagringen)?

Ingen RAID-design kan lova till 100% att de klarar en strömavbrott.

HW-RAID-strukturer som klarar strömavbrott bättre har antingen batteri/konding/flashbackuppad RAM på sina diskkontroller så att integriteten mellan diskarna bibehålls - men inte ens det är 100% då det inte skyddar det som finns i RAM-minnet på servern och filerna pajar ändå - men syfte är att filsystemet inte skall gå trasig...

ZFS använder journaler som skrivs till separata enheter om det är uppsatt på det sättet för att tåla plötslig avbrott bättre

BTRFS förlita sig mycket på transaktionshantering, dvs. förmågan att upptäcka fel om en transaktion bara genomförs halvägs och rullar tillbaka till den föregående kompletta transaktionen.

mdadm-RAID har hack för journalföring men kosta så mycket prestanda att ingen har den påslagen eller ens vet att den finns - men vad som är värre är att folk tror att den är krasch-säker fast den inte är det.

alla dom olika strategierna har corner-cases där det inte fungerar som tänkt, ofta långsökta händelsekedjor som bara verkligheten kan hitta på och inte kan tänkas ut innan...

Med andra ord du måste fortfarande göra regelbunden backupp av din NAS/Server...

---

Vill man smaka på serverjärn så kanske man skall spana efter servrar som utfasas från företag som man kanske kan få gratis[1], finns också firmor som handlar med begagnade servrar där servar förr låg långt norr om 40000:- säljs för 5000:-

men serverjärn är varken tysta, små eller strömsnåla - så det skall man ha i bakhuvudet - det är mycket fläktar i dem och svårt att placera dem så att de inte hörs i ett hem. Det kan också vara ganska grinigt med vilka diskar som fungerar med vilka servrar och fel kombination gör att fläktarna går på max hela tiden - och fläktar på full fart är modell försöka lätta från marken ala jetmotorer även i antal dB i ljud räknat...

På ebay kan du köpa kassar med 300 GB SAS-diskar för småpengar och man kanske får slänga var 5' disk, men problemet är snarare att ha tillräckligt många diskslots så att totala kapaciteten blir anständig - många av de äldre servrarna har också HW-RAID/HBA som heller inte hanterar diskar över 2TB - och dessa har nästan alltid slutkörda batterier till sina hårddisk-kort (och kan vara primära orsaken till varför servern fasas ut då den blivit långsam i diskhanteringen) , och utan sådan fungerande så att write-cachen inte kan slås på HBA:n så blir det hela frusen siraps-segt. Write-cache är jätteviktig för diskprestanda... I sådan arrangemang så har man inte write-chace på själva fysiska diskarna påslagen utan det är disk-kontrollerkortet som tar den rollen - det finns inget sätt att rädda eller batteribackupa lagrad data i RAM-minne på själva diskdrivern om det blir strömavbrott - därav så hålls skriv-cachen avstängda på diskar i servrar.

---

Om man titta på köpeNAS från synology mfl. så är att slå på diskarnas write-cache ingen bra ide om man skall ha bra överlevnad vid strömavbrott - de skall vara avstängda om man inte har UPS, och när man har avstängda så, tja, det kommer att märkas på skrivprestandan till diskarna - mycket!

[1] se till att skaffa kunskap så att du på platsen och inför vittnen raderar all gammal data på diskarna - annars är kytymen ofta att själva serverjärnen kan lämnas ut men diskarna behålls för destruktion av just anledningen att det kan vara känslig innehåll i diskarna.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2005
Skrivet av xxargs:

Ingen RAID-design kan lova till 100% att de klarar en strömavbrott.

ZFS använder journaler som skrivs till separata enheter om det är uppsatt på det sättet för att tåla plötslig avbrott bättre

BTRFS förlita sig mycket på transaktionshantering, dvs. förmågan att upptäcka fel om en transaktion bara genomförs halvägs och rullar tillbaka till den föregående kompletta transaktionen.

Både ZFS och BTRFS använder samma tänk för att uppnå garanterad datakonsistens, men med lite olika tekniker. ZFS har som du skriver sin intent log, eller ZIL, denna KAN ligga på en annan device för att t.ex snabba upp skrivningar, men den går också att slå av för data helt och bara låta meta-data gå till ZILen. Hur BTRFS gör internt har jag dålig koll på, men båda bygger på copy-on-write vilket innebär att om kerneln har fått en sync tillbaka från filsystemet så är datan garanterat skriven även om det kommer ett strömavbrott millisekunden efter.
Det vill säga att dom lovar att skrivningen gick igenom till 100% eller inte alls, och kan inte hamna i något läge där viss data är till hälften och inte går att läsa tillbaka sen.

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Nov 2015

Jag kan starkt rekommendera att köpa ett filserverchassi och bygga en egen server om du även är intresserad av hårdvara. Jag köpte ett 4U rackchassi med 24st 3,5" diskplatser för ungefär 2000kr vill jag minnas, sedan köpte jag begagnat, cpu, moderkort, ram osv samt 3st IBM M1015 (Googla på modellen så hittar du massor med bra info) som jag flashade till HBA-mode och därmed kunde använda perfekt till freenas (Varje M1015 kort klarar 8st diskar, 8 * 3 = 24). På det sättet kunde jag koppla in alla diskplatser via dess bakplan till servern. Jag använder "bara" 12 av diskplatserna just nu, men skulle jag vilja bygga en till array eller byta storlek på samtliga diskar så kan jag nu väldigt smidigt koppla in 12 nya diskar, kopiera över datan och sedan ta ut dem gamla.

Vill du slippa köpa flera servrar så kan jag även starkt rekommendera att köra någon form av hypervisor om du inte redan gjort det, t.ex. ESXi, Proxmox eller Unraid. På så sätt kan flera stycken servrar köras virtuellt inuti en server och det blir även mycket lättare att styra de olika virtuella servrarna då du kan starta om dem individuellt, "koppla in" ISOs virtuellt utan att behöva krångla med CD/DVD-skivor och USB-minnen när du vill installera något nytt.

Personligen kör jag freenas då jag tycker att deras filsystem med ZFS är sjukt stabilt, sedan så delar jag filerna därifrån och har andra servrar som använder dessa shares och lagrar data i freenas. Förut så var det väldigt många som var emot att köra freenas inuti en hypervisor, så jag har två servrar just nu (En med freenas och en med ESXi) men det verkar ha ändrats med nyare versioner av freenas, så jag kanske ominstallera freenas inuti ESXi någon gång i framtiden. Kan vara värt att läsa om detta med freenas och hypervisors, om du är intresserad av den kombon.

(!) Stanna hemma om ni bryr er om ert eget och andras liv (!) #flattenthecurve

Trädvy Permalänk
Medlem
Registrerad
Aug 2015
Skrivet av DoDaN:

Hej!

Jag gillar att labba med olika OS och köra mycket "learn by doing", började med rpi för några år sedan och sedan tagit gamla laptops mm och provat filserver-program, linux-distar, dockers mm. Dock börjar jag växa ur detta och det är ju inte heller särskilt redundant vid datalagring.

Så jag tänker att det kanske är ide att skaffa en riktig server-dator begagnat.

men vart ska jag börja? vad är bra och vad är för gammalt och dåligt idag? vill också försöka att hålla kostnaden i budget nivå.

men har några grund frågor.

grund hårdvara? CPU, Ram, moderkort? vad bör man minimum ha?
några bra instegsmodeller?

prisvärda diskar?

tänker att jag ska köra främst lagring för familjens bilder, filmer, viktiga dokument.
köra docker kontainers, ex pihole, home assistant, Unifi controller, plex
ev någon VM.
Kunna orka med att vara VPN servrer för iaf 3 klienter samtidigt.
minst 1x1gb nic

Raid, är det något som OS styr eller är det HW styrt?

är det Raid 1 som är vettigast i hemmiljö?

tänker att det jag söker är något som liknar vad en synology kan ge funktionsmässigt fast med bättre prestanda.

är det FreeNas som är bästa instegs OS för detta ändamål med och deras ZFS-filsystem?

finns det andra saker som är värt att tänka på?

hur är det med UPS, är det mer eller mindre ett måste för en server? eller tål de ex ett strömavbrott(tänker mest på nas-lagringen)?

Har en Dell Poweredge R320. Tar 4 st 3.5" sas eller sata diskar. Med 4x6 TB sata diskar, 24 GB minne och en Xeon(R) CPU E5-2420 så drar den runt 85W vid lätt last.

Tyst är den inte, men relativt tyst för att vara en server. Den har en megaraid_sas kontroller så man kan låta den köra tex raid5 alternativt sätter man den i "bryggat" läge så kan man köra som det var separata diskar. (dvs smartctl mm funkar rakt av o man kan köra mjukvaruraid om man så önskar).

Den kan ta två cpu:er men de är fastlödda på moderkortet så går inte uppgradera cpu, men annars är det en ganska trevlig liten server.

Nya 6TB SAS går att få från ebay för runt 110-120 euro, billigare än nya SATA.

https://www.ebay.de/itm/Seagate-ST6000NM0034-6TB-7-2K-3-5-12G...

Trädvy Permalänk
Medlem
Plats
gbg
Registrerad
Nov 2007
Skrivet av DoDaN:

Hej!

Jag gillar att labba med olika OS och köra mycket "learn by doing", började med rpi för några år sedan och sedan tagit gamla laptops mm och provat filserver-program, linux-distar, dockers mm. Dock börjar jag växa ur detta och det är ju inte heller särskilt redundant vid datalagring.

Så jag tänker att det kanske är ide att skaffa en riktig server-dator begagnat.

men vart ska jag börja? vad är bra och vad är för gammalt och dåligt idag? vill också försöka att hålla kostnaden i budget nivå.

men har några grund frågor.

grund hårdvara? CPU, Ram, moderkort? vad bör man minimum ha?
några bra instegsmodeller?

prisvärda diskar?

tänker att jag ska köra främst lagring för familjens bilder, filmer, viktiga dokument.
köra docker kontainers, ex pihole, home assistant, Unifi controller, plex
ev någon VM.
Kunna orka med att vara VPN servrer för iaf 3 klienter samtidigt.
minst 1x1gb nic

Raid, är det något som OS styr eller är det HW styrt?

är det Raid 1 som är vettigast i hemmiljö?

tänker att det jag söker är något som liknar vad en synology kan ge funktionsmässigt fast med bättre prestanda.

är det FreeNas som är bästa instegs OS för detta ändamål med och deras ZFS-filsystem?

finns det andra saker som är värt att tänka på?

hur är det med UPS, är det mer eller mindre ett måste för en server? eller tål de ex ett strömavbrott(tänker mest på nas-lagringen)?

Du kan komma väldigt långt på hårdvara som är ända upp till 8-9 år gammal d.v.s. hyffsat billig hårdvara i inköp (även äldre kan funka men det är snudd på onödigt, men det beror som allt annat på vad man ämnar ha dem till.)
Redan runt 2010-2011 stödde serverhårdvara 128GB-1TB RAM så det finns god mån att växa i, och en stor och billig marknad för ev. reservdelar.

Modern konsumenthårdvara må vara snabbare och mer energisnålt i längden men det saknar, såväl nu som då, många viktiga funktioner som varit standard i servermiljöer under decennier.
Ofta finns det low-power versioner av server-CPU:er för den socket du väljer att basera ditt system på, dessa brukar ligga någonstans runt 35-80W i per CPU, beroende på konfiguration, det gör att man kan motivera dual och quad-socket system om man behöver den extra kraften och utbyggnadsmöjligheterna.

Vill du t.ex. syssla med många virtuella maskiner och containers samtidigt tycker jag personligen att cpu:er med många kärnor/trådar och lägre klockhastighet är att föredra.
Annars, om du enbart skall ha några få virtuella men snabba maskiner, kan det vara trevligare med färre men snabba kärnor/trådar (högre klockhastighet).

RAM-minne är definitivt något du bör investera i, det är stommet som göra att en server fortfarande kan prestera om den belastas tungt, och på serverfronten är det ECC-minne som gäller, -även om det i vissa servrar går att köra med vanliga konsument-minnen också.
DDR3/DDR3L ECC-minne är snorbilligt då de flesta företag gör sig av med sådan hårdvara idag för att uppdatera sina maskinparker till DDR4. Så i nuläget hade jag satsat på något från den generationen (DDR3 alltså).

Lagring är även den något som är värt att ha i åtanke, om det t.ex. är många virtuella maskiner som skall köras på samma hårdvara är det inte fel med någon form av prestanda RAID för att storage skall hänga med.
SAS är standarden inom servrar, till skillnad från SATA, som konsumentstandarden heter.
En server med SAS-gränssnitt kan köra både SAS och SATA-diskar då SAS gränssnittet har stöd för båda standarderna och känner av vilken typ av disk det är.
-Omvänt går dock inte d.v.s. att använda SAS-diskar i ett SATA-gränssnitt, kontakterna passar inte och det är dessutom inte samma signaler som skickas.

Det finns många olika konstellationer men generellt handlar det om två varianter: Hårdvaru-RAID vs. Mjukvaru-RAID.
Många mindre men bra presterande diskar kan t.ex. raidas ihop till större volymer som ger bättre läs/skriv-petestanda än en enskild disk.
Även större och långsammare diskar kan få en rejäl prestanda-boost om man har en susning om vilken typ av belastning de kommer att få hantera.
En av fördelarna med just mjukvarubaserat filsystem/RAID är att det inte är låst till ett visst kort eller hårdvara som du annars är ifall du kör med hårdvaru-RAID. Du kan även rent generellt tillämpa många olika sorters RAID-nivåer som på ett hårdvaru-RAID kort kan vara nedlåsta (måste låsas upp med hjälp av koder eller ett chip) eller icke-befintliga.
Går ett hårdvaru-RAID kort sönder kan hela lagringen gå åt skogen om du inte får tag på ett likadant -fungerande- kort att koppla in dina diskar via, då det kan krävas proprietära kretsar och kanske t.o.m. korrekta firmware versioner för att kortet skall kunna återställa/läsa data från RAID:en.

Men, som alla gånger, värt att nämna: En RAID är inte Backup!
Därför bör man ha en kopia av alla viktiga filer och ha dem på minst två fysiskt skilda maskiner ifall någon "katastrof" inträffar. Helst två fysiskt skilda geografiska platser också om man vill skydda mot brand, översvämningar mm.
Farsans källare kanske inte är så kanon trots allt... -Inte morsans klädkammere heller för den delen.

Sedan är givetvis formfaktorn en fråga för sig, finns gott om välpresterande tornservrar som dessutom håller en lagom ljudnivå, men just för servrar är det lite si och så med ljudnivån.
De är oftast inte designade för att vara knäpptysta och det är sällan som ljud-nivån specas i manualer och liknande, då det helt enkelt inte anses som viktigt och målgruppen troligtvis kommer förvara maskinen i ett serverrum.
Har själv några gamla IBM-maskiner från 2009-2010 som har en setting i BIOS som kallas "Acoustic-mode" där de håller en så låg ljud-nivå som möjligt, de går att få riktigt tysta för att vara rack-servrar.

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 16.04 LTS

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003

Stort tack alla för mycket bra info! kommer säkert komma med mer frågor senare. Ska söka runt lite och se vad jag kan hitta för lämplig server. låter som att en beg är det bästa för mig.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003

En fråga till. tänker på backup då det som ni säger inte är säkert med bara raid utan att man behöver göra backup. vilket sätt är bäst? sett att det finns rsync, hyperbackup mfl. I vad jag tänker så kommer serverna stå på olika fysiska adresser. vad är bäst och vad är den största skillnaden? tänker att en backupfil som gärna är komprimerad och krypterad är bättre än en ren spegling. eller har jag fel?

(ps. hur blir det om man tex raderar lite bilder med flit, vad händer med backupen då?)

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Manuell backup gör jag genom SSH med rsync från en vanlig dator/laptop med en linux och på dessa inkopplad externa USB-diskar med BTRFS-filsystem (med komprimerande filsystem) ovanpå en lukscrypt-logisk volym. Jag gör alltid en snapshot av subvolymen med backuppen innan jag kör uppdatering med rsync igen.

Man kan göra liknande med zfs på sin lagringsdisk men har inte själv gjort det då jag anser BTRFS tillräckligt bra för jobbet och tål 'misstag' både med strömförsörjning och glappa USB-kablar mitt under full skrivande - det har aldrig hänt hittills för mig att en sådan volym inte skulle monteras igen efter en osnygg stopp, det kan ta lite tid efter en osnygg stopp men har alltid hittat ut med en fullt valid filsystem med minimala filförluster (ca 30 sekunders senaste skrivning kan förloras) och inte som det ibland händer med NTFS med fullständig havererad filsystem och kommersiella diskräddningsprogram lyckas bara får ut trasiga bitar ur disken med data-scrape när början av $MFT har skrivits sönder... (fråga inte mig hur jag vet...)

Man kan förstås köra mot en NAS och modern NAS av konsumentmodell har default en BTRFS-filsystem på sin lagring och man kan få den att göra automatiska snapshot och du kan sedan med rsync från servern köra mot samma filträd i NAS:en var gång och ändå ha generationsbackupper. Alla NAS:ar förstår rsync och ssh - även om det sistnämnda ibland måste aktiveras) och många av dem erbjuder också krypterad volym.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003
Skrivet av xxargs:

Manuell backup gör jag genom SSH med rsync från en vanlig dator/laptop med en linux och på dessa inkopplad externa USB-diskar med BTRFS-filsystem (med komprimerande filsystem) ovanpå en lukscrypt-logisk volym. Jag gör alltid en snapshot av subvolymen med backuppen innan jag kör uppdatering med rsync igen.

Man kan göra liknande med zfs på sin lagringsdisk men har inte själv gjort det då jag anser BTRFS tillräckligt bra för jobbet och tål 'misstag' både med strömförsörjning och glappa USB-kablar mitt under full skrivande - det har aldrig hänt hittills för mig att en sådan volym inte skulle monteras igen efter en osnygg stopp, det kan ta lite tid efter en osnygg stopp men har alltid hittat ut med en fullt valid filsystem med minimala filförluster (ca 30 sekunders senaste skrivning kan förloras) och inte som det ibland händer med NTFS med fullständig havererad filsystem och kommersiella diskräddningsprogram lyckas bara får ut trasiga bitar ur disken med data-scrape när början av $MFT har skrivits sönder... (fråga inte mig hur jag vet...)

Man kan förstås köra mot en NAS och modern NAS av konsumentmodell har default en BTRFS-filsystem på sin lagring och man kan få den att göra automatiska snapshot och du kan sedan med rsync från servern köra mot samma filträd i NAS:en var gång och ändå ha generationsbackupper. Alla NAS:ar förstår rsync och ssh - även om det sistnämnda ibland måste aktiveras) och många av dem erbjuder också krypterad volym.

Okej, jag googlar och youtube:ar för fullt för att få en bild av hur det fungerar och hur jag ska bygga upp det. Ser att freenas har någon snapshot funktion om man kör zfs på båda nasarna.

Har några frågor som kommer med det.

görs snapshoten direkt på backup nasen eller behövs utrymme först på den lokala för att sedan synka över? Jag tänker att jag hoastar en VPN på backupnasen för säker anslutning att synka med. Kan Freenas ansluta som klient och utan att routa all trafik via den?

Är det något att tänka på om man kör zfs filsystemet? Går det på alla diskar och i raid ?

Trädvy Permalänk
Medlem
Registrerad
Aug 2015
Skrivet av DoDaN:

En fråga till. tänker på backup då det som ni säger inte är säkert med bara raid utan att man behöver göra backup. vilket sätt är bäst? sett att det finns rsync, hyperbackup mfl. I vad jag tänker så kommer serverna stå på olika fysiska adresser. vad är bäst och vad är den största skillnaden? tänker att en backupfil som gärna är komprimerad och krypterad är bättre än en ren spegling. eller har jag fel?

(ps. hur blir det om man tex raderar lite bilder med flit, vad händer med backupen då?)

Står maskinerna på olika fysiska platser så är rsync ett bra val, då skickar man nämligen bara över skillnaderna från senaste backupen vilket sparar tid och bandbredd.

Rsync ger dig samma filträd som du har på originalet utan kompression eller kryptering. Vill man ha det får man se till att volymen man lägger backupen på är krypterad/komprimerad.

Använder man switchen --delete till rsync så kommer filer man tar bort på originalet även tas bort på backupen.

Vill man ha versionshanderade backuper (rekommenderas då man sparar flera versioner) kan man antingen använda btrfs och göra snapshots alternativt kan man använda switchen --link-dest=DIR till rsync.

Exempel för att backa min raspberry pi:
cd /backups/pi-1
rsync -avz --link-dest=../pi-2 \
--exclude=/dev \
--exclude=/proc \
--exclude="/*/.cache" \
--exclude="/home/*/.cache" \
--delete \
--exclude=/sys \
--exclude=/mnt \
root@pi:/ .

# när man sen vill göra en ny version av backupen så kör man ett skript som gör tex:
rm -r pi-4
mv pi-3 pi-4
mv pi-2 pi-3
mv pi-1 pi-2
mkdir pi-1
# om man vill ha typ 4 nivåer.

En fördel med rsync är också att den drar lite resurser så kan köras på nästan vilken burk som helst bara den kan köra nån unix-variant.

Vill man ha ett backupprogram som kan både versionshantering, kryptering, komprimering och deduplicering så finns tex borg-backup.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003
Skrivet av SAFA:

Står maskinerna på olika fysiska platser så är rsync ett bra val, då skickar man nämligen bara över skillnaderna från senaste backupen vilket sparar tid och bandbredd.

Rsync ger dig samma filträd som du har på originalet utan kompression eller kryptering. Vill man ha det får man se till att volymen man lägger backupen på är krypterad/komprimerad.

Använder man switchen --delete till rsync så kommer filer man tar bort på originalet även tas bort på backupen.

Vill man ha versionshanderade backuper (rekommenderas då man sparar flera versioner) kan man antingen använda btrfs och göra snapshots alternativt kan man använda switchen --link-dest=DIR till rsync.

Exempel för att backa min raspberry pi:
cd /backups/pi-1
rsync -avz --link-dest=../pi-2 \
--exclude=/dev \
--exclude=/proc \
--exclude="/*/.cache" \
--exclude="/home/*/.cache" \
--delete \
--exclude=/sys \
--exclude=/mnt \
root@pi:/ .

# när man sen vill göra en ny version av backupen så kör man ett skript som gör tex:
rm -r pi-4
mv pi-3 pi-4
mv pi-2 pi-3
mv pi-1 pi-2
mkdir pi-1
# om man vill ha typ 4 nivåer.

En fördel med rsync är också att den drar lite resurser så kan köras på nästan vilken burk som helst bara den kan köra nån unix-variant.

Vill man ha ett backupprogram som kan både versionshantering, kryptering, komprimering och deduplicering så finns tex borg-backup.

Okej, är det enda man behöver i ett sådant läge att öppna port portforwarda ssh från båda enheter till WAN utan VPN? Är de. Datan krypterad?

Tänker att man isf har en rsync per användare som har en egen mapp med bilder från bla telefon M.M. samt en för gemensamma filer. Användarna är ju låsta via sina mappar och bara en master på backup nas.

Är det rätt tänkt? Men om man kör versioner, bör man köra dubbelt med minne på backup nasen eller hur ska man tänka?

Trädvy Permalänk
Medlem
Registrerad
Aug 2015
Skrivet av DoDaN:

Okej, är det enda man behöver i ett sådant läge att öppna port portforwarda ssh från båda enheter till WAN utan VPN? Är de. Datan krypterad?

Port-forward behövs, VPN behövs inte men kanske gör det enklare att sätta upp allt.
Förbindelsen är krypterad, men datat som sparas är inte krypterat som standard. Vill man ha det krypterat på backupen behöver man skapa en krypterad volym med tex cryptsetup, veracrypt eller motsvarande som man lägger datat på.

Skrivet av DoDaN:

Tänker att man isf har en rsync per användare som har en egen mapp med bilder från bla telefon M.M. samt en för gemensamma filer. Användarna är ju låsta via sina mappar och bara en master på backup nas.

Är det rätt tänkt? Men om man kör versioner, bör man köra dubbelt med minne på backup nasen eller hur ska man tänka?

Nu tänker jag mig att man kör backup-skriptet/en från backupnasen:

Enklast är ju att spegla hela nasen mot backupnasen men det kräver att man från backupnasen kan logga in som root på nasen/maskinerna som ska backas upp vilket ju kan vara en säkerhetsrisk. Lämpligt i port-forwarden då är att bara godkänna backupnasens IP-adress.

Kör man utan versioner så är man dock känslig för om tex kryptovirus skrivit över filer på nasen, kör man då backup blir även backupnasens filer överskrivna så därför rekommenderas att man kör med versioner och då är dubbelt med disk på backupnasen jämfört med vad som ska backas upp en bra början.

Sen måste man fundera hur man hanterar lösenord för ev krypterad volym och inloggning till de maskiner+användare som ska backas upp.

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

På en modern NAS med som använder BTRFS som lagringsfilsystem så kan man i de flesta fallen ha en daglig snapshot rullande på den lagringen man lägger filerna på och den vägen få en versionerad backup utan att rsync mm. har någon kunskap om det - men är det NAS utan BTRFS (dvs ext4-baserad) och använda hårda länkar så är det som skrivs att det går åt dubbla lagringsutrymmet för processen (en uppsättning för lagringen utifrån, en annan uppsättning av samma filer separat som man kör rsync intern mellan och använder dig av kopiering med 'cp -la' för hårda länkar mellan versionerna då rsync bryter en länk om filen som kopieras över med samma namn skiljer sig gentemot filen som finns redan är där. med andra ord COW-filsystem som BTRFS arbetar med är rätt najs i sådana här sammanhang).

Trädvy Permalänk
Medlem
Registrerad
Aug 2016
Skrivet av DoDaN:

Okej, är det enda man behöver i ett sådant läge att öppna port portforwarda ssh från båda enheter till WAN utan VPN? Är de. Datan krypterad?

Om du kör via SSH så är både inloggning och datat krypterad i transporten mellan enheterna - det är liksom lite av vitsen med ssh...

normalt delar man certifikat mellan enheterna för att kunna köra passordslös överföring mellan enheterna.

en sak att tänka på att kryptering är resurshungrigt i tex. en NAS om den inte den inte har/använder HW-stöd för krypteringen - så räkna inte med att det går med samma fart som med vanlig rsync över ett LAN.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Nov 2008
Skrivet av DoDaN:

Hej!

Jag gillar att labba med olika OS och köra mycket "learn by doing", började med rpi för några år sedan och sedan tagit gamla laptops mm och provat filserver-program, linux-distar, dockers mm. Dock börjar jag växa ur detta och det är ju inte heller särskilt redundant vid datalagring.

Så jag tänker att det kanske är ide att skaffa en riktig server-dator begagnat.

men vart ska jag börja? vad är bra och vad är för gammalt och dåligt idag? vill också försöka att hålla kostnaden i budget nivå.

men har några grund frågor.

grund hårdvara? CPU, Ram, moderkort? vad bör man minimum ha?
några bra instegsmodeller?

prisvärda diskar?

tänker att jag ska köra främst lagring för familjens bilder, filmer, viktiga dokument.
köra docker kontainers, ex pihole, home assistant, Unifi controller, plex
ev någon VM.
Kunna orka med att vara VPN servrer för iaf 3 klienter samtidigt.
minst 1x1gb nic

Raid, är det något som OS styr eller är det HW styrt?

är det Raid 1 som är vettigast i hemmiljö?

tänker att det jag söker är något som liknar vad en synology kan ge funktionsmässigt fast med bättre prestanda.

är det FreeNas som är bästa instegs OS för detta ändamål med och deras ZFS-filsystem?

finns det andra saker som är värt att tänka på?

hur är det med UPS, är det mer eller mindre ett måste för en server? eller tål de ex ett strömavbrott(tänker mest på nas-lagringen)?

Uppfyller kanske inte riktigt alla krav så men något som kan vara värt att fundera på om du ska ha det som labb är intel NUC

Nya varianten har ju kommit nu

Men som sagt, ingen raid eller ecc minnen men duger gott och väl för labb. Om du dessutom har backuper och du kan leva med lite downtime så kan det ju kvitta om disken kraschar...

Gick från ett par HPDL380 G7 (12C/24T och 300GB ram) till föregående modellen av ovan med 4C/8T och den tuffar på bra. Lite gnäll om ramminnet ibland men den klarar sig.
Knäpptyst i jmf med rackservrarna

Citera! Gaming: Chassi: FD R4| CPU: 7700K | Kylare: Noctua NH-D14 | MB: MSI Z270 GAMING PRO CARBON | Grafikkort: GTX1080 | RAM: Corsair LPX 16GB 3333MHz CL16 | OS:Disk: Intel 600p 512GB | PSU: EVGA Supernova 850 G2 |
ESXI host Intel NUC,i7-8559U 32GB Ram,1TB
Router Edgerouter 4, WAN 1000/1000

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003

Tack! bra tips! håller i nu läget på att letar beg serverar. tänker att jag ska ha en som huvud / lab server och en som enbart är backup.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003

En ny fråga som dykt upp. Står högre upp i tråden att en äldre server kan vara ett bra val, men är detta för gammalt att titta på? ser att den tex max klarar 1TB, är det något som går att utöka? om det går, kostar det mer än det smakar? dvs värt att satsa på en annan variant?
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-...

kollat på dessa annonser nämligen.

https://www.blocket.se/annons/goteborg/hpe_proliant_dl145_g2_...

https://www.blocket.se/annons/goteborg/hpe_proliant_dl145_g2_...

verkar vara samma person.

Trädvy Permalänk
Medlem
Plats
Staffanstorp
Registrerad
Okt 2001
Skrivet av DoDaN:

En ny fråga som dykt upp. Står högre upp i tråden att en äldre server kan vara ett bra val, men är detta för gammalt att titta på? ser att den tex max klarar 1TB, är det något som går att utöka? om det går, kostar det mer än det smakar? dvs värt att satsa på en annan variant?
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-...

kollat på dessa annonser nämligen.

https://www.blocket.se/annons/goteborg/hpe_proliant_dl145_g2_...

https://www.blocket.se/annons/goteborg/hpe_proliant_dl145_g2_...

verkar vara samma person.

G2 är en riktigt gammal modell, och då är ganska hödljudda och inte speciellt strömsnåla jämfört med nyare maskiner som inte kostar så väldigt mycket mer. Skulle inte välja något äldre än G6 iaf.
Dessutom är det max 16GB minne i en sån burk, vilket jag iaf tycker är för lite om man börjar labba med virtuella maskiner. CPU-mässigt klarar den sig rätt ok, men det är ofta minne som är den största bristen på en host.

Jag byggde precis en ny server med blandat nya och gamla delar. Ett nytt 2U-chassi, ett nytt nätaggregat med rätt luftflöde och en ny CPU-kylare. I övrigt begagnat Supermicro-moderkort, begagnad Opteron 6378 (16 kärnor) och begagnat DDR3-minne 4x16GB och jag funderar redan på att utöka med lika mycket till. Då har jag förvisso fyllt alla minnesplatser, men det är 128GB minne i hosten då.
Priser i runda slängar:
Chassi: 2000kr med rackskenor (kort chassi för att passa i mitt rack som bara är 600mm djupt).
PSU: 600kr
Moderkort: 1000kr
CPU: 250kr
Minne: 900kr

Sedan skaffade jag visserligen en ny ssd också, men jag hade egentligen inte behövt det för att få systemet att snurra. Men utan disk så landade det på knappt 5k vilket jag känner är helt ok.

På tal om att utöka så kan man eventuellt stoppa in ett HBA- eller RAID-kort som klarar större diskar, men det får man ju kontrollera för just den servern man tittar på.

WS: R7 2700x | RTX 2070S | Corsair AX860W | Corsair Obsidian 750D | 3x Dell U2414H
Zwift/storage: i7-2600k | GTX1050 | 4U chassi
HTPC2: Intel NUC3217IYE | 8GB | 120GB mSATA
Servrar: HP N54L Microserver | Server2: Fujitsu Primergy Tx1310 M1 | Dell R210 II | Supermicro AMD Opteron 6378

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Mar 2002

Begagnad HP Proliant

Köp en begagnad HP proliant eller liknande.
Och kör hyper-v på den.
Sen kan du installera vad som helst virtuellt och testa hur du vill.

LARSA

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

DL380 G5 kostar inte mycket som begagnade idag då de håller på att fasas ut och det är rejäl överskott på dessa, just nu hos begagnathandlarna - så där kan man plocka på både med gott om RAM och dubbelpropp utan att det blir hiskliga pengar - se dock till att P400 smart-array (SAS-kortet) har en fungerande BBWC (kan repareras med 4 st NiMh-batterier i serie på 500 mAh - 1000 mAh, själva kretskortet är löstagbar och man kan löda på anslutning som sedan går till en AAA 4-cells batteri-hållare - håll reda på polariteten bara... även en snudd med fel polaritet kan bricka både ram-cachen och kanske hela P400-kortet om sladden sitter ansluten)

P400 har dock nackdel - kan inte sättas till IT-mode och max 2TB per logiskt volym - så med 2TB-diskar så blir det en logisk volym per disk... dock verkar inte den 'volymhanteringen' straffa så mycket på prestandan som man kanske skulle tro när man kör mjukvaru-RAID...

---

får man fatt på en G7 för rimliga pengar så är denna förstås att föredra och skall du ha mycket lagring - välj chasssietyperna som tar 3.5" diskar

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003

fått för mig att HP proliant verkar va de som är vanligast. men dessa, https://www.blocket.se/annons/goteborg/2x_tower_supermicro_du...

är de vettiga och prisvärda?

Trädvy Permalänk
Medlem
Plats
Fjugesta
Registrerad
Aug 2005

Det finns lite skillnader mellan tex freenas/dom flesta raid typer och unraid/snapraid (flexraid finns med men verkar dött numera).
Det handlar då främst om att diskar med olika storlek kan användas utan "storleks bekymmer" med unraid/snapraid och även rätt viktigt (för mig som bor i liten etta) att endast den disk som används behöver snurra+parity disken OM det skrivs till den disk som används.

Med freenas/dom flesta andra raid typer så är det den minsta disken som sätter max storleken för alla andra diskar tex om du har 4st 10tb diskar o en 1tb disk så kan du bara använda 1tb per disk OM 1tb disken ska användas.
Med unraid/snapraid så kan du använda och få ut 10tb från alla diskar även när en 1tb används samtidigt.
Enda är att Parity disken behöver vara en av dom största, eller den största, annars sätter den (som med freenas/etc) max storleken för vad övriga diskar kan använda sig av som tex 1tb för alla 5st diskar i övre exemplet.

Unraid kör sin "array" live och uppdaterar parity data "live", snapraid kör bara snapshot och ny data är därmed oskyddad tills en snapshot körs.
Vilket för min del är en stor anledning att jag kör unraid istället för linux/bsd+snapraid (finns även till win/mac/solaris), snapraid är även opensource vilket är ett stort plus.

Finns gott om folk som kör mängder med dockers/wm's med unraid och även som dual burk dvs unarid plus windows wm som klarar att spelas på med tex 2080ti gpu till windows wm.

Nu när vi betalar för det!
Glöm inte bort att slänga alla plastpåsar i vattnet!

Skit nätagg (som inte alltid=med billigt) är enbart till för dom rika som har råd att byta ut allt när (inte OM utan NÄR) det dör!

Trädvy Permalänk
Medlem
Registrerad
Mar 2015

Du måste ha UPS. OS ska kunna få signal om strömmen går och hinna gör en säker nedstängning.

Serverhårdvara är normalt sett väldigt högljudd. Om du ska ha hot-swap diskar i fronten, se till att servern inte kräver proprietära slädar/diskar från leverantören (Dell och HP har i alla fall tidigare haft detta otyg för sig). Jag hade nog satsat på Raid i mjukvara, hårdvaruraid ger ett till riskmoment, skitjobbigt när raidkontrollern får spel och korrumperar alla diskar (har hänt mig).

Jag gillar Supermicros grejer, mycket standard och man blir inte inlåst i deras ekosystem till skillnad från Dell/HP. Inte så stora i Sverige dock.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003
Skrivet av Mordekai:

Du måste ha UPS. OS ska kunna få signal om strömmen går och hinna gör en säker nedstängning.

Serverhårdvara är normalt sett väldigt högljudd. Om du ska ha hot-swap diskar i fronten, se till att servern inte kräver proprietära slädar/diskar från leverantören (Dell och HP har i alla fall tidigare haft detta otyg för sig). Jag hade nog satsat på Raid i mjukvara, hårdvaruraid ger ett till riskmoment, skitjobbigt när raidkontrollern får spel och korrumperar alla diskar (har hänt mig).

Jag gillar Supermicros grejer, mycket standard och man blir inte inlåst i deras ekosystem till skillnad från Dell/HP. Inte så stora i Sverige dock.

okej, ja tanken är att bygga upp allt sakta men säkert. men om du är insatt i supermicro. Är detta en bra setup att börja med? kommer köpa till diskar, https://www.blocket.se/annons/goteborg/2x_tower_supermicro_du...

sen verkar ju faktiskt unraid bra, speciellt att man kan kompletera med olika storlek på disk.

Trädvy Permalänk
Medlem
Registrerad
Mar 2015
Skrivet av DoDaN:

okej, ja tanken är att bygga upp allt sakta men säkert. men om du är insatt i supermicro. Är detta en bra setup att börja med? kommer köpa till diskar, https://www.blocket.se/annons/goteborg/2x_tower_supermicro_du...

sen verkar ju faktiskt unraid bra, speciellt att man kan kompletera med olika storlek på disk.

Det är ju sjukt mycket dator för pengarna. Som sagt, tänk på att dessa låter en del.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003
Skrivet av Mordekai:

Det är ju sjukt mycket dator för pengarna. Som sagt, tänk på att dessa låter en del.

Okej, svårt att av göra vad som är mycket när man pratar ljud. men om de tex står i en källare i ett hus. kommer det då att störa på övervåningen? låter det högre än tex en damsugare?

Trädvy Permalänk
Medlem
Registrerad
Mar 2015
Skrivet av DoDaN:

Okej, svårt att av göra vad som är mycket när man pratar ljud. men om de tex står i en källare i ett hus. kommer det då att störa på övervåningen? låter det högre än tex en damsugare?

Nej, inga problem. En klädgarderob i sovrummet hade varit ett problem.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003

skulle dessa vara något att satsa på?

https://www.blocket.se/annons/goteborg/hp_proliant_microserve...

en som primär och en som backup?

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2003

Sitter på köpknappen till de jag länkat ovan. Googlat och sökt på forumet. Hittar knappt någon info alls om gen7. Är dessa något att ha eller är det en big no no av någon anledning? Utöver de som står i annonsen har de 250 resp 500gb Hdd.