Hur delar ni upp mjukvara/ lagring på eran hemmaserver?

Permalänk
Medlem

Hur delar ni upp mjukvara/ lagring på eran hemmaserver?

Hur bör jag placera program och lagring på min server?
Jag är ute efter en "service vänlig" setup med hårddiskar och undrar hur ni tänkt vid era byggen. Delat upp mjukvaran, på flera? eller samma HDD fast partion?

Tex, min server nedan, hur skulle ni dela upp programmen på hdd?

Min server:
Ubuntu server 14.04
Webmin
Samba filserver
Bittorrent client
Backup

Permalänk
Avstängd
Skrivet av Team240:

Hur bör jag placera program och lagring på min server?
Jag är ute efter en "service vänlig" setup med hårddiskar och undrar hur ni tänkt vid era byggen. Delat upp mjukvaran, på flera? eller samma HDD fast partion?

Tex, min server nedan, hur skulle ni dela upp programmen på hdd?

Min server:
Ubuntu server 14.04
Webmin
Samba filserver
Bittorrent client
Backup

Hej!

Beror ju helt på vilka krav du har, ska du köra RAID? Vad har du för delar tillgängliga?
Allt som hör till operativsystemet kan ju ligga på samma partition, dvs ubuntu, webmin, samba, bittorrent client etc. Medans du i din bittorrent client väljer att spara på en annan partition eller disk om du så vill, lika så med samba och backup om du vill dela ut din katalog och den är på en annan disk så ställer du ju in det i samba.

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Permalänk
Medlem
Skrivet av PowerNet:

Hej!

Beror ju helt på vilka krav du har, ska du köra RAID? Vad har du för delar tillgängliga?
Allt som hör till operativsystemet kan ju ligga på samma partition, dvs ubuntu, webmin, samba, bittorrent client etc. Medans du i din bittorrent client väljer att spara på en annan partition eller disk om du så vill, lika så med samba och backup om du vill dela ut din katalog och den är på en annan disk så ställer du ju in det i samba.

Hej svejs!
Nej inte RAID däremot är planen att ha fler än en fysisk disk, idag är allt på en enda sketen 30k timmars hdd och det känns inte säkert.
Kommande inköp blir nog en WD Red 3TB för att i så fall lagra torrents och övrigt "mindre viktigt".
Kvar är då OS och back-up. Jag antar att OS skulle kunna vara på min sketna hdd och att jag lagrar fullständig back-up på 3TB-disken samt en kopia hos en annan dator i nätverket.

Vet inte varför men av någon anledning skulle det kännas bra med en separat liten disk för OS/program, en större för lagring av media och sedan fylla på med fler diskar allt efter servern utökas. Vore intressant att höra hur andra göra med sina hdd-rack.

Permalänk
Avstängd
Skrivet av Team240:

Hej svejs!
Nej inte RAID däremot är planen att ha fler än en fysisk disk, idag är allt på en enda sketen 30k timmars hdd och det känns inte säkert.
Kommande inköp blir nog en WD Red 3TB för att i så fall lagra torrents och övrigt "mindre viktigt".
Kvar är då OS och back-up. Jag antar att OS skulle kunna vara på min sketna hdd och att jag lagrar fullständig back-up på 3TB-disken samt en kopia hos en annan dator i nätverket.

Vet inte varför men av någon anledning skulle det kännas bra med en separat liten disk för OS/program, en större för lagring av media och sedan fylla på med fler diskar allt efter servern utökas. Vore intressant att höra hur andra göra med sina hdd-rack.

Hej!

Du kan ju ha en mindre SSD på t.ex. 40 eller 60GB, eller helt enkelt bara ett mindre USB minne på 8/16GB eller liknande, för OS/program då Linux är så litet, så det räcker alldeles utmärkt.

Medans all lagring av filer (musik, bilder, osv) lägger du på mekanisk(a) disk(ar).
Lika så backup, kan du ju köra på en egen mekanisk disk (dvs inte den som du har som lagringsdisk för media) och sen även ha en kopia på en annan maskin. Då en singel disk inte är att lita på för lagring av viktigt material.

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Permalänk
Medlem

Jag kör SmartOS installerat på en USB sticka och en RAID med alla hårddiskar

Har två stycken nätverksportar, första kopplat till internet den andra till en switch som allt annat på nätverket är kopplat till

På RAIDen ligger alla filer och virtual machines:

  • PfSense som router med WAN på första nätverksporten och LAN på den andra

  • Ubuntu server för Mumble, BitTorrent Sync (backup) och saker som jag lägger upp nu och då temporärt såsom spel servrar

  • En SmartOS zone för Git repos

  • En till SmartOS zone som Minecraft servern ligger på

Mapparna set ut så här
/zones - Top mapp i RAIDen där alla virtual machines ligger
/zones/storage
/zones/storage/btsync - Mapp som Ubuntu mountar där BitTorrent Sync sparar alla filer
/zones/storage/repos - Mapp som första SmartOS zonen sparar alla Git repos
/zones/storage/minecraft - Mapp där andra SmartOS zonen kör Minecraft servern från
/zones/storage/archive - Mapp där spel, musik, film etc ligger
/zones/storage/nivo - Mina privata filer

Har en till server som kör OmniOS på en USB sticka med en RAID för alla hårddiskar som jag startar nu och då och kör backup mot

Permalänk
Medlem
Skrivet av Nivo:

Jag kör SmartOS installerat på en USB sticka och en RAID med alla hårddiskar

Har två stycken nätverksportar, första kopplat till internet den andra till en switch som allt annat på nätverket är kopplat till

På RAIDen ligger alla filer och virtual machines:

  • PfSense som router med WAN på första nätverksporten och LAN på den andra

  • Ubuntu server för Mumble, BitTorrent Sync (backup) och saker som jag lägger upp nu och då temporärt såsom spel servrar

  • En SmartOS zone för Git repos

  • En till SmartOS zone som Minecraft servern ligger på

Mapparna set ut så här
/zones - Top mapp i RAIDen där alla virtual machines ligger
/zones/storage
/zones/storage/btsync - Mapp som Ubuntu mountar där BitTorrent Sync sparar alla filer
/zones/storage/repos - Mapp som första SmartOS zonen sparar alla Git repos
/zones/storage/minecraft - Mapp där andra SmartOS zonen kör Minecraft servern från
/zones/storage/archive - Mapp där spel, musik, film etc ligger
/zones/storage/nivo - Mina privata filer

Har en till server som kör OmniOS på en USB sticka med en RAID för alla hårddiskar som jag startar nu och då och kör backup mo

Dold text

t

Kör du raid istället för zfs?
Skriver du loggar direkt till usbminnet eller har du pekat om dom till lagringen?

Permalänk
Medlem
Skrivet av aluser:

Kör du raid istället för zfs?
Skriver du loggar direkt till usbminnet eller har du pekat om dom till lagringen?

Jag kör ZFS RaidZ

Citat:

SmartOS is a "live OS", it is booted via PXE, ISO, or USB Key and runs entirely from memory, allowing the local disks to be used entirely for hosting virtual machines without wasting disks for the root OS. This architecture has a variety of advantages including increased security, no need for patching, fast upgrades and recovery.

Citat:

SmartOS is typically "installed" by downloading and copying the OS image onto a USB key and then booting that key. On the first boot a configuration utility will configure your base networking, allow you to set the root password, and allow you to select which disks to use to create the ZFS Zpool which will provide persistent storage.

Citat:
  • /: The root filesystem is a ramdisk which you should write to sparingly under normal circumstances. All files written here are non-persistant. This includes /root (the root user home directory) and /etc with exception (see below).

  • /usr: This filesystem is a loopback filesystem (located in /usr.lgz) mounted read-only. This includes /usr/local which is commonly used on other OS's such as Linux (see below).

  • /var, /opt: Both these filesystems are persistant and created on the zpool during initial setup. Any data written here is safe.
    [Contrary to many Linux distros, /var/run is tmpfs but /var/tmp is not. For temp files you want deleted on reboot, use /tmp or /var/run.]

  • /usbkey: This filesystem is a persistant configuration which is applied on boot. It includes a small configuration file (config), a shadow file linked to /etc/shadow, and SSH directory linked to /etc/ssh.

Permalänk
Medlem

Jag kör OS (FreeBSD) på en SSD som även huserar mina virtuella maskiner så att de alltid är rappa. Sedan har jag en spegling av 2x 3TB WD Red för backuper (både för interna filer på servern samt från andra maskiner i hemmet), samt en raidz av, för tillfället blandade diskar (mitt i en uppgradering av dem så byter dem en efter en), för bulkdata som delas ut via Samba och NFS.

FreeBSD kör så lite tjänster som möjligt då tanken är att de virtuella maskinerna ska hantera dem. T.ex. körs rtorrent och irssi i en av dem. Då jag kör med VirtualBox så pausar jag vid avstängning av den fysiska servern den virtuella maskinen så att den återupptar samma tillstånd när den fysiska servern startas igen. På så vis finns t.ex. alltid de tjänster jag har på dem tillgängliga utan att behöva tänka på autostart i de virtuella maskinerna (som kan vara jobbigt om man vill ha lite saker i en screen, t.ex.). Undantag här är ju dock Samba och NFS för filutdelning, samt några egenhackade skript till bland annat backup och monitorering.

För att förenkla hantering av FreeBSD ifall något skulle gå galet har jag sett till att dokumentera hela installationsflödet så att jag enkelt kan installera om det ifall det behövs (t.ex. ifall SSDn går sönder). Då få tjänster körs direkt på det innebär det främst installation av FreeBSD, några paket samt hämtning av konfigurationer och virtuella maskiner från backupdiskarna.

Visa signatur

Efter att ni har läst det här har ni insett att det inte gav något.

Permalänk
Medlem
Skrivet av Nivo:

Jag kör SmartOS installerat på en USB sticka och en RAID med alla hårddiskar

Har två stycken nätverksportar, första kopplat till internet den andra till en switch som allt annat på nätverket är kopplat till

På RAIDen ligger alla filer och virtual machines:

  • PfSense som router med WAN på första nätverksporten och LAN på den andra

  • Ubuntu server för Mumble, BitTorrent Sync (backup) och saker som jag lägger upp nu och då temporärt såsom spel servrar

  • En SmartOS zone för Git repos

  • En till SmartOS zone som Minecraft servern ligger på

Mapparna set ut så här
/zones - Top mapp i RAIDen där alla virtual machines ligger
/zones/storage
/zones/storage/btsync - Mapp som Ubuntu mountar där BitTorrent Sync sparar alla filer
/zones/storage/repos - Mapp som första SmartOS zonen sparar alla Git repos
/zones/storage/minecraft - Mapp där andra SmartOS zonen kör Minecraft servern från
/zones/storage/archive - Mapp där spel, musik, film etc ligger
/zones/storage/nivo - Mina privata filer

Har en till server som kör OmniOS på en USB sticka med en RAID för alla hårddiskar som jag startar nu och då och kör backup mot

Det där var alldeles för avancerat för mig, dock mycket intressant!
Jag har nog med problem att förstå mig på min första server - Ubuntu server 14.04. Har på den endast dessa fungerande än så länge: en filserver (samba) samt openssh server och webmin som GUI.

Skrivet av Kuufukuji:

Jag kör OS (FreeBSD) på en SSD som även huserar mina virtuella maskiner så att de alltid är rappa. Sedan har jag en spegling av 2x 3TB WD Red för backuper (både för interna filer på servern samt från andra maskiner i hemmet), samt en raidz av, för tillfället blandade diskar (mitt i en uppgradering av dem så byter dem en efter en), för bulkdata som delas ut via Samba och NFS.

FreeBSD kör så lite tjänster som möjligt då tanken är att de virtuella maskinerna ska hantera dem. T.ex. körs rtorrent och irssi i en av dem. Då jag kör med VirtualBox så pausar jag vid avstängning av den fysiska servern den virtuella maskinen så att den återupptar samma tillstånd när den fysiska servern startas igen. På så vis finns t.ex. alltid de tjänster jag har på dem tillgängliga utan att behöva tänka på autostart i de virtuella maskinerna (som kan vara jobbigt om man vill ha lite saker i en screen, t.ex.). Undantag här är ju dock Samba och NFS för filutdelning, samt några egenhackade skript till bland annat backup och monitorering.

För att förenkla hantering av FreeBSD ifall något skulle gå galet har jag sett till att dokumentera hela installationsflödet så att jag enkelt kan installera om det ifall det behövs (t.ex. ifall SSDn går sönder). Då få tjänster körs direkt på det innebär det främst installation av FreeBSD, några paket samt hämtning av konfigurationer och virtuella maskiner från backupdiskarna.

Okej som jag skrev ovan, för avancerat men WOW, hehe
Det där men dokumentera allt är nog smart, har själv gjort likadant. Finns det dock inte någon typ av backup som verkligen återskapar HELA installationen från början av OS till senaste programvaran inklusive specifika inställningar?

Permalänk
Medlem
Skrivet av Team240:

Okej som jag skrev ovan, för avancerat men WOW, hehe
Det där men dokumentera allt är nog smart, har själv gjort likadant. Finns det dock inte någon typ av backup som verkligen återskapar HELA installationen från början av OS till senaste programvaran inklusive specifika inställningar?

Fullständig klon av hela systemdisken är en variant för att återgå till hur det var innan. Det kan ju även ske i samband med extra backuper för att få med senaste innehållet, konfigurationer, med mera. Diskkloner kan göras med exempelvis clonezilla eller dd. En nackdel dock är att det kräver pill och nedtid för varje backup som tas av disken.

En annan variant är att antingen ha minst två diskar i servern, men ännu hellre en annan maskin man kan skriva backuper till (en share borde räcka gott i detta fall). Då kan man se till att varje natt/timma/som man vill, köra backup på de filer osm är av värde, i vanliga fall konfigurationer samt den innehållsdata man vill ha kvar. rsync är ett väldigt bra program för detta ändåmål, gärna tillsammans med cron som schemaläggare (inbyggt i GNU/Linux och de flesta *nix-system vad jag vet). rsync ser till att kopiera den inkrementella data som är ny sedan senaste överföringen, dvs den kopierar bara de ändringar som gjorts. Man kan själv avgöra ifall borttagna filer från orginalmapparna skall raderas på backupen eller ej. Vid ett eventuellt diskhaveri, eller ominstallation av annan anledning, kan alla viktiga filer återhämtas från backupen som är up to date.

Notera dock att rsync per automatik inte innebär fullständigt säker backup då det kan inträffa korrupt data (inte via rsync men via exempelvis nätverk, kontrollerkort, dåliga diskar, etc). Bästa är ju att kontinuerligt verifiera sin backup att den fungerar, ha flera kopior och helst offsite. Detta är dock ett helt annat ämne som har diskuterats många gångeri forumet. TIll en början kan rsync räcka gott tycker jag nog, framför allt i lärande syfte.

Exempel

Ponera att vi har en server med två olika diskar: sda samt sdb.

Sda är systemdisk som i detta fall innehåller fullständig installation av OS samt alla program. Den innehåller även allt innehåll som faktiskt används.

Sdb agerar primärt backupdisk och eventuellt sekundärt som lagringsutrymme för sådant som ej ska backupas. Denna disk är monterad som /extradisk/.

Då skulle exempelvis följande kommando kopiera allt i /etc/ (som inenhåller mycket konfiguration för både system och tjänster) till mappen backup på extradisken:

$ rsync -avR /etc /extradisk/backup/

Flaggan -a anger arkivering (--archive) som anger en massa olika flaggor som är bra, -v för verbose (bra vid övervakning), samt -R som innebär att de relativa sökvägarna ska användas på destinationen. I fallet ovan skulle vid en första körning mappen /extradisk/backup/etc skapas och innehålla allt som finns i /etc. Nästföljande körningar skulle uppdatera de filer som har ändrats samt lägga till nya filer. Borttagna filer i /etc skulle fortfarande finnas kvar på backupen. Om det ej är önskvärt att ha kvar borttagna filer kan flaggan --delete användas.

Kommandot ovan kan man lägga i cron för att schemalägga det till exempelvis varje natt. Öppna standardeditorn för att ändra genom:

$ crontab -e

Innehållet i crontab skulle kunna se ut på följande vis:

# m h dom mon dow command 0 23 * * * rsync -avR /etc /extradisk/backup/

Ovan exempel innebär att kommandot skulle köras klockan 23:00 varje dag i månaden, varje månad under året samt varje dag i veckan. Kortfattat varje dag 23:00. När man hanterar cron finns det dock vissa fallgropar ibland som att kommandon inte fungerar då cron ej vet var kommandot finns lagrat. I detta fall skulle rsync kunna bytas ut mot /usr/bin/rsync för att komma runt det problemet (man hittar den fullständiga sökvägen mha kommandot "whereis kommando").

Exemplet ovan kan användas för många olika mappar eller filer, bara göra ett nytt kommando och spara i crontab så ska de köras. Det finns en drös med olika detaljer som även kan vara bra att veta men till en början skulle något som ovan exemplifierat kunna fungera. Extradisken skulle även kunna vara en lokalt monterad NAS så backupen alltid finns på en annan maskin. Rsync kan även hantera att man skickar all data via SSH vilket förenklar vid offsite-backuper, men även lokala om man har flera maskiner i hemmet. Men då går vi inte mer på djupet och för automatisering kräver det lite extra nyckelhantering.

Förhoppningsvis har jag klargjort lite mer inför ditt projekt

Visa signatur

Efter att ni har läst det här har ni insett att det inte gav något.

Permalänk
Medlem
Skrivet av Kuufukuji:

Fullständig klon av hela systemdisken är en variant för att återgå till hur det var innan. Det kan ju även ske i samband med extra backuper för att få med senaste innehållet, konfigurationer, med mera. Diskkloner kan göras med exempelvis clonezilla eller dd. En nackdel dock är att det kräver pill och nedtid för varje backup som tas av disken.

En annan variant är att antingen ha minst två diskar i servern, men ännu hellre en annan maskin man kan skriva backuper till (en share borde räcka gott i detta fall). Då kan man se till att varje natt/timma/som man vill, köra backup på de filer osm är av värde, i vanliga fall konfigurationer samt den innehållsdata man vill ha kvar. rsync är ett väldigt bra program för detta ändåmål, gärna tillsammans med cron som schemaläggare (inbyggt i GNU/Linux och de flesta *nix-system vad jag vet). rsync ser till att kopiera den inkrementella data som är ny sedan senaste överföringen, dvs den kopierar bara de ändringar som gjorts. Man kan själv avgöra ifall borttagna filer från orginalmapparna skall raderas på backupen eller ej. Vid ett eventuellt diskhaveri, eller ominstallation av annan anledning, kan alla viktiga filer återhämtas från backupen som är up to date.

Notera dock att rsync per automatik inte innebär fullständigt säker backup då det kan inträffa korrupt data (inte via rsync men via exempelvis nätverk, kontrollerkort, dåliga diskar, etc). Bästa är ju att kontinuerligt verifiera sin backup att den fungerar, ha flera kopior och helst offsite. Detta är dock ett helt annat ämne som har diskuterats många gångeri forumet. TIll en början kan rsync räcka gott tycker jag nog, framför allt i lärande syfte.

Exempel

Ponera att vi har en server med två olika diskar: sda samt sdb.

Sda är systemdisk som i detta fall innehåller fullständig installation av OS samt alla program. Den innehåller även allt innehåll som faktiskt används.

Sdb agerar primärt backupdisk och eventuellt sekundärt som lagringsutrymme för sådant som ej ska backupas. Denna disk är monterad som /extradisk/.

Då skulle exempelvis följande kommando kopiera allt i /etc/ (som inenhåller mycket konfiguration för både system och tjänster) till mappen backup på extradisken:

$ rsync -avR /etc /extradisk/backup/

Flaggan -a anger arkivering (--archive) som anger en massa olika flaggor som är bra, -v för verbose (bra vid övervakning), samt -R som innebär att de relativa sökvägarna ska användas på destinationen. I fallet ovan skulle vid en första körning mappen /extradisk/backup/etc skapas och innehålla allt som finns i /etc. Nästföljande körningar skulle uppdatera de filer som har ändrats samt lägga till nya filer. Borttagna filer i /etc skulle fortfarande finnas kvar på backupen. Om det ej är önskvärt att ha kvar borttagna filer kan flaggan --delete användas.

Kommandot ovan kan man lägga i cron för att schemalägga det till exempelvis varje natt. Öppna standardeditorn för att ändra genom:

$ crontab -e

Innehållet i crontab skulle kunna se ut på följande vis:

# m h dom mon dow command 0 23 * * * rsync -avR /etc /extradisk/backup/

Ovan exempel innebär att kommandot skulle köras klockan 23:00 varje dag i månaden, varje månad under året samt varje dag i veckan. Kortfattat varje dag 23:00. När man hanterar cron finns det dock vissa fallgropar ibland som att kommandon inte fungerar då cron ej vet var kommandot finns lagrat. I detta fall skulle rsync kunna bytas ut mot /usr/bin/rsync för att komma runt det problemet (man hittar den fullständiga sökvägen mha kommandot "whereis kommando").

Exemplet ovan kan användas för många olika mappar eller filer, bara göra ett nytt kommando och spara i crontab så ska de köras. Det finns en drös med olika detaljer som även kan vara bra att veta men till en början skulle något som ovan exemplifierat kunna fungera. Extradisken skulle även kunna vara en lokalt monterad NAS så backupen alltid finns på en annan maskin. Rsync kan även hantera att man skickar all data via SSH vilket förenklar vid offsite-backuper, men även lokala om man har flera maskiner i hemmet. Men då går vi inte mer på djupet och för automatisering kräver det lite extra nyckelhantering.

Förhoppningsvis har jag klargjort lite mer inför ditt projekt

Dold text

Tackar ödmjukast för den informationen!
Jag har lite breaks från servern hipp som happ nu under en pågående flytt vilket gör att jag inte är särskilt aktiv på forumet. Jag ska granska det du skrivet och återkommer nog med frågor