Forum Datorer och system Server Tråd Inlägg

Hur konfa en 6 disk ZFS pool

1
Skriv svar
Permalänk
Medlem ★
●

Hur konfa en 6 disk ZFS pool

Håller på att bygga en NAS och funderar på hur jag ska konfigurerar diskarna under ZFS
Har blivit less på att ha DVD/Bluray samlingen i hyllor och lådor så det är den som ska lagras på NASen i första hand. Så det är jobbigt om allt rasar men inte hela världen.

Jag har i dagsläget 6 diskar på 3TB styck så dom konfigurationer jag kan tänka mig är några stycken.

Men dom mer tilltalande är följande:

  • En pool med 3 speglade vdevs.
    9 TB effektivt utrymme
    1 disk i varje vdev kan flyga innan hela poolen kraschar

  • En pool med 2 Raidz1 vdevs
    12 TB effektivt utrymme
    1 disk i varje vdev kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz2 vdev
    12 TB effektivt utrymme
    2 diskar kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz3 vdev
    9 TB effektivt utrymme
    3 diskar kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz2 vdev
    (bara 4 diskar, blir att köpa till 2 diskar senare för att utöka poolen)
    6 TB effektivt utrymme
    2 diskar kan flyga innan hela poolen kraschar

Jag har förståt att har en disk flugit sin kos är risken att ytterligare en flyger under återuppbyggnaden av vdev en halv stor. Det gäller väl särskilt i en raidz* vdev? En mirror är säkrare men även den är sårbar under återuppbyggnads fasen. Men som sagt, flyger poolen är det tråkigt men inte världens undergång.

Ja, ZFS/raid är inte backup.

Hur hade ni valt och varför?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av robertlindgren82:

Håller på att bygga en NAS och funderar på hur jag ska konfigurerar diskarna under ZFS
Har blivit less på att ha DVD/Bluray samlingen i hyllor och lådor så det är den som ska lagras på NASen i första hand. Så det är jobbigt om allt rasar men inte hela världen.

Jag har i dagsläget 6 diskar på 3TB styck så dom konfigurationer jag kan tänka mig är några stycken.

Men dom mer tilltalande är följande:

  • En pool med 3 speglade vdevs.
    9 TB effektivt utrymme
    1 disk i varje vdev kan flyga innan hela poolen kraschar

  • En pool med 2 Raidz1 vdevs
    12 TB effektivt utrymme
    1 disk i varje vdev kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz2 vdev
    12 TB effektivt utrymme
    2 diskar kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz3 vdev
    9 TB effektivt utrymme
    3 diskar kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz2 vdev
    (bara 4 diskar, blir att köpa till 2 diskar senare för att utöka poolen)
    6 TB effektivt utrymme
    2 diskar kan flyga innan hela poolen kraschar

Jag har förståt att har en disk flugit sin kos är risken att ytterligare en flyger under återuppbyggnaden av vdev en halv stor. Det gäller väl särskilt i en raidz* vdev? En mirror är säkrare men även den är sårbar under återuppbyggnads fasen. Men som sagt, flyger poolen är det tråkigt men inte världens undergång.

Ja, ZFS/raid är inte backup.

Hur hade ni valt och varför?

Gå till inlägget

Kör själv RAID 0 på 4 st 2TB på nasen, mest för jag inte orkade konfa. Hade jag gjort om det hade jag gjort en raid 1 0 då jag inte fyller ens 2 TB om jag anstränger mig. Skall köpa 4 st 1 eller 2 TB SSD då mina RED diskar låter som tröskverk och jag har nasen där jag sover, kopplad till TV'n.

Visa signatur

Mac Mini M2 Pro
5K

Redigera
Citera flera Citera
Permalänk
Medlem
●

http://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-...
Bra info här läsvärt.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Om det bara är för lagring så kör raidz2/3. Om det är viktigt att få ut prestanda så kör flera vdevs, varje vdev dubblar IOPS.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Intressant tråd. Grubblar själv över att hoppa på ZFS-tåget för att få lite bättre redundans på hemmaservern, som idag mest fungerar som nas med diverse ext2/3/4-diskar och halvmanuella backuper via rsync. Lagrar i huvudsak backuper och media – d.v.s. ingenting jag ser som kritiskt – men skulle precis som TS bli en aning vresig om en disk skulle få för sig att packa ihop utan någon redundans.

Har också stått och vägt över diverse olika konfigurationer med raidz1/2 osv. (i mitt fall över 4 diskar som mest), men lutar ändå åt att spegla diskarna i par; antingen som två separata pooler eller som en stor. Mitt resonemang kring det här bygger på att vara lite mer flexibel när det gäller att kunna utöka med fler eller större diskar, och underlätta migreringen av den data som ligger på diskarna idag.

Dock bara spekulationer från min sida än så länge; behöver fortfarande investera i mer minne till FreeNAS för att över huvud taget komma igång...

Visa signatur

Stationärt: i7 3770k, Gigabyte GTX 780 WF, 4x8GB XMS3, MSI Z77A-GD65, Samsung 830 + 840, FD Newton 650W, FD Define R2
Bärbart: MacBook Pro 13" Tidigt 2011, Core i5, 8GB DDR3, OCZ Vertex 3 LT 240GB
Hemmaserver: HP Microserver N54L, 4GB ECC, Debian

Redigera
Citera flera Citera
Permalänk
Medlem
●

Här finns en del intressant information också: http://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-n...

Du får väga nackdelar mot fördelar.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av trexake:

Här finns en del intressant information också: http://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-n...

Du får väga nackdelar mot fördelar.

Gå till inlägget

Hade läst båda dessa, dom belyser två sidor av hur man kan bygga upp en pool.

Hur mycket paritet behövs är kanske en bättre fråga eller hur stor är risken att ytterligare en disk kraschar när man resilvrar efter en en-disk krasch?
Låt oss bortse från URE för enkelhetens skull.

Hittade den här länken efter lite sökande http://callfortesting.org/resilver/ som testar resilver tider. Ganska intressant. Tänker jag rätt om det är 2,5 timmar för att återbygga en 500 GB disk bör det bli ungefär 15 timmar för en 3 TB disk?

Redigera
Citera flera Citera
Permalänk
Medlem
●

@robertlindgren82: Hur stor risk att en disk dör under resilver är inte direkt kopplat (100% iaf) till hur lång tid återuppbyggandet tar. Du kommer stressa diskarna och om den "skulle" dö, så skulle den dö... Visst, under en längre tid, så det kan öka risken.

Det finns väl en lite högre stressrisk för dig själv dock när man sitter och väntar

Jag tycker det hänger lite på vad du ska läsa ifrån poolen - ska du bara läsa media över en vanlig gigport så kommer alla vettiga pooluppsättningar fylla den. Ska du köra VM's eller databaser etc behöver du kanske mer...

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Om du redan har alla 6 diskar så är nog raidz2 vettigast, alternativt 3 stycken mirrors. Motivering för raidz2 är att man får mer utrymme och motivering för mirrors är snabbare resilver och mer flexibilitet när man ska expandera poolen och så mer IOPS.

Själv var jag nog lite väl dumsnål när jag byggde min filserver. Har 11 stycken 2TB diskar i raidz3. Visst det funkar bra men resilver kan ta nästan en vecka och det är inte kul om man vill uppgradera till större utrymme att behöva byta ut 11 diskar (blir nog att bygga ny pool med färre diskar och kopiera över skiten istället för att byta en disk i taget). Hade naturligtvis varit bättre om jag hade köpt en disk till och gjort två stycken 6 diskars raidz2 i min pool.

6 diskar i raidz2 är hanterbart. Alternativet tycker jag är att köpa 2 diskar i taget och bygga på med mirrors. Raidz1 bör man undvika.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av robertlindgren82:

Håller på att bygga en NAS och funderar på hur jag ska konfigurerar diskarna under ZFS
Har blivit less på att ha DVD/Bluray samlingen i hyllor och lådor så det är den som ska lagras på NASen i första hand. Så det är jobbigt om allt rasar men inte hela världen.

Jag har i dagsläget 6 diskar på 3TB styck så dom konfigurationer jag kan tänka mig är några stycken.

Men dom mer tilltalande är följande:

  • En pool med 3 speglade vdevs.
    9 TB effektivt utrymme
    1 disk i varje vdev kan flyga innan hela poolen kraschar

  • En pool med 2 Raidz1 vdevs
    12 TB effektivt utrymme
    1 disk i varje vdev kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz2 vdev
    12 TB effektivt utrymme
    2 diskar kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz3 vdev
    9 TB effektivt utrymme
    3 diskar kan flyga innan hela poolen kraschar

  • En pool med 1 Raidz2 vdev
    (bara 4 diskar, blir att köpa till 2 diskar senare för att utöka poolen)
    6 TB effektivt utrymme
    2 diskar kan flyga innan hela poolen kraschar

Jag har förståt att har en disk flugit sin kos är risken att ytterligare en flyger under återuppbyggnaden av vdev en halv stor. Det gäller väl särskilt i en raidz* vdev? En mirror är säkrare men även den är sårbar under återuppbyggnads fasen. Men som sagt, flyger poolen är det tråkigt men inte världens undergång.

Ja, ZFS/raid är inte backup.

Hur hade ni valt och varför?

Gå till inlägget

Man får inte vara dumsnål.
Jag körde RaidZ2 med just 6 diskar x 3Tb.
2 x redundans.
Vilket ger 12Tb = enormt och med bra redundans.

Var inte dumsnål
Disk är billigt, och du kan skala upp vid behov, dock EN disk i taget.

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av sithson:

Man får inte vara dumsnål.
Jag körde RaidZ2 med just 6 diskar x 3Tb.
2 x redundans.
Vilket ger 12Tb = enormt och med bra redundans.

Var inte dumsnål
Disk är billigt, och du kan skala upp vid behov, dock EN disk i taget.

Skickades från m.sweclockers.com

Gå till inlägget

Fast, det är ju det du inte kan göra (och behålla samma paritet/redundans) med en vdevs raidz2... ^^

Senast redigerat
Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

Fast, det är ju det du inte kan göra (och behålla samma paritet/redundans) med en vdevs raidz2... ^^

Gå till inlägget

Jo.
Eller hur menar du?
n diskar med RaidZ2 ger n-2 i utrymme.

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av sithson:

Jo.
Eller hur menar du?
n diskar med RaidZ2 ger n-2 i utrymme.

Skickades från m.sweclockers.com

Gå till inlägget

Menade det andra du sa, att växa disk per disk du kan inte utöka en raid 2 Vdev med fler diskar.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@moron:
Var det inte det man kunde om man bytte ut en disk i taget?

@robertlindgren82
Vad hade du tänkt använda för OS? Jag är själv inne på att gå över från en Win2008 srv till ex freenas.

Överlag får man bra kontroll på sakerna med ex freenas? Istället för att köra en freebsd / linuxdist med zfs?

Visa signatur

.

Redigera
Citera flera Citera
Permalänk
Medlem
●

@fragwolf: jo, men då växer du inte disk per disk, du växer 6 disk per 6 disk

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@moron:
Hänger inte med riktigt. Men visst kan man väl byta ut 1å1 till större och köra resilver för varje för att utöka befintlig vdev?

Visa signatur

.

Redigera
Citera flera Citera
Permalänk
Medlem
●

@fragwolf: pariteten baseras på den minsta disken i vdeven, så har du en 6 disk raidz2 Vdev med 4st 4tb och 2st 2tb så används endast 2tb per disk.

Om du byter ut dom två 2tb till två 4tb så kan du expanderar zpoolen.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@fragwolf: Det är inte förrän man bytt ut alla diskar i en vdev till större som man kan få mer utrymme. Det var lite detta jag tänkte på när jag skrev att en pool med många speglade diskpar ger större flexibilitet att expandera. Eftersom varje mirror är en vdev räcker det då att byta ut två diskar till större för att kunna expandera utrymmet. Alternativt lägger man bara till ett par nya diskar utöver dem man redan har.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av fragwolf:

@moron:
Hänger inte med riktigt. Men visst kan man väl byta ut 1å1 till större och köra resilver för varje för att utöka befintlig vdev?

Gå till inlägget

Hej igen.
Det vi menar är att: Du kan inte utöka en 6 diskars RaidZ2 till 7 diskar utan att bygga om hela.

Du kan ff byta ut dina 6 diskar mot större.
Men detta sker först då alla 6 är utbytta mot större.

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@sithson:
Ah jo men det visste jag redan, men då e jag med läste väl inte ordentligt.

Edit: Men fö är det inte bäst att köra mirror devs? Om man inte specifikt är ute efter så mycket data som möjligt? Man kan väl utöka poolen om man lägger till en till mdev? Man förlorar ju iofs 50% av lagringen hela tiden men resilvern går ju mycket snabbare och läsa/skriv borde väl vara snabbare också. Samt att det belastar inte diskarna så mycket när man resilvrar så det "minskar" risken att en disk till pajjar under tiden.

Visa signatur

.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av fragwolf:

@sithson:
Ah jo men det visste jag redan, men då e jag med läste väl inte ordentligt.

Edit: Men fö är det inte bäst att köra mirror devs? Om man inte specifikt är ute efter så mycket data som möjligt? Man kan väl utöka poolen om man lägger till en till mdev? Man förlorar ju iofs 50% av lagringen hela tiden men resilvern går ju mycket snabbare och läsa/skriv borde väl vara snabbare också. Samt att det belastar inte diskarna så mycket när man resilvrar så det "minskar" risken att en disk till pajjar under tiden.

Gå till inlägget

Jag är benägen att hålla med att mirror devs är ett mycket bra val, särskilt med tanke på enkel utökning av poolen. Nackdelen är att man kan ha otur om båda diskarna i samma vdev pajar samtidigt (kör man raidz2 kan vilka två diskar som helst paja samtidigt). Min nästa pool blir troligtvis en pool av mirrors.

Denna artikel hävdar att man ska köra mirrors: http://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-n...

Kör man en pool av mirrors så måste man heller inte ha alla diskar lika stora, det är OK så länge de bara parvis är lika stora. Man kanske börjar med ett par 3TB diskar. Senare köper man till ett par 4TB och så småningom ett par 6 TB. Då kanske chassit är fullt men man kan då byta ut 3TB-diskarna mot ett par 8TB, en i taget med resilver mellan. Enkelt att bara behöva byta två diskar istället för allihopa. Visst prestandamässigt är det väl bäst om alla diskar är likadana men som någon sa så spelar det liksom ingen större roll i praktiken med vanligt gigabitnätverk. Man behöver alltså inte ta banklån för att kunna byta ut alla diskar samtidigt.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@ronnylov:
låter vettigt. Risken att att båda diskarna i samma vdev pajjar e väl inte så stor. Men det är väl bra om man inte köper diskar i samma serie kanske och har dem i samma vdev. Men sen har man ju backup också. Får nog bli en freenas med zfs nästa gång jag får plats.

Visa signatur

.

Redigera
Citera flera Citera
Permalänk
Hedersmedlem ★
●

Jag tycker själva frågan här är fel ställd. Raid är ingen backup, det är ett system som ger dig bättre tillgänglighet. Dvs Raid ska du använda när du inte kan vara utan datan en enda sekund. Sparar man mest filmer på diskarna så tvivlar jag på att du inte kan vara utan dem i en vecka medan du väntar på en ny disk.

Eftersom du kan tänka dig att köra speglad data så tycker jag att du ska sätta tre av diskarna i en server och tre i en annan, gärna på en annan plats och sedan spela hela server 1 till server 2. Rasar en disk byter du ut den och återställer den från din backup.

Visa signatur

Använd gilla för att markera nyttiga inlägg!

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av giplet:

Jag tycker själva frågan här är fel ställd. Raid är ingen backup, det är ett system som ger dig bättre tillgänglighet. Dvs Raid ska du använda när du inte kan vara utan datan en enda sekund. Sparar man mest filmer på diskarna så tvivlar jag på att du inte kan vara utan dem i en vecka medan du väntar på en ny disk.

Eftersom du kan tänka dig att köra speglad data så tycker jag att du ska sätta tre av diskarna i en server och tre i en annan, gärna på en annan plats och sedan spela hela server 1 till server 2. Rasar en disk byter du ut den och återställer den från din backup.

Gå till inlägget

Det står redan i TS ursprungliga inlägg att raid inte är backup så jag förstår inte hela ditt inlägg då mulitmaskinspegling och offsite inte har något med frågeställningen att göra. Men visst med korrekt uppsatt självläkande distribuerat fs t ex ceph så kan du skita i både backup och raid.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag rekommenderar Raidz2. Kör detta själv i min hemmaserver med sex billiga 2Tb SATA-diskar.

Jag tycker det ger tillräckligt hög säkerhet för hemmabruk, och jag känner mig väldigt säker på att det jag sparar på ZFS-poolen verkligen sparas och finns kvar, i alla fall tills jag synkat poolen med mina backupdiskar.

När det gäller prestanda maxar jag lätt mitt gigabitnätverk, speciellt vid överföring av större filer. Det är svårt att få högre hastighet än så i min tillämpning utan att gå över till 10Gbit nätverk vilket ännu kostar en förmögenhet...

Något som ibland glöms bort i de här sammanhangen är att det starkt rekommenderas att använda ECC-minne i burkar där man kör ZFS-pooler. Minnesfel kan skriva sönder hela poolen och då kvittar det hur bra raid-system man har. Om man gör backup på poolen innan detta upptäcks är ju även backupen kass = katastrof.

Visa signatur

PC: Core i9 12900K, RTX 3080 Ti, Asus Prime Z690-A, 32GB DDR5@5200, Samsung 960EVO, Noctua NH-U12A, Corsair RM850X, LG 34'' UltraGear
NAS: QNAP TVS-872XT, Truenas Xeon E3-1245V2, RAM 32Gb ECC, LSI SAS 9207-8i

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Rädslan för att köra ZFS utan ECC-minne är starkt överdriven. Det är bättre att köra ZFS utan ECC än något annat filsystem utan ECC. Självklart är det bästa att ha ECC oavsett filsystem men världen går inte under om man inte har det.
Bra artikel om detta: http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-you...

Backuper ska man göra med versionshantering. Man ska alltså kunna gå tillbaka till äldre version av backup om något visar sig fel i senaste backup. Skulle filen vara korrupt då får man leta efter en äldre backup helt enkelt.

ZFS (helst med ECC då) är bra i en backupmaskin. Kör man snapshots så sparas aktuell version av filsystemet och man kan i framtiden gå tillbaka till äldre versioner av snapshots för att ta fram den gamla filen. På min filserver kör jag automatiska snapshots:
https://wiki.archlinux.org/index.php/ZFS#Automatic_snapshots

Redigera
Citera flera Citera
Permalänk
Medlem
●

Att köra fler vdevs med raid-z/z2/z3 blir först aktuellt när man behöver extra IOPS eller när man överskrider antalet diskar som är förnuftigt att köra i ett array. 6 diskar i z2 är en sweetspot IMHO.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av ronnylov:

Rädslan för att köra ZFS utan ECC-minne är starkt överdriven. Det är bättre att köra ZFS utan ECC än något annat filsystem utan ECC. Självklart är det bästa att ha ECC oavsett filsystem men världen går inte under om man inte har det.
Bra artikel om detta: http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-you...

Backuper ska man göra med versionshantering. Man ska alltså kunna gå tillbaka till äldre version av backup om något visar sig fel i senaste backup. Skulle filen vara korrupt då får man leta efter en äldre backup helt enkelt.

ZFS (helst med ECC då) är bra i en backupmaskin. Kör man snapshots så sparas aktuell version av filsystemet och man kan i framtiden gå tillbaka till äldre versioner av snapshots för att ta fram den gamla filen. På min filserver kör jag automatiska snapshots:
https://wiki.archlinux.org/index.php/ZFS#Automatic_snapshots

Gå till inlägget

Tackar för länken, det var intressant läsning. Känns väldigt bra att det inte är så känsligt utan ECC-minne som vissa på Freenas forum påstår.

Jag använder också snapshots, vilket även gör det möjligt att enkelt kunna backa till en äldre version av filer direkt i Windows under fliken "Tidigare versioner". Men det hör kanske inte riktigt till trådens ämne...

Visa signatur

PC: Core i9 12900K, RTX 3080 Ti, Asus Prime Z690-A, 32GB DDR5@5200, Samsung 960EVO, Noctua NH-U12A, Corsair RM850X, LG 34'' UltraGear
NAS: QNAP TVS-872XT, Truenas Xeon E3-1245V2, RAM 32Gb ECC, LSI SAS 9207-8i

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av fragwolf:

@moron:
Var det inte det man kunde om man bytte ut en disk i taget?

@robertlindgren82
Vad hade du tänkt använda för OS? Jag är själv inne på att gå över från en Win2008 srv till ex freenas.

Överlag får man bra kontroll på sakerna med ex freenas? Istället för att köra en freebsd / linuxdist med zfs?

Gå till inlägget

Har tänkt använda mig av Ubuntu, men det är inte skrivet i sten. Men alternativen är andra linux distar då jag tänkt testa lite virtualisering med KVM. Så freenas och freebsd är lite fel för min del.

Skrivet av giplet:

Jag tycker själva frågan här är fel ställd. Raid är ingen backup, det är ett system som ger dig bättre tillgänglighet. Dvs Raid ska du använda när du inte kan vara utan datan en enda sekund. Sparar man mest filmer på diskarna så tvivlar jag på att du inte kan vara utan dem i en vecka medan du väntar på en ny disk.

Eftersom du kan tänka dig att köra speglad data så tycker jag att du ska sätta tre av diskarna i en server och tre i en annan, gärna på en annan plats och sedan spela hela server 1 till server 2. Rasar en disk byter du ut den och återställer den från din backup.

Gå till inlägget

Då det mesta är film som jag har på DVD eller Bluray känner jag att det inte är värt att sätta upp en andra server för backup av allt. Därför kör jag med någon typ av raid istället. Det ger viss säkerhet till en lägre kostnad, men långt ifrån full säkerhet. Däremot kommer det att sättas upp en gammal nas för backup av bilder och annat jag inte kan återskapa. Exakt var den ska stå är en annan fråga, men annan byggnad är helt klart. Friggeboden kanske?

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara