Disklösa klienter - hur funkar det?

Hej!

Nu när jag börjar få ordning på min filserver med gott om ledigt diskutrymme så börjar jag fundera på om jag skulle testa att köra nätverksboot på htpc-datorn. Men hur gör man i praktiken? Jag kör Linux både på servern och klientdatorn. Känns som att NFS är det jag vill köra för att dela ut lagringen men hur funkar själva booten av klienten?

Har sökt litegrann och tydligen finns något som heter PXE. På moderkortet verkar man kunna aktivera boot rom för nätverkskortet men vad är detta egentligen? Är det ett flashminne man ska trycka dit var sitter detta boot rom någonstans? Eller är det en standardgrej i nätverkskorten som bara aktiverar nätverksboot?

Tydligen kan man ha tftp server kombinerat med dhcp men då kommer min undran kan man ha flera dhcp-servrar på nätverket eller måste jag inaktivera den i routern om jag sätter igång en dhcp-server i min server? Eller kan man få dem att samverka...

Skulle också kunna tänka mig detta kan vara ett sätt att köra virtuella maskiner på. Jag tänkte köra KVM på servern och vill kunna ha lagringen via NFS lokalt i filservern som alltså också agerar host. htpc-datorn däremot är en fysisk dator på nätverket med principen borde väl vara densamma?

Kollat på denna guide men fattar inte riktigt hur man kan spara något i en disklös klient, hur vet den vilken adress den ska boota på o.s.v?
https://wiki.archlinux.org/index.php/Diskless_network_boot_NF...
Eller söker dessa utomatiskt efter tftp-servrar och identifierar sig på något sätt utan att man behöver installera något på moderkortet?

Kan jag använda min router som kör tomato firmware som PXE boot-server? Kanske onödig omväg om jag redan har en "riktig" server.

Här hittade jag lite info i alla fall:
http://pxe.dev.aboveaverageurl.com/index.php/PXE_Booting

Jag kör Arch Linux både på server och klientdator.
Erfarenheter?

Linux kan också bootas från USB så det är inget problem. Servern kör redan ZFS men på Linux, det är övriga datorer jag skulle vilja boota med lagringen på servern. Blir ju lite avigt att köra en disklös FreeNAS... Man kan ju ha /boot på USB-minnet och ladda in resten av rootfilsystemet via nätverket utan några problem om man vill det. Jag har tänkt på det alternativet också, men är ändå nyfiken på om det går att få att fungera helt utan lagring i klienten, alltså inte ens något USB-minne.

Jag får läsa på lite i lugn och ro så ordnar det sig nog.

Verkar som jag kan använda dhcp-servern i min router som kör Tomato firmware:
http://www.mythtv.org/wiki/Diskless_Frontend#Tomato

Då borde jag kunna peka den till tftp-servern i min filserver.

Jag har faktiskt aldrig använt FreeNAS. Däremot har jag kört FreeBSD med ZFS och det var småbuggigt i början när jag körde FreeBSD 8.1 innan jag tweakade en del parametrar för ZFS enligt FreeBSD wiki. Att jag fick tweaka var väl för att jag "bara" hade 4 GB RAM misstänker jag (det som gjorde skillnad för stabiliteten var zfs.arc_max parametern som jag fick ställa ner till 2GB). Sedan uppgraderade jag till FreeBSD 9 och det har känts stabilt och bra hela tiden. FreeNAS är kanske baserat på någon äldre FreeBSD-version? Det gick att tweaka prestandan litegrann också i FreeBSD men i övrigt tycker jag både prestanda och stabilitet varit bra när jag kört FreeBSD. Men det gäller att välja hårdvara som har bra stöd för FreeBSD och där kan det väl vara lite sisådär ibland. FreeBSD fungerar bra men för egen del känns det lite tråkigt, jag vill dessutom ha stöd för viss hårdvara som inte stöds i FreeBSD, exempelvis mina tv-kort.

Numera kör jag ZFS på Linux. Det fungerar, prestandan är bra och jag har inte behövt tweaka något. Däremot så är frågan hur bra anpassat det är när många linuxdistar nu går över till systemd init (såsom Arch Linux som jag använder har gjort). Tydligen har de problem att få systemd-stödet att fungera men jag tror det löser sig så småningom.

Annars finns väl de där Illumos-baserade distarna såsom Open Indiana men där är om möjligt hårdvarustödet ännu sämre än på FreeBSD. Man kan väl säga att serverhårdvara fungerar bättre än konsumentprylar och detta gäller även i viss mån FreeBSD tycker jag. Det är väl största fördelen med Linux, att man kan använda nästan vilken hårdvara som helst.

Testa gärna med FreeNAS. Borde vara så pass många som använder det att man bör kunna hitta någon bra fungerande konfiguration som andra använder. Man får nog vara beredd på att vara noggrann vid inköp av hårdvara, dubbel och trippelkolla vilken hårdvara som fungerar bra i det operativsystem man vill använda. Därmed inte sagt att det skulle vara svårt att hitta billiga prylar som fungerar, bara att man får kolla först vad som funkar. Eller så chansar man och testar med det man har. För egen del har jag haft tur och mina grejer har fungerat någorlunda. Fick köpa till ett intel nätverkskort när jag körde opensolaris och sedan när jag köpt till kontrollerkort har jag kollat noga vad som funkar. Köpte ett IBM m1015 kontrollerkort som jag flashade om och det funkar bra för ZFS både i FreeBSD och Linux. Men själva flashandet var lite bökigt tycker jag...

När det gäller disklös bootning har jag inte hunnit testa något ännu. Men jag förstår mer hur det hänger ihop nu. Att köra nätverksinstallation med operativsystemet lagrat på en server som kör ZFS känns som en rolig grej att testa. Då kan man köra snapshots som systemåterställningspunkter. Man kan dra nytta av L2ARC cacheminne på en SSD i servern som flera datorer kan dela på. Har man någorlunda lika hårdvara skulle man kanske kunna boota upp samma installation på flera olika klientdatorer (åtminstone om man låter bli att köra dem samtidigt). Eller så klonar man en installation med hjälp av ZFS som kan klona snapshots och på så sätt kan få en snabb kopia att anpassa för en annan dator. Man skulle kunna läga iso-filer såsom memtest och ulimate boot CD eller diverse olika installationsskivor som bootbara via nätverket så man snabbt kan installera operativsystem och göra underhåll utan att vara beroende av CD-läsare eller springa runt med USB-minne. Undrar om man kan boota upp en meny liknande grub eller syslinux där man kan välja olika grejer att boota upp när man bootar via nätverket? Då skulle man kunna ha nätverkskortet först i bootsekvensen och i den där menyn kanske man även kan ha med alternativ att boota lokala hårddiskar? Skulle kunna underlätta datoradministrationen en del och ge roliga alternativ tillgängliga till flera datorer. Om man vill testa någon linuxdist kanske man bara kan slänga ut någon live-cd som nätverksboot och så kan man testköra den från valfri dator i nätverket?

Jag är inte ute efter att köra tunna klienter utan det är normala datorer som kör lagringen på servern istället för lokalt. Men visst man skulle också kunna köra någon maffig dator som delar ut skrivbord till tunna klienter som bootar via nätverket. Kanske klienten är en raspberry Pi som kör något fjärrskrivbord till en virtuell maskin. Men detta får bli något senare projekt i så fall.

FreeNAS ser väl rätt OK ut? Jag tror prestandan är likvärdig (det är mer hårdvaran som sätter gränsen för prestandan). Har inte märkt någon direkt skillnad på prestanda mellan OpenSolaris, FreeBSD och Linux som kört ZFS på samma maskin. Men som sagt var hårdvarustöd kan skilja och då kan det bli skillnad i praktiken om hårdvaran har bättre eller sämre stöd. Har du inte funderat på exempelvis ubuntu med "ZFS on Linux"? Det är enkelt att installera och har hyfsat hårdvarustöd.

http://zfsonlinux.org/faq.html#HowDoIInstallIt

Men det känns nästan lite off-topic. Jag återkommer i tråden när jag testat disklös bootning i praktiken.

Själv leker jag bara, jobbar inom andra områden. Hade antagligen inte varit lika roligt att leka med det om man hade haft det som jobb... Vill lära mig hur det fungerar och har fullt sjå att underhålla datorerna hemma (vi börjar få alltför många nu). Ja det verkar gå att fixa det mesta helt gratis (förutom hårdvaran förstås), särskilt när man kör open source. Men sambon och barnen envisas med Windows så visst är det intressant att kolla in Microsoft-lösningarna också, särskilt om de är gratis.

Hittade lite info om hur man sätter upp en bootmenyträd med PXELINUX.
http://www.syslinux.org/wiki/index.php/PXELINUX
Det verkar inte jättesvårt. Antar att det är liknande bootmenyer man får upp när man bootar en linux livecd (de kör ju oftast syslinux). Varför har jag inte provat detta tidigare? Verkar ju självklart att det är så här man ska ha det i sitt hemnätverk, alla administrationsverktyg tillgängliga via nätverksboot...

En liten uppdatering:

Jag har nu fått det att fungera. Tack vare att jag kör en router med tomato firmware var det precis så enkelt att fixa dhcp-servern som hasenfrasen förklarade innan i tråden och som även förklarat här:
http://www.mythtv.org/wiki/Diskless_Frontend#Tomato

Jag skrev så som hasenfrasen förklarade:

dhcp-boot=pxelinux.0,,192.168.1.11

Min server där jag nu kör tftp har adressen 192.168.1.11

På servern som kör arch linux följde jag sedan denna guide:
https://wiki.archlinux.org/index.php/Network_Installation_Gui...
Men jag hoppade över installationen av DHCP eftersom min tomato-router fixar detta.

Jag fick ändra lite i pxelinux.cfg eftersom det först inte fungerade. Tydligen ville den inte acceptera option "v4". Min "$root/boot/pxelinux.cfg/default" ser nu ut så här:

default linux

label linux
kernel vmlinuz-linux
append initrd=initramfs-linux.img rootfstype=nfs root=/dev/nfs nfsroot=192.168.1.11:/mnt/lager/PXE/arch,rsize=16384,wsize=16384 ip=:::::eth0:dhcp

Jag har rootfilsystemet monterat via NFS på 192.168.1.11:/mnt/lager/PXE/arch

Ett problem jag hade var att min klient inte kom åt internet. Då gjorde jag misstaget att atkivera dhcpcd@eth0.service vid booten (dhcp connect deamon). Det gick jättebra såtillvida att jag fick internetaccess på klienten men då hängde det sig istället vid avstängning. Lösningen var att inaktivera den servicen igen och istället redigera /etc/resolv.conf så att den fick DNS resolvingen att fungera (nätverksanslutning hade jag ju redan). Gjorde ett inlägg om detta på Arch forumet:
https://bbs.archlinux.org/viewtopic.php?pid=1185077#p1185077

Det jag stör mig lite på är att booten är lite långsam innan den kommer igång. Dels att få kontakt med DHCP-servern tar ju en stund och sedan väntar den ytterligare 10 sekunder på att skapa /dev/nfs när den ansluter nfs-rooten. Det kanske går att trimma lite. Sedan undrar jag hur man gör med swap? SKa man strunta i det eller kanske köra med zram swap? Jag har 4GB RAM (har i och för sig dedikerat 512 MB till moderkortets interna grafik, kanske onödigt mycket men jag vill det ska flyta bra sedan när jag kör xbmc så då får jag väl bara 3,5 GB RAM tillgängligt).

Hur som helst rootfilsystemet ligger på ett zfs filsystem på servern med SSD-disk som cache och log och serverns 16 GB RAM hjälper till att cacha rootfilsystemet så det känns snabbt och bra när den bootat färdigt. Jag testade också "Arch Linux Netboot Live System" enligt detta: https://releng.archlinux.org/pxeboot/ innan jag testade min egna installation. Det funkade också bra, jag kunde boota upp installationsmiljön via http direkt över internet (förutom själva startimagen som låg på min server). Via denna kunde jag också starta memtest86+ för minnestest via nätverksboot. Den verkar använda ipxe för bootningen.

Det jag har kvar att fundera på är hur man får en snygg bootmeny där man förutom att boota upp min egna installation får val att boota installationsmedia och annat kul. Kanske olika systemkonfigurationer beroende på vad man vill köra, htpc, desktop och så vidare... Men nu när jag kommit så här långt är det nog bara att köra vidare.

Jag tror man kan chainloada ipxe och sedan boota på iSCSI vilket troligtvis skulle bli min lösning ifall jag skulle vilja köra Windows på klienten. CCboot är säkert bra men det verkar kräva en windows-server vilket inte är aktuellt för min del (min server kör linux).

http://ipxe.org/howto/chainloading

I övrigt så funderar jag på om man kan gå över till statisk ip på klientdatorn när linux bootar upp? Detta kanske skulle göra fördröjningen kortare när den ansluter NFS-rooten och jag föredrar ju ändå att mina datorer har fasta ip-adresser. Ska testa detta. Misstänker att det bara är att ändra inställningarna i /boot/pxelinux.cfg/default så att klienten inte använder dhcp och så får man istället mata in adresserna manuellt.