Swap of death.. Går det att få linux att swappa lika effektivt som windows??... Linux fryser sig vid swappning

Permalänk
Inaktiv
Skrivet av Oegat:

Intressant! Länka gärna till någon av källorna som du fann informativ, när du hinner.

Ja det låter ju inte så konstigt med så lite ram. Om det mesta av det minne du allokerar och använder hamnar i swap blir det ju segt även med swap på nvme.

@Marie SWE
Jag har annars börjat fundera på om problemet som du upplever har med firefox att göra. Kan det vara så att firefox på linux låter innehåll i inaktiva flikar köra vidare, medan firefox på windows sätter dem på paus? Det skulle förklara problemet, för om det som körs i alla flikar kräver > 8Gb, och allt kör igång så fort firefox-processen får fokus, så kommer väl det aktiva minnet att även innehålla sådant som ligger utswappat. Om det inte är buggen som du nämner, då.

Länkarna kommer strax
Jag hade lite mess att jobba ikapp.

Jag har försökt trimma i about:config över denna minneshunger.. och firefox är boven i att dramat uppstår. Men det är ju lika dant i windows.. firefox äter ram.. men denna swaphysterin hanteras olika, där av är ju även OSet del i dramat även om det är firefox som triggar problematiken.
Jag jobbar fortfarande på om det går att trimma om firefox, och hittar jag den lösningen så kommer jag dela med mig av det till omvärlden. Jag är inne på att en av problemet med FF är att den lagrar historiken i ramminnet.. så om man stänger tabbar eller har surfat på 50olika sidor, så ligger det kvar i minnet så det snabbt går att gå bakåt och att den laddar sidan snabbare än att behöva hämta infon via nätet en gång till, så ligger det kvar i ramcachen.. En teori jag jobbar utifrån. Men det gäller ju alla.. win, Mac och linux.

Nu ska jag ta en rökpaus, fylla på kaffet o sedan ska jag öppna upp alla länkar jag sparade om just detta.
Så länkar är på ingång.. liten skärmpaus först bara.

Permalänk
Rekordmedlem
Skrivet av anon309108:

Länkarna kommer strax
Jag hade lite mess att jobba ikapp.

Jag har försökt trimma i about:config över denna minneshunger.. och firefox är boven i att dramat uppstår. Men det är ju lika dant i windows.. firefox äter ram.. men denna swaphysterin hanteras olika, där av är ju även OSet del i dramat även om det är firefox som triggar problematiken.
Jag jobbar fortfarande på om det går att trimma om firefox, och hittar jag den lösningen så kommer jag dela med mig av det till omvärlden. Jag är inne på att en av problemet med FF är att den lagrar historiken i ramminnet.. så om man stänger tabbar eller har surfat på 50olika sidor, så ligger det kvar i minnet så det snabbt går att gå bakåt och att den laddar sidan snabbare än att behöva hämta infon via nätet en gång till, så ligger det kvar i ramcachen.. En teori jag jobbar utifrån. Men det gäller ju alla.. win, Mac och linux.

Nu ska jag ta en rökpaus, fylla på kaffet o sedan ska jag öppna upp alla länkar jag sparade om just detta.
Så länkar är på ingång.. liten skärmpaus först bara.

Men det går att styra ganska bra hur mycket historik och cache som används och du kan ju även välja att rensa allt när webbläsaren stängs.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Inaktiv

Okej.. då tar vi en massa länkar för lite läsning. :D

Då börjar vi med denna.
https://www.reddit.com/r/linux/comments/aqd9mh/memory_managem...
Tråden är riktigt lång, och jag vart typ fyrkantig i ögonen av att läsa den från början till slut med alla underkommentarer o länkar..
Så jag föreslår att läsa den i omgångar med lite pauser.
I den tråden hänvisar de bland annat till några bugg raporter.. dessa har inte jag läst igenom utan sparat för senare läsning då jag satt med ett ideellt projekt samtidigt.. det vart för mycket läsning helt enkelt.
https://bugs.launchpad.net/ubuntu/+source/linux/+bug/159356
https://bugzilla.kernel.org/show_bug.cgi?id=196729
https://bugzilla.kernel.org/show_bug.cgi?id=196729#c13

Ytterligare en tråd på reddit Ganska lång den oxå
https://www.reddit.com/r/linux/comments/94y5m2/the_ram_issue_...
Denna har jag för mig kommer från tråden över o var en länk i en kommentar.
https://marc.info/?l=linux-mm&m=116959990228182&w=2

Här är ett gäng som jag inte riktigt vet om de är relevanta o om jag fått den från diskussionstrådarna eller om det är via google och duckduckgo
https://www.mail-archive.com/linux-kernel@vger.kernel.org/msg...
https://staged-gluster-docs.readthedocs.io/en/release3.7.0bet...
https://lwn.net/Articles/572933/

Lite fler
https://www.phoronix.com/scan.php?page=news_item&px=Linux-Doe...
https://www.oracle.com/technical-resources/articles/it-infras...
https://ngelinux.com/configure-oom-killer-in-linux/
https://www.cyberithub.com/drop-flush-clear-cache-memory-ram-...

Ett mail om swap death redan 1998
http://lkml.iu.edu/hypermail//linux/kernel/9805.2/0707.html
Som jag hittade via denna sidan på wikipedia https://en.wikipedia.org/wiki/Paging
samma ämne https://en.wikipedia.org/wiki/Talk%3APaging

Detta är via wiki oxå, som jag inte mer än öppnat och inte tagit ställning till om det är relevant.
https://en.wikipedia.org/wiki/Memory_overcommitment
https://en.wikipedia.org/wiki/Out_of_memory

Sedan några till som jag bara skummat när jag kikat efter inställningar
https://www.kernel.org/doc/Documentation/sysctl/vm.txt
https://www.kernel.org/doc/Documentation/cgroup-v1/cgroups.tx...
https://www.kernel.org/doc/Documentation/cgroup-v1/memory.txt

Jag har även fler länkar bokmärkta, så jag måste leta upp dem oxå.. Men jag börjar med dessa om ni finner dem intressanta

Permalänk
Inaktiv
Skrivet av mrqaffe:

Men det går att styra ganska bra hur mycket historik och cache som används och du kan ju även välja att rensa allt när webbläsaren stängs.

Ja det magiska ordet "när webbläsaren stängs" *hihi* vilket är när den kraschar eller var 2:e/3:e månad om jag tvingas bota in i annat OS.
Diskcache gör mig inget, jag har gott om plats för några hundratals MB som är default i FF Det är Ramcachen jag tänker på medans FF är startat o körs så att säga.

Permalänk
Inaktiv
Skrivet av FattarNiInte:

Firefox lider av ett generöst användande av fsync() vilket gör att Firefox kan pausa medan all(!) data som håller på att skrivas till disken skrivs.
Jag misstänker att detta problem kan förvärras när datorn swappar.

Här är en potentiell lösning på just det: http://manpages.ubuntu.com/manpages/trusty/man1/eatmydata.1.h...
Men se till att göra backup på ~/.mozilla/ om ni använder det.

Tackar, tackar för länken, det ska jag kika på lite senare.

Permalänk
Rekordmedlem
Skrivet av anon309108:

Ja det magiska ordet "när webbläsaren stängs" *hihi* vilket är när den kraschar eller var 2:e/3:e månad om jag tvingas bota in i annat OS.
Diskcache gör mig inget, jag har gott om plats för några hundratals MB som är default i FF Det är Ramcachen jag tänker på medans FF är startat o körs så att säga.

Men det går även att ställa in hur mycket utrymme som får användas och om det ska vara en fast storlek eller kunna växa till max, det är ju inte riktigt lösningen på ditt grundproblem men det går troligen att få det mycket bättre, dessutom är det ju en stor fördel att köra swap på en separat lagringsenhet så att filsystemet i sig inte blir en lika stor brom för att det ska hantera andra saker samtidigt som swap men mer ram är ju den riktiga lösningen oavsett os, själv har jag 64 Gbyte idag men när det blir dags för DDR5 så lär jag börja med 128 Gbyte om det inte är svindyrt.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem
Skrivet av anon309108:

Det kan jag tala om för dig
Jag har en tro på att jag tror att framtiden för linux-desktop ser ljus ut... linux desktopOS har tagit sig framåt med ganska stora steg sista fem-tio åren i användarvänlighet.. samt att de som utvecklar linux desktop vill att fler från windowsvärlden ska komma över till linux.
Men precis som med allt här i världen när de utvecklar saker så uppstår problem.. men problem är till för att lösas, inte lära sig att leva med. Eller??
Tycker du att man ska resonera så inom buggar med säkerhet oxå.. oj, en bugg, nee vi fixar den inte, det kanske leder till andra problem.. bättre den får vara kvar.
Då hade inte spectre and meltdown problemet blivit fixat om de hade resonerat så.
Precis.. Problemet berör inte dig, då finns inte problemet.
Krigen i världen berör inte dig heller, då antar jag att de inte finns heller
Nice retorik du kör med.

Nopp.. inte en jävel här i världen har ansvar för att just vi ska vara nöjda med linux... Där av är det VÅRAT ansvar att försöka bidra med lösningar istället för att " lära oss att leva med dem"
Och då du är så vass på frågan vad vi tillfört..
Vad har du själv tillfört mer än att beklaga dig att vi inte har identisk uppfattning som dig?
När du svarat på det kan jag tala om för dig vad jag bidragit till.

En liten extra fråga
Varför skrev i i denna tråden om du ändå är ointresserad av problematiken?

Vetefan hur du kan dra upp krig som en jämförelse i detta.... så jag går inte ens in på det. Heller har jag varken kunskap eller lust att sätta mig varför just den buggen inte lösts.

Jag motsätter mig uttryck som leksaksos för att det är samma sak som att pissa på de som håller på att utveckla. Jag tycker man kan hålla inne med sådana uttryck speciellt de som säger det inte bidrar med någon ting och kräver att det ska funka för deras arbetssätt. Om du nu bidrar, så kanske du kan uppskatta det jag säger? Eller hur tycker du när någon säger att ditt arbete borde liknas vid en leksak?
Jag är ingen programmerare på något sätt, men jag har ändå bidragit på de sätten jag kan genom att översätta program, skriva guider och göra teman. Jag gör något i alla fall. Behöver vi ha en pisstävling om det?

Jag skiter i vad du eller andra tycker om mig. Jag har min åsikt om detta och den kommer inte att ändras.

Visa signatur

ASUS ROG STRIX B450-F GAMING - AMD Ryzen 5 3600 3.6 GHz 35MB - Cooler Master - Hyper 212 Black Edition - Corsair 16GB (2x8GB) DDR4 3200Mhz CL16 Vengeance LPX - Kingston A2000 500GB M.2 NVMe - Fractal Design Define C Svart - 2 X Noctua NF-P14s redux-1200 140mm PWM - Corsair RM650X 650W v2 - ASUS GeForce GTX 1060 6GB DUAL OC - Raijintek Morpheus II Heatpipe VGA Cooler - 2 X Noctua NF-P12 120mm PWM - OS Debian 10 Stable

Permalänk
Medlem

Att Linux tyvärr är värdelöst på att hantera OOM situationer är, som du själv skriver, ett problem som alltid har existerat. Förhoppningsvis kommer systemd-oomd https://www.phoronix.com/scan.php?page=news_item&px=Systemd-2... kunna förbättra situationen när den är inne i distros och har fått en bra konfiguration.

Det du kan göra nu är att manuellt köra OOM killern när systemet fryser. För att göra det måste du troligtvis först tillåta det genom att lägga till kernel.sysrq=1 i /etc/sysctl.conf och sedan kan du köra den med Alt+SysRq+F. Och såklart se till att du har tillräckligt med RAM för att täcka ditt normala användande

Permalänk
Medlem
Skrivet av anon309108:

Då börjar vi med denna.
https://www.reddit.com/r/linux/comments/aqd9mh/memory_managem...
Tråden är riktigt lång, och jag vart typ fyrkantig i ögonen av att läsa den från början till slut med alla underkommentarer o länkar..
Så jag föreslår att läsa den i omgångar med lite pauser.
I den tråden hänvisar de bland annat till några bugg raporter.. dessa har inte jag läst igenom utan sparat för senare läsning då jag satt med ett ideellt projekt samtidigt.. det vart för mycket läsning helt enkelt.
https://bugs.launchpad.net/ubuntu/+source/linux/+bug/159356
https://bugzilla.kernel.org/show_bug.cgi?id=196729
https://bugzilla.kernel.org/show_bug.cgi?id=196729#c13

Ytterligare en tråd på reddit Ganska lång den oxå
https://www.reddit.com/r/linux/comments/94y5m2/the_ram_issue_...
Denna har jag för mig kommer från tråden över o var en länk i en kommentar.
https://marc.info/?l=linux-mm&m=116959990228182&w=2

Här är ett gäng som jag inte riktigt vet om de är relevanta o om jag fått den från diskussionstrådarna eller om det är via google och duckduckgo
https://www.mail-archive.com/linux-kernel@vger.kernel.org/msg...
https://staged-gluster-docs.readthedocs.io/en/release3.7.0bet...
https://lwn.net/Articles/572933/

Lite fler
https://www.phoronix.com/scan.php?page=news_item&px=Linux-Doe...
https://www.oracle.com/technical-resources/articles/it-infras...
https://ngelinux.com/configure-oom-killer-in-linux/
https://www.cyberithub.com/drop-flush-clear-cache-memory-ram-...

Ett mail om swap death redan 1998
http://lkml.iu.edu/hypermail//linux/kernel/9805.2/0707.html
Som jag hittade via denna sidan på wikipedia https://en.wikipedia.org/wiki/Paging
samma ämne https://en.wikipedia.org/wiki/Talk%3APaging

Detta är via wiki oxå, som jag inte mer än öppnat och inte tagit ställning till om det är relevant.
https://en.wikipedia.org/wiki/Memory_overcommitment
https://en.wikipedia.org/wiki/Out_of_memory

Sedan några till som jag bara skummat när jag kikat efter inställningar
https://www.kernel.org/doc/Documentation/sysctl/vm.txt
https://www.kernel.org/doc/Documentation/cgroup-v1/cgroups.tx...
https://www.kernel.org/doc/Documentation/cgroup-v1/memory.txt

Jag har även fler länkar bokmärkta, så jag måste leta upp dem oxå.. Men jag börjar med dessa om ni finner dem intressanta

Intressant, jag läste inte hela den första reddit-tråden, däremot första inlägget (där postaren lagt in uppdateringar) och de båda bugrapporterna. Det är lite oklart för mig om det rör sig om en eller flera buggar (dvs om alla som skriver att de är affected egentligen råkat ut för en och samma bugg). Den äldre buggrapporten från 2007 (#159365) är otydligt rapporterad, och postaren säger att han löst problemet genom att "Enabling DMA in the BIOS". Oklart vad det betyder, då han inte säger något om hårdvaran. I den nyare från 2017 (#196729) verkar de komma fram till att problemet inte har med swap att göra, utan att det uppstår även utan swap aktiverat. De som säger något om hur mycket swap som används pratar om ganska lågt swapanvändande (typ 10%), men alla som får problem får det när fysiska minnet är nästan fullt. Det är också ett problem som verkar ha återvänt från att ha varit borta i kerneln (enligt användare som testat systematiskt med nyare och äldre kernels, någonstans i buggtråden).

Jag testade begränsa minnet till 2Gb på min 10 år gamla AMD-burk, och se om jag kunde reproducera problemet (kernel 5.4.0, lubuntu 20.04). Med 2Gb ram + 4Gb swap så betedde sig systemet som väntat, den började swappa när den skulle och allt gick segare men systemet gick fint att använda. Jag försökte inte fylla swappen. Med 2Gb och ingen swap så fick jag nästan exakt det beteende som nämns hos phoronix som du länkar: systemet frös i minst 10 minuter, muspekaren kunde röra sig endast i hopp om 50 pixlar per 10-20s, typ. Jag kunde inte se om ssd:n arbetade, för jag har ingen sån lampa. När jag återvände efter ca 20 min så hade OOM-killer sparkat in och dödat innehållet i en Firefox-flik. Då svarade systemet igen. Men jag tror inte att det är samma problem som du upplever, för jag hade som sagt inget problem att fylla minnet så länge det fanns ledig swap. Att Linux väntar länge med att döda en process behöver inte vara en bugg i sig, det är nog ett designbeslut att prioritera att försöka ge processerna en chans att köra färdigt (men går säkerligen att tweaka till ett mer desktop-vänligt beteende).

Här är mejlet som refereras till hos phoronix. Vad som är intressant är skribenten rapporterar att disklampan lyser konstant när det händer, trots avsaknad av swap, precis som i buggrapporterna. Så diskaktiviteten behöver inte vara relaterad till buggen!

Sammanfattningsvis, det verkar på buggrapporterna som att det inte är ett swap-problem som beskrivs. MEN det verkar som att tokaktiv disk är ett symptom ändå, vilket betyder att det faktum att du ser konstant diskaktivitet kan vara helt oberoende av swap. Du verkar ju till skillnad från buggrapporterna ha lyckats fylla swappen en bra bit, dvs det fryser inte för dig redan när minnet fyllts första gången (om det inte är så att swap fylls långsamt även efter att problemet uppstått). Det är inte heller ett Out Of Memory-fenomen för vare sig dig eller de som skrivit buggrapporter - eftersom du har ledig swap, så förväntas inte systemet börja döda processer.

Förstod jag dig rätt att du bara försökt olika lösningar på ett körande system som redan är fast i thrashande, du har inte startat om, ändrat parametrar, och sett om problemet uppstår igen? Jag tror att det är väldigt svårt att felsöka ett sådant system utan omstarter, tyvärr. Jag tror att firefox kommer ihåg flikarna efter en krasch, så jag gissar (men är inte säker) att du lätt kan öppna allt igen om du gör en hård reset. Då kan du dessutom systematiskt gå igenom och ladda in varje flik allt eftersom, och bevaka minnesanvändningen under tiden.

Visa signatur

Här hade jag en historik sen 1990-talet, men den blev tillslut för lång. Aktiva maskiner 2022-framåt:
Work/Play/Everythingstation: AMD Epyc 7443p, Pop OS host, Win10 + Linux guests (KVM/Qemu)
Work/Play nr 2: AMD Phenom II 1090t, Debian + Win 10 (dual boot)
Server x3: Epyc 7252 (TrueNAS Core), Atom 2550 (FreeBSD, backup), Opteron 6140 (Ubuntu, off prem backup)
Retrohörna under uppbyggnad: Dual Pentium Pro 200MHz, Pentium P54C 90MHz, Gravis Ultrasound MAX

Permalänk
Inaktiv
Skrivet av Eazy:

Vetefan hur du kan dra upp krig som en jämförelse i detta.... så jag går inte ens in på det. Heller har jag varken kunskap eller lust att sätta mig varför just den buggen inte lösts.

Jag motsätter mig uttryck som leksaksos för att det är samma sak som att pissa på de som håller på att utveckla. Jag tycker man kan hålla inne med sådana uttryck speciellt de som säger det inte bidrar med någon ting och kräver att det ska funka för deras arbetssätt. Om du nu bidrar, så kanske du kan uppskatta det jag säger? Eller hur tycker du när någon säger att ditt arbete borde liknas vid en leksak?
Jag är ingen programmerare på något sätt, men jag har ändå bidragit på de sätten jag kan genom att översätta program, skriva guider och göra teman. Jag gör något i alla fall. Behöver vi ha en pisstävling om det?

Jag skiter i vad du eller andra tycker om mig. Jag har min åsikt om detta och den kommer inte att ändras.

Jag skrev aldrig Leksaks OS.. hade du bemödat dig med att läsa, så hade du sett att jag påpekar att Linux är nummer ett inom servervärlden.. är det att pissa på någons arbete?

Jag skrev att Linux som DesktopOS har en ljus framtid men inte riktigt där ÄNNU.. där med inte lika pålitligt i krävande arbetsmiljö och där mer kanske lite mer som ett privat hemmabruks OS än så länge.. hemmabruks os är samma sak som hobbyOS. Man har det för att det duger till det man gör hemma. och mitt första uttalande var i inlägget #18799043 citat: eller ska man stämpla linux desktop som "hobby OS" och inte ett kontors/arbetsOS? jag tycker det vore sorgligt i så fall, för jag gillar konceptet med linux.
Är detta uttalandet att pissa på någons arbete???
Jag tror inte aftonbladet och andra stora redaktioner med grävande journalister som belastar webbläsarna så OS'et spyr i deras efterforskningar skulle acceptera att OS'et fryser sig och arbetet kanske går förlorat.. där av använder de windows och även kanske macOS. Sorry chefen, datorn har hamnat i swap of death, så jag når inte deadline. Sorry.. kanske lite spydigt, men poäng iallafall.

Det jag försöker åstadkomma med denna tråden och med alla er andras underbara expertis, kunskaper, erfarenheter och idéer då jag är nybörjare på linux är att bidra till en lösning på varför fenomenet swap of death uppstår i desktopmiljö och kanske en lösning på problemet som då utvecklarna sedan kan få denna informationen för att utveckla linux ännu mer i desktop miljö som går att lita på till 100%
Detta inte bara för egen skull utan för alla andra windows vana användare och småföretagare som sitter med lågprestanda maskiner o vill fly win10spyware till Linuxvärlden.
En windowsanvändare som måste köpa ny hårdvara för att använda linux, de kommer välja Mac om de vill fly win.. macOS är lättare att gå över till som windowsanvändare.. Men kan de byta till Linux på sin nuvarande hårdvara så kan det vara lockande för dem om de kan förlita sig på att det fungerar. och Linux marknadsandelar kommer öka... företag som bank-id osv kanske börjar supporta sina produkter till Linux..
Så om då Sweclockers medlemmar hittar en lösning så kanske till och med sweclockers kan hamna i historieböckerna.

Är det att pissa på OS'et när man vill hjälpa till att få det bättre???

Jag har bidragit med väldigt mycket dock inte i linuxvärlden ännu... och jag får nämna det mesta jag gjort men "Pisstävlingen" som du uttrycker dig är bara för att glänsa, lika meningslöst som att berätta att man är medlem i Mensa. Det gynnar inte andra.
90% av det jag gör är totalt ideellt och jag gör det för att det ska gynna alla andra.. Jag tar väldigt sällan credit för mina insatser och mitt arbete.. Jag försöker även nu att bidra för andras skull och Sweclockers nuvarande och framtida linux sugna medlemmar... är inte det hela grejen med Linux-ideologin?

Och om du nu skiter i vad andra tycker, så varför skriver du i denna tråden för.. Snälla väx upp lite och få inte hjärtattack o frispel bara för att någon i ditt tycke använder lite "lösa ord"... Det var inte ett personangrepp, utan ett uttryck för frustration på sin höjd..

Folk här inne är super underbara människor och alla försöker ju hjälpa alla i gott syfte och helt ideellt. Det är därför jag valde att starta diskussionen här istället för ett Linux forum.
Så tagga ner lite.... okej?
Det är sista uppmärksamheten du får från mig här inne.. men jag ville besvara det, så alla andra får ta del av min avsikt med denna tråden. För att Gynna Linux framtid på low end maskiner för privatpersoner o småföretag.

Permalänk
Inaktiv

Vad tycker ni andra?
Ska vi försöka se om vi kan hitta en lösning eller ska vi lägga ner tråden?

Permalänk
Sötast

Det här är Masochism på hög nivå.

1. Använda HDD när det är oftantligt mycket långsammare.
2. Använda toklite ram för tokmycket arbete vilket skapar swap, mot HDD av allt.
3. Låta den tugga i flera timmar medans du aktivt eller passivt monitorerar hur illa det går.

Varför gör du inte dig själv den enorma tjänsten och köper 3stycken 8GB stickor ram till dina laptops?
Din förlorade tid (om du inte ökar din last) går ifrån flera timmar om och om igen till 0H 0M 0S och ditt masochistiska självplågeri kan försvinna... för 900:-

// Jag har i övrigt stött på samma problem som dig. Jag testade köra företagets ubuntu-version i en virtuell maskin och jag hade råkat lägga till för lite ram, den började swappa och hela systemet låste sig i totalpanik.
Jag gav det c:a 3 minuter sedan startade jag om den och puttade in 2GB ram till och vipps så var systemet responsivt igen.

Om vi skall ta mitt svar som problemlösning så försöker du köra 40Mil på en 20Liters tank. Jag föreslår att bygga ut tanken istället för att konvertera till en annan modell

Permalänk
Inaktiv
Skrivet av Oegat:

Intressant, jag läste inte hela den första reddit-tråden, däremot första inlägget (där postaren lagt in uppdateringar) och de båda bugrapporterna. Det är lite oklart för mig om det rör sig om en eller flera buggar (dvs om alla som skriver att de är affected egentligen råkat ut för en och samma bugg). Den äldre buggrapporten från 2007 (#159365) är otydligt rapporterad, och postaren säger att han löst problemet genom att "Enabling DMA in the BIOS". Oklart vad det betyder, då han inte säger något om hårdvaran. I den nyare från 2017 (#196729) verkar de komma fram till att problemet inte har med swap att göra, utan att det uppstår även utan swap aktiverat. De som säger något om hur mycket swap som används pratar om ganska lågt swapanvändande (typ 10%), men alla som får problem får det när fysiska minnet är nästan fullt. Det är också ett problem som verkar ha återvänt från att ha varit borta i kerneln (enligt användare som testat systematiskt med nyare och äldre kernels, någonstans i buggtråden).

Jag testade begränsa minnet till 2Gb på min 10 år gamla AMD-burk, och se om jag kunde reproducera problemet (kernel 5.4.0, lubuntu 20.04). Med 2Gb ram + 4Gb swap så betedde sig systemet som väntat, den började swappa när den skulle och allt gick segare men systemet gick fint att använda. Jag försökte inte fylla swappen. Med 2Gb och ingen swap så fick jag nästan exakt det beteende som nämns hos phoronix som du länkar: systemet frös i minst 10 minuter, muspekaren kunde röra sig endast i hopp om 50 pixlar per 10-20s, typ. Jag kunde inte se om ssd:n arbetade, för jag har ingen sån lampa. När jag återvände efter ca 20 min så hade OOM-killer sparkat in och dödat innehållet i en Firefox-flik. Då svarade systemet igen. Men jag tror inte att det är samma problem som du upplever, för jag hade som sagt inget problem att fylla minnet så länge det fanns ledig swap. Att Linux väntar länge med att döda en process behöver inte vara en bugg i sig, det är nog ett designbeslut att prioritera att försöka ge processerna en chans att köra färdigt (men går säkerligen att tweaka till ett mer desktop-vänligt beteende).

Här är mejlet som refereras till hos phoronix. Vad som är intressant är skribenten rapporterar att disklampan lyser konstant när det händer, trots avsaknad av swap, precis som i buggrapporterna. Så diskaktiviteten behöver inte vara relaterad till buggen!

Sammanfattningsvis, det verkar på buggrapporterna som att det inte är ett swap-problem som beskrivs. MEN det verkar som att tokaktiv disk är ett symptom ändå, vilket betyder att det faktum att du ser konstant diskaktivitet kan vara helt oberoende av swap. Du verkar ju till skillnad från buggrapporterna ha lyckats fylla swappen en bra bit, dvs det fryser inte för dig redan när minnet fyllts första gången (om det inte är så att swap fylls långsamt även efter att problemet uppstått). Det är inte heller ett Out Of Memory-fenomen för vare sig dig eller de som skrivit buggrapporter - eftersom du har ledig swap, så förväntas inte systemet börja döda processer.

Förstod jag dig rätt att du bara försökt olika lösningar på ett körande system som redan är fast i thrashande, du har inte startat om, ändrat parametrar, och sett om problemet uppstår igen? Jag tror att det är väldigt svårt att felsöka ett sådant system utan omstarter, tyvärr. Jag tror att firefox kommer ihåg flikarna efter en krasch, så jag gissar (men är inte säker) att du lätt kan öppna allt igen om du gör en hård reset. Då kan du dessutom systematiskt gå igenom och ladda in varje flik allt eftersom, och bevaka minnesanvändningen under tiden.

jag förstår att du inte läste hela tråden, jag vart fyrkantig när jag läste den. *hihi* Fast jag höll på med en annan research som hade deadline, så jag hade inte så stort fokus på detta fenomenet kan jag ju erkänna.

Ja det med DMA sökte jag lite på oxå, men jag kom ingen vart just då. och jag tror som dig att swap death som de beskriver inte är 100% swap utan mer en i/o disk prio, där minnet blir fullt och diskens aktivitet blir 100% och där med får förtur fryser systemet... lite mer som att problemet verkar vara något med minneshanteringen att de sakerna som ska rädda situationen aktiveras för sent och när det väl sker så blir det en "gå o ta en kaffe paus" effekt.
Det skulle vara sååå intressant om man var programmerare o kan källkod att kika på kerneln och jämföra hur den arbetar i jämförelse med windows... nu när windows källkod finns ute på vift.

Japp det stämmer att jag testade utan att boota om maskinen, då jag tyvärr inte hade möjligheterna.
Så fort jag får upp mina labb-datorer igen så ska jag testa varje idé ni tänkt på, då det inte gör något om jag totalkraschar OS'et på köpet.
Idag krascha min bärbara i5:a medans jag gick o laga mat.. 19:16 gick datorn fint.. 92% använd ram.. runt 4GB använd swap.. När jag kom tillbaka ca40minuter senare var datorn avstängd... den är inställd att gå i vänteläge efter 3timmar då jag brukar glömma att den är på. *haha*
Inte en ända log avslöjar vad som hänt... sista tidstämpeln i loggarna var 18:14 och sedan inte något förrän jag bootade upp den igen.
Det hade varit intressant att veta vad som hände, ifall det var detta fenomenet som uppstod, men att systemet krascha denna gången då jag inte avbröt processen... och massor jag hade sparat i en textredigerare är totalt borta, då jag inte hade sparat ner det ännu..
Jag får börja använda Libre writer, så den autosparar... Ny lärdom för dagen.

Permalänk
Inaktiv
Skrivet av Allexz:

Det här är Masochism på hög nivå.

1. Använda HDD när det är oftantligt mycket långsammare.
2. Använda toklite ram för tokmycket arbete vilket skapar swap, mot HDD av allt.
3. Låta den tugga i flera timmar medans du aktivt eller passivt monitorerar hur illa det går.

Varför gör du inte dig själv den enorma tjänsten och köper 3stycken 8GB stickor ram till dina laptops?
Din förlorade tid (om du inte ökar din last) går ifrån flera timmar om och om igen till 0H 0M 0S och ditt masochistiska självplågeri kan försvinna... för 900:-

// Jag har i övrigt stött på samma problem som dig. Jag testade köra företagets ubuntu-version i en virtuell maskin och jag hade råkat lägga till för lite ram, den började swappa och hela systemet låste sig i totalpanik.
Jag gav det c:a 3 minuter sedan startade jag om den och puttade in 2GB ram till och vipps så var systemet responsivt igen.

Om vi skall ta mitt svar som problemlösning så försöker du köra 40Mil på en 20Liters tank. Jag föreslår att bygga ut tanken istället för att konvertera till en annan modell

Självklart :D.. är inte BDSM en inne grej just nu. *hihi*

Tyvärr är det tragiska just nu, att jag har inte ens 100kr att lägga på ramminnen.. jag har precis lagt mina sista besparingar på sommarbilen och allt vardagligt får ekonomi-prio nu tills jag får en bättre inkomst igen.
Men så fort jag får igång mina stationära igen, så kommer problemet vara tillfälligt kringgått då de har mer ram, nyare hårdvara och fler diskar... eventuellt får det bli små ssd diskar för swap på dem framöver.
Men jag graderade upp mina bärbara de med 4GB till 8GB och den med 6GB till 10GB efter 4månader med Linux.. jag trodde det skulle räcka.. men "tro" ska man göra i kyrkan har jag hört folk säga. *hihi*

*hahaha* Men det är iiiinga problem med 40mil på en 20liters tank..... Det är bara att lifta med en biltrailer de sista 20milen.
Jag förstår vad du menar med uttrycket
Men det skulle vara kul att kunna lösa fenomenet så att fler med gammal hårdvara kan börja använda linux.. Lite second hand/second chance och även lite politiskt korrekt att kunna minska på konsumtion hysterin.
Men även de med riktigt usel ekonomi får möjlighet att överta släktingars gamla datorer.

Enligt de flesta distros hårdvaru-rekommendationer så står det typ 20GB hårddisk, 2 till 4GB ram.. så det vore ju kalas om man kan få det att fungera på 8GB smärtfritt.
Linux mint 20
1GB RAM (2GB recommended for a comfortable usage).
15GB of disk space (20GB recommended).
1024×768 resolution (on lower resolutions, press ALT to drag windows with the mouse if they don’t fit in the screen).

ubuntu 20
4 GiB RAM (system memory)
25 GB of hard-drive space (or USB stick, memory card or external drive but see LiveCD for an alternative approach)
VGA capable of 1024x768 screen resolution

Debian 10
2 GB RAM.
2 GHz Dual Core Processor.
10 GB Free Hard disk space.

Men jag älska ditt intro... Citat: Det här är Masochism på hög nivå.

Permalänk
Sötast
Skrivet av anon309108:

Självklart :D.. är inte BDSM en inne grej just nu. *hihi*

Tyvärr är det tragiska just nu, att jag har inte ens 100kr att lägga på ramminnen.. jag har precis lagt mina sista besparingar på sommarbilen och allt vardagligt får ekonomi-prio nu tills jag får en bättre inkomst igen.
Men så fort jag får igång mina stationära igen, så kommer problemet vara tillfälligt kringgått då de har mer ram, nyare hårdvara och fler diskar... eventuellt får det bli små ssd diskar för swap på dem framöver.
Men jag graderade upp mina bärbara de med 4GB till 8GB och den med 6GB till 10GB efter 4månader med Linux.. jag trodde det skulle räcka.. men "tro" ska man göra i kyrkan har jag hört folk säga. *hihi*

*hahaha* Men det är iiiinga problem med 40mil på en 20liters tank..... Det är bara att lifta med en biltrailer de sista 20milen.
Jag förstår vad du menar med uttrycket
Men det skulle vara kul att kunna lösa fenomenet så att fler med gammal hårdvara kan börja använda linux.. Lite second hand/second chance och även lite politiskt korrekt att kunna minska på konsumtion hysterin.
Men även de med riktigt usel ekonomi får möjlighet att överta släktingars gamla datorer.

Enligt de flesta distros hårdvaru-rekommendationer så står det typ 20GB hårddisk, 2 till 4GB ram.. så det vore ju kalas om man kan få det att fungera på 8GB smärtfritt.
Linux mint 20
1GB RAM (2GB recommended for a comfortable usage).
15GB of disk space (20GB recommended).
1024×768 resolution (on lower resolutions, press ALT to drag windows with the mouse if they don’t fit in the screen).

ubuntu 20
4 GiB RAM (system memory)
25 GB of hard-drive space (or USB stick, memory card or external drive but see LiveCD for an alternative approach)
VGA capable of 1024x768 screen resolution

Debian 10
2 GB RAM.
2 GHz Dual Core Processor.
10 GB Free Hard disk space.

Men jag älska ditt intro... Citat: Det här är Masochism på hög nivå.

Hahaha glad att du älskade mitt intro

Du har dominanta tendenser helt klart. 🤣😌Du har inte löst problemet förrän det är gjort på ditt eget vis.jag ställer upp hela vägen.... Men förvänta dig att jag lurar dig ofta och trotsar allt jag kan 😂😂😍😂😂

Systemkraven är väl mest för vad du kan förvänta dig rendera skrivbordet smärtfritt. Sen jobbar du ju på som en mindre galning på det

Permalänk
Medlem

Det är lite väl mycket folk ibland som gnäller och skriker som fågelungar i ett fågelbo över de olika problemen i linux och linux-kärnan och hoppas att någon annan skall lösa problemen åt dem, men det är en del jobb och är det för irriterande så får man kanske ta och studera in det hela själv och så småningom kanske bidrar med någon konstruktivt i kodväg - och vill man inte göra det och ta svetten som detta innebär så skall man fan inte gnälla!!

Betalar man inte för produkterna och miljön så finns det heller ingen skyldighet från utvecklarnas sida att lyssna på gnället. fungerar det inte - använd det inte!!

---

Idag är också viktigt att snurrdiskarna har sin write-cache aktivt

Kolla med "hdparm -W /dev/sdxx" (obs STORT W !!) att det är '1' - annars är det Masochism i kvadrat - och ja, linux gillar snurrdiskar med stor intern RAM-mängd på drivern och är det bara 16/32 MB på drivern så är det ...synd och en av många förklaring till bedrövlig prestanda när det swappar.

Det swappar ofta på 4K-nivå i slumpmässig ordning och en snurrdisk är som bekant inte bra på slumpvisa accesser snabbt efter varandra hela tiden och håller man över 50-100 st 4k-sektorer/s i random sök så får man vara nöjd - och det är inte mer än runt 200 kByte/s in och ut ur RAM-minnet...

---

Swapp-area på disk fungerar så länge programmet har en stor statisk del som sällan anropas och att applikationen inte hela tiden rullar runt datat och dra in/ut hela tiden eller söka igenom hela allokerade rammängden ofta/hela tiden (som tex. en stor hash-tabell vida större än RAM-minnet som tex. en dedupliceringsprogram där man ropa i den delen av ramminnet med hashvärden som precis innan hade slängts ut och så rullar det på med konstant swappning)

Om det är firefox som är bekymret och hela tiden går igenom hela sin datamängd om och om igen för de olika flikarna och ingen data kan vara statiskt utswappad en längre tid så spelar det ingen roll vilken swap-algoritm man använder då en lagring oavsett SSD eller snurrdisk är tusentals gånger långsammare än sökning i RAM-minne.

I det fallet kanske man inte skall bara skylla på linux utan hur objektorienterade folket slösar på RAM i stora mått med sina dynamiska objekt i tex firefox som hela tiden allokeras och reallokerars, görs arv på etc. - ibland önska man att många som hanterar i 'högnivåspråk' fick tvingas att programmera en kontroller med 4 kByte kodvolym och 200 byte med RAM varav 1/3-del är mappad mot IO eller reserverad för 8-nivå stack. dessutom att det inte skall krascha/hänga sig eller bete sig oplanerat även efter 3 års kontinuerlig drift utan omstart hela den tiden - då får man helt annan respekt i att hantera RAM-minne och varenda bit räknas och användas till maximal nytta...

Det värsta hittills jag kört var en backupprocess deduplicering ...
- när när swappen var på nära stumfyllda 28 GB swap-area mot en SSD-swapdisk på en 4 GB RAM-linux maskin som tuggade en borgbackup mot en disk med 8TB data som dessutom var gjort med urbackup och därmed många subvolymer och reflinkar mellan filerna (som inte borg såg att de hängde ihop på samma sätt som med hårda länkar utan ser det som filträd och därmed indexeras/hashas i varenda gren) i många set (typ tillsammans närmade sig > 32TB med data) - så gick det faktiskt trögt ordentligt i slutet innan jag gav upp - men det stannade inte och största problemet var när borgbackup gjorde en mellan-sparande då alla dessa 28 GB med till stor del hash-data skulle gås igenom och friseras, köras ned på disk och sedan laddas tillbaka - då var det borta i kvart och problemet började att tiden för mellansparningarna tog längre tid än själva tuggandet (som på något sätt fungerade ändå rätt bra fart trots sökning i > 28 GB stor intern hashtabell och det swappade in och ut hela tiden) - jo jag fick ge upp till slut när mellansparningarna tog nära lika mycket tid som mellanrummen mellan mellansparningarna (halvtimme)...

Detta gjordes mot (förvisso billig) SSD som swapenhet och trots SSD var jag inte imponerad av prestandan och det var nog 4K-sektor flaskhalsen mot SSD:n det låg på mest hela tiden. - hur det skulle ha gått med snurrdisk vill jag inte ens tänka på...

Permalänk
Medlem

Läser med viss fas-cination, viss fas-a...

Generellt betraktas Linux som resurssnålt så halvgammal hårdvara som inte orkar Windows 10 64-bit kan prestera hyggligt med någon Linux-distro. MEN det betyder ju inte att Linux kan trolla med knäna och pressa in gigabyte med flikar UTAN gigabyte med RAM. Just webbläsare torde dessutom redan belasta disken hyggligt mycket genom att cache:a sidor, bilder och allt den hämtar så börjar datorn swappa mot samma snurrdisk blir det dubbelt segt - vilket lär gälla alla system (Linux, Windows, ...).

Sen det här att lyssna på goda råd från andra. TS verkar inte vilja göra det. Alls. Jag jobbar med datorer och kan köpa den utrustning jag behöver. Men vad skulle jag med 3-5 bärbara till? Plus ett antal stationära? Men ingen med varken SSD eller tillräckligt med RAM för att det jobb man försöker göra? Det är liksom... helt befängda självpåtagna tvångströjor.

Om det nu blir timslånga väntetider (?!) av att öppna många flikar, gör inte det. Hantera det på annat sätt. Är det många källor att korsreferera, klipp in i långt dokument. Håll reda på en serie bokmärken men öppna inte alla samtidigt. Eller... skaffa lite mer minne - fast tydligen tjänas inga stålar alls på den omfattande researchen då varken SSD eller minne till EN vettig dator kan ordnas. Men offra en dator och ta minnet från den och sätt i EN bättre - hellre EN maskin med 16 GB RAM än många med bara 8 GB.

Behövs flera miljöer är virtuella maskiner som kan köras, You guessed it: i EN hyggligt utrustad dator så mycket smidigare och mer kostnadseffektivt än att underhålla och uppdatera ett lass halvgamla häckar (gäller både stationära och bärbara).

Skriver på min hyggligt nya Dell XPS 17, den "fick kosta" som riktig jobbdator. Kunde skaffat 32 GB RAM men valde medvetet 16 GB då det går fortare både till och från viloläge även med NVME-disk på 1 TB. Har ofta många flikar öppna i både Firefox och Chrome ibland även Edge och gamla IE (!), ThunderBird, Word, Excel, X2Go mot servrar, Cura, Fusion 360, Inkscape, Photoshop 6.0 (!) och Corel Video Studio - minnet räcker och sällan jag får vänta mer än någon sekund på programstart. Ny flik på nolltid. Begränsningen är mer hos mig själv. Enklare att stänga ner ett par flikar eller program och göra klart någon sak i taget med ett par av programmen.

Bill Gates har beskyllts för att ha sagt mycket dumt, men 1980 sa han "A computer on every desk and in every home" vilket var visionärt då, men idag är "One computer on every desk" med betoning på "one" att föredra - och tekniskt möjligt om man bara "vill" (fast jag har även en liten Mac för att testa en del på ibland då Apple inte "vill" köras virtuellt...).

Visa signatur

Dell XPS 17 - RTX 2060 - 4k touch - ersätter MSI GS73VR efter tre år
Byggen: Simply Red med 950 Pro - Liten Lian Li

Permalänk
Medlem
Skrivet av anon309108:

Vad tycker ni andra?
Ska vi försöka se om vi kan hitta en lösning eller ska vi lägga ner tråden?

Den här tråden är bästa på länge. Tack för den. Hoppas vi får klarhet om det finns några lösningar. 😀️👍️

Permalänk
Inaktiv
Skrivet av Allexz:

Hahaha glad att du älskade mitt intro

Du har dominanta tendenser helt klart. 🤣😌Du har inte löst problemet förrän det är gjort på ditt eget vis.jag ställer upp hela vägen.... Men förvänta dig att jag lurar dig ofta och trotsar allt jag kan 😂😂😍😂😂

Systemkraven är väl mest för vad du kan förvänta dig rendera skrivbordet smärtfritt. Sen jobbar du ju på som en mindre galning på det

*hihi* jaaa, lite humor måste man ha asså... framförallt tycker jag det är extra viktigt nu i en coronadyster värld som vi tacklas med. ett gott skratt förgyller dagen.

ahaaa... du skickar mig på lite spökjakt lite då o då framöver... det låter spännande.

Det kan ju vara så att det finns ingen lösning... men man vet ju inte med säkerhet förrän man har kikat i varje hörn o testat allt tills datorn exploderar typ.

Permalänk
Medlem
Skrivet av anon309108:

Jag skrev aldrig Leksaks OS.. hade du bemödat dig med att läsa, så hade du sett att jag påpekar att Linux är nummer ett inom servervärlden.. är det att pissa på någons arbete?

Om DU hade bemödat dig att läsa så har jag inte pekat ut dig att använda uttrycket leksaksos, Jag sa NI. Det är andra som skrivit det, inte du. Om du tar åt det av det är inte mitt fel. Varför du ens vill försvara det heller förstår jag inte. Du må vara trådskapare, men det är andra som har skrivit i tråden samtidigt.

Jag hade tänkt att låta detta passerar... Du jämställer en bug med krig och att som såna som mig inte bryr sig om det och summerar det som att det är min retorik? Hur understår du dig? Du känner inte mig och du vet inget om min retorik.

Du verkar inte läsa eller förstå vad jag skrivit. Du vrider och vänder på det jag skrivit jäkla konstigt så jag knappt hänger med. Gör du det ens själv? Vänta, svara inte, jag kommer ändå inte skriva mer här.

Tråden borde låsas.

Visa signatur

ASUS ROG STRIX B450-F GAMING - AMD Ryzen 5 3600 3.6 GHz 35MB - Cooler Master - Hyper 212 Black Edition - Corsair 16GB (2x8GB) DDR4 3200Mhz CL16 Vengeance LPX - Kingston A2000 500GB M.2 NVMe - Fractal Design Define C Svart - 2 X Noctua NF-P14s redux-1200 140mm PWM - Corsair RM650X 650W v2 - ASUS GeForce GTX 1060 6GB DUAL OC - Raijintek Morpheus II Heatpipe VGA Cooler - 2 X Noctua NF-P12 120mm PWM - OS Debian 10 Stable

Permalänk
Inaktiv
Skrivet av xxargs:

Det är lite väl mycket folk ibland som gnäller och skriker som fågelungar i ett fågelbo över de olika problemen i linux och linux-kärnan och hoppas att någon annan skall lösa problemen åt dem, men det är en del jobb och är det för irriterande så får man kanske ta och studera in det hela själv och så småningom kanske bidrar med någon konstruktivt i kodväg - och vill man inte göra det och ta svetten som detta innebär så skall man fan inte gnälla!!

Betalar man inte för produkterna och miljön så finns det heller ingen skyldighet från utvecklarnas sida att lyssna på gnället. fungerar det inte - använd det inte!!

---

Idag är också viktigt att snurrdiskarna har sin write-cache aktivt

Kolla med "hdparm -W /dev/sdxx" (obs STORT W !!) att det är '1' - annars är det Masochism i kvadrat - och ja, linux gillar snurrdiskar med stor intern RAM-mängd på drivern och är det bara 16/32 MB på drivern så är det ...synd och en av många förklaring till bedrövlig prestanda när det swappar.

Det swappar ofta på 4K-nivå i slumpmässig ordning och en snurrdisk är som bekant inte bra på slumpvisa accesser snabbt efter varandra hela tiden och håller man över 50-100 st 4k-sektorer/s i random sök så får man vara nöjd - och det är inte mer än runt 200 kByte/s in och ut ur RAM-minnet...

---

Swapp-area på disk fungerar så länge programmet har en stor statisk del som sällan anropas och att applikationen inte hela tiden rullar runt datat och dra in/ut hela tiden eller söka igenom hela allokerade rammängden ofta/hela tiden (som tex. en stor hash-tabell vida större än RAM-minnet som tex. en dedupliceringsprogram där man ropa i den delen av ramminnet med hashvärden som precis innan hade slängts ut och så rullar det på med konstant swappning)

Om det är firefox som är bekymret och hela tiden går igenom hela sin datamängd om och om igen för de olika flikarna och ingen data kan vara statiskt utswappad en längre tid så spelar det ingen roll vilken swap-algoritm man använder då en lagring oavsett SSD eller snurrdisk är tusentals gånger långsammare än sökning i RAM-minne.

I det fallet kanske man inte skall bara skylla på linux utan hur objektorienterade folket slösar på RAM i stora mått med sina dynamiska objekt i tex firefox som hela tiden allokeras och reallokerars, görs arv på etc. - ibland önska man att många som hanterar i 'högnivåspråk' fick tvingas att programmera en kontroller med 4 kByte kodvolym och 200 byte med RAM varav 1/3-del är mappad mot IO eller reserverad för 8-nivå stack. dessutom att det inte skall krascha/hänga sig eller bete sig oplanerat även efter 3 års kontinuerlig drift utan omstart hela den tiden - då får man helt annan respekt i att hantera RAM-minne och varenda bit räknas och användas till maximal nytta...

Det värsta hittills jag kört var en backupprocess deduplicering ...
- när när swappen var på nära stumfyllda 28 GB swap-area mot en SSD-swapdisk på en 4 GB RAM-linux maskin som tuggade en borgbackup mot en disk med 8TB data som dessutom var gjort med urbackup och därmed många subvolymer och reflinkar mellan filerna (som inte borg såg att de hängde ihop på samma sätt som med hårda länkar utan ser det som filträd och därmed indexeras/hashas i varenda gren) i många set (typ tillsammans närmade sig > 32TB med data) - så gick det faktiskt trögt ordentligt i slutet innan jag gav upp - men det stannade inte och största problemet var när borgbackup gjorde en mellan-sparande då alla dessa 28 GB med till stor del hash-data skulle gås igenom och friseras, köras ned på disk och sedan laddas tillbaka - då var det borta i kvart och problemet började att tiden för mellansparningarna tog längre tid än själva tuggandet (som på något sätt fungerade ändå rätt bra fart trots sökning i > 28 GB stor intern hashtabell och det swappade in och ut hela tiden) - jo jag fick ge upp till slut när mellansparningarna tog nära lika mycket tid som mellanrummen mellan mellansparningarna (halvtimme)...

Detta gjordes mot (förvisso billig) SSD som swapenhet och trots SSD var jag inte imponerad av prestandan och det var nog 4K-sektor flaskhalsen mot SSD:n det låg på mest hela tiden. - hur det skulle ha gått med snurrdisk vill jag inte ens tänka på...

Men det är ju så det fungerar överlag i ideella världen.. oavsett om det handlar om att hjälpa till o sätta upp kvarterets grillkväll eller stora projektarbeten... ingen vill göra det, för att de inte "tjänar" på det.. men de glömmer att de tjänar ju massor på det i slutänden bara att de inte fick betalt i pengar eller prylar.
Jag känner ju en inre glädje om jag känner att jag gjort något som gör någon annan glad och saker som gynnar en grupp... det är därför jag ofta pyssla med ideella saker.
Så nu när jag är sjukskriven så behöver jag något att sysselsätta hjärnan med.. så då tänkte jag att detta med swapp har jag haft återkommande problem med sedan jag börja med linux för 2år sedan.. och när jag började forska lite i det så fick jag insikt i att det handlar inte specifikt om swapp utan det var en större grej som hängt med i linuxvärden under massor år.. Och det är ju så att problem är till för att lösas.. så varför inte ge det ett försök lixom.

Jag är supernovis på linux och jag kan väldigt mycket om windowsOS vilket jag har märkt är en nackdel.. för inget i linux fungerar som i windows, så att byta tankesätt och approach är en hel utmaning i sig.. Men ingenting är omöjligt, det tar bara lite längre tid innan man lyckas. Vem vet, jag kanske till o med lär mig kod på den här trippen.

write-cache aktiverade jag för något år sedan när en kompis tipsade mig om att det är inte aktiverat default på swap-partitionerna.. Men jag gick in via Diskar och sedan aktiverade det den vägen.

Om du hade gjort det mot vanlig snurrdisk med sata1 eller tänk grymma tanken med gammal hederlig IDE, det hade nog blivit som föregående talare uttryckte sig... en Masochistisk upplevelse. *hihi*
Jag har aldrig pumpat stora datamängder, så jag har aldrig fått den upplevelsen.. vilket jag troligtvis ska tacka för enligt din beskrivning
Jag har mycket att lära mig angående hur linux jobbar, men jag hoppas att jag ska lära mig det under denna resans gång och att det ska gynna utvecklingen, samt man kan aldrig lära sig något nytt om man aldrig ger sig ut på djupt vatten o tar sig lite vatten över huvudet..
Och precis som du sa. Citat: Betalar man inte för produkterna och miljön så finns det heller ingen skyldighet från utvecklarnas sida att lyssna på gnället. fungerar det inte - använd det inte!! Det är därför jag inte vill gnälla o jag förväntar mig aldrig att någon löser problem åt mig.. Och vill man få utvecklarna att lyssna, så måste man ju försöka bidra med konstruktiva åsikter och helst gärna förslag på hur man kan lösa problemet. För det är ju då man hjälper dem.

Permalänk
Medlem
Skrivet av Pie-or-paj:

Att Linux tyvärr är värdelöst på att hantera OOM situationer är, som du själv skriver, ett problem som alltid har existerat. Förhoppningsvis kommer systemd-oomd https://www.phoronix.com/scan.php?page=news_item&px=Systemd-2... kunna förbättra situationen när den är inne i distros och har fått en bra konfiguration.

Det du kan göra nu är att manuellt köra OOM killern när systemet fryser. För att göra det måste du troligtvis först tillåta det genom att lägga till kernel.sysrq=1 i /etc/sysctl.conf och sedan kan du köra den med Alt+SysRq+F. Och såklart se till att du har tillräckligt med RAM för att täcka ditt normala användande

Tack det ger oss in på rätt väg. Sökte vidare och hittade earlyoom - The Early OOM Daemon. Vilket verkar vara en del av Fedora går att installera enkelt med sudo apt install earlyoom på ubuntu.

Permalänk
Medlem

Inser att det är på gränsen till masochism att ens blanda sig i den här tråden - men jag ser ett visst underhållningsvärde.
Med reservation för att inte ha läst allt tillräckligt noggrant (gott om trasiga citat och allmänt röriga inlägg gör detta besvärligt) - så vill jag påtala att problematiken som beskrivs av TS säkerligen kan tillskrivas flera faktorer, varav de flesta redan påtalats.

Däremot verkar få eller ingen ha nämnt I/O schedulerns eventuella inblandning. För den oinvigda har just valet av I/O schedulers för inkludering i mainline Linux och i diverse distributioner - samt vilka parametrar som är vettiga "standardinställningar" för maximalt antal användare bidragit till åtskilliga mer eller mindre infekterade diskussioner genom åren. Det finns förstås ingen "one size fits all"-konfiguration, och här kan det vara så att TS sitter med en workload och hårdvara som inte gynnas av de parametrar som bedömts som mest gynnsama för en majoritet av användare av aktuell kernelversion/linuxdistribution

Jag har tyvärr inte tid eller energi nog att bidra mer än så till den här diskussionen, men mitt förslag är att fördjupa sig i I/O schedulers om man fortfarande vill optimera systemet för en specifik workload och med äldre hårdvara.

Permalänk
Inaktiv
Skrivet av ErikLtz:

Läser med viss fas-cination, viss fas-a...

Generellt betraktas Linux som resurssnålt så halvgammal hårdvara som inte orkar Windows 10 64-bit kan prestera hyggligt med någon Linux-distro. MEN det betyder ju inte att Linux kan trolla med knäna och pressa in gigabyte med flikar UTAN gigabyte med RAM. Just webbläsare torde dessutom redan belasta disken hyggligt mycket genom att cache:a sidor, bilder och allt den hämtar så börjar datorn swappa mot samma snurrdisk blir det dubbelt segt - vilket lär gälla alla system (Linux, Windows, ...).

Sen det här att lyssna på goda råd från andra. TS verkar inte vilja göra det. Alls. Jag jobbar med datorer och kan köpa den utrustning jag behöver. Men vad skulle jag med 3-5 bärbara till? Plus ett antal stationära? Men ingen med varken SSD eller tillräckligt med RAM för att det jobb man försöker göra? Det är liksom... helt befängda självpåtagna tvångströjor.

Om det nu blir timslånga väntetider (?!) av att öppna många flikar, gör inte det. Hantera det på annat sätt. Är det många källor att korsreferera, klipp in i långt dokument. Håll reda på en serie bokmärken men öppna inte alla samtidigt. Eller... skaffa lite mer minne - fast tydligen tjänas inga stålar alls på den omfattande researchen då varken SSD eller minne till EN vettig dator kan ordnas. Men offra en dator och ta minnet från den och sätt i EN bättre - hellre EN maskin med 16 GB RAM än många med bara 8 GB.

Behövs flera miljöer är virtuella maskiner som kan köras, You guessed it: i EN hyggligt utrustad dator så mycket smidigare och mer kostnadseffektivt än att underhålla och uppdatera ett lass halvgamla häckar (gäller både stationära och bärbara).

Skriver på min hyggligt nya Dell XPS 17, den "fick kosta" som riktig jobbdator. Kunde skaffat 32 GB RAM men valde medvetet 16 GB då det går fortare både till och från viloläge även med NVME-disk på 1 TB. Har ofta många flikar öppna i både Firefox och Chrome ibland även Edge och gamla IE (!), ThunderBird, Word, Excel, X2Go mot servrar, Cura, Fusion 360, Inkscape, Photoshop 6.0 (!) och Corel Video Studio - minnet räcker och sällan jag får vänta mer än någon sekund på programstart. Ny flik på nolltid. Begränsningen är mer hos mig själv. Enklare att stänga ner ett par flikar eller program och göra klart någon sak i taget med ett par av programmen.

Bill Gates har beskyllts för att ha sagt mycket dumt, men 1980 sa han "A computer on every desk and in every home" vilket var visionärt då, men idag är "One computer on every desk" med betoning på "one" att föredra - och tekniskt möjligt om man bara "vill" (fast jag har även en liten Mac för att testa en del på ibland då Apple inte "vill" köras virtuellt...).

Det är klart lag lyssnar på alla råd. Det är ju så jag lär mig Men att lyssna på första förslaget och bara tycka i mer ram lär jag mig ju inget på och jag kommer aldrig lära mig "hur o varför" saker fungerar som de gör.. samt att testa olika saker och det kan ibland vara lika viktigt att misslyckas ibland oxå, så man kan se vad som inte fungerar i praktiken.
Om man aldrig ifrågasätter, om man aldrig försöker se utanför boxen och om man bara lyder blint, Hur ska man då utvecklas och lära sig nya saker och kanske till o med hitta lösningar på saker som inte ens är uppfunnet ännu?
Jag är frågvis av mig här i livet och jag ställer oftast följdfrågan, "Varför fungerar det så" om någon säger.. gör så här, då funkar det.

Jag har oxå jobbat med datorer och då när jag gjorde det skaffade jag den utrustningen jag har och den var modern då.. Men allt blir omodernt och fort går det oxå. Samt det jag gjorde hjälper inte mig ett dugg när det kommer till Linux, då jag aldrig kom i kontakt med det.
Att jag har fler datorer är för att jag gör fler saker samtidigt.. där inte fler skärmar eller VM's räcker, då mus o tangentbord bara kan kopplas till en process i taget och jag har datorer på separata nätverk för olika uppgifter som är isolerade från varandra.

Precis.. Ideella åtaganden brukar inte generera pengar.
Jag har två stationära som fixar jobbet.. båda har 32GB ram.. den ena 2HDD's och den andra 4HDD's Men det är ju inte de som tråden handlar om... Tråden handlar om fenomenet swap death.
Att jag inte har SSD är för att stora diskar är dyra fortfarande.. jag lägger hellre pengarna på 4x mer utrymme på en mekanisk disk. Samt när och om jag blir frisk igen och börjar jobba igen så kommer jag sakta uppgradera "vagnsparken" till modern hårdvara.
Men (OM) kan man lösa problemet, så kan jag ju lägga pengar på annat kul istället för datorer o behålla de jag har. så win-win situation helt enkelt.
och i värsta fall kan jag alltid gå tillbaka till windows så försvinner problemet och mina datorer fungerar felfritt igen.

Du skriver att du har en Dell XPS 17 som jobbdator och vilka program du använder... då kör du ju windows... MS-office o Adobe produkter finns inte för linux vad jag vet. Så då har du ju en helt annan minneshantering och swaphantering.
Jag har windows på alla maskiner med Dualboot och jag som dig har inga bekymmer i windows, det är enbart i Linux detta fenomenet uppstår.. Och då det är dualboot jag har så är det samma hårdvara och där med inte hårdvarurelaterat då det gäller alla datorer.

Permalänk
Inaktiv
Skrivet av DNW:

Inser att det är på gränsen till masochism att ens blanda sig i den här tråden - men jag ser ett visst underhållningsvärde.
Med reservation för att inte ha läst allt tillräckligt noggrant (gott om trasiga citat och allmänt röriga inlägg gör detta besvärligt) - så vill jag påtala att problematiken som beskrivs av TS säkerligen kan tillskrivas flera faktorer, varav de flesta redan påtalats.

Däremot verkar få eller ingen ha nämnt I/O schedulerns eventuella inblandning. För den oinvigda har just valet av I/O schedulers för inkludering i mainline Linux och i diverse distributioner - samt vilka parametrar som är vettiga "standardinställningar" för maximalt antal användare bidragit till åtskilliga mer eller mindre infekterade diskussioner genom åren. Det finns förstås ingen "one size fits all"-konfiguration, och här kan det vara så att TS sitter med en workload och hårdvara som inte gynnas av de parametrar som bedömts som mest gynnsama för en majoritet av användare av aktuell kernelversion/linuxdistribution

Jag har tyvärr inte tid eller energi nog att bidra mer än så till den här diskussionen, men mitt förslag är att fördjupa sig i I/O schedulers om man fortfarande vill optimera systemet för en specifik workload och med äldre hårdvara.

*hihi* Det är bara ta fram popcornen o luta dig tillbaka

Jo jag har nyligen.. (nu i veckan som varit) börjat förstå att I/O har ett finger med i spelet.. dock jag jag inte en susning om hur man optimerar ett system för en specifik "workload" Så det är det jag försöker förstå.. hur ändrar man alla värden, varför och vad betyder alla specifika saker, hur sätter man %prioritet för att inte låsa systemet utan får det att fördela resurserna så att en frysning inte uppstår för att I/O mot disk pausar allt annat. samt hur kan man ändra alla värdena i minneshanteringen/diskhantering så att alla program inte kan nyttja mer ram än vad som finns.. att undvika thrashing och memory overcommitment..
Det är många nya saker jag aldrig ens tagit notis av tidigare, då windows är som det är... man kan inte modda något i större utsträckning som i linux.
Men det är vääääldigt kul att lära sig det här.
Samt du får lite underhållning... win-win. hihi

Permalänk
Medlem
Skrivet av anon309108:

*hihi* Det är bara ta fram popcornen o luta dig tillbaka

Jo jag har nyligen.. (nu i veckan som varit) börjat förstå att I/O har ett finger med i spelet.. dock jag jag inte en susning om hur man optimerar ett system för en specifik "workload" Så det är det jag försöker förstå.. hur ändrar man alla värden, varför och vad betyder alla specifika saker, hur sätter man %prioritet för att inte låsa systemet utan får det att fördela resurserna så att en frysning inte uppstår för att I/O mot disk pausar allt annat. samt hur kan man ändra alla värdena i minneshanteringen/diskhantering så att alla program inte kan nyttja mer ram än vad som finns.. att undvika thrashing och memory overcommitment..
Det är många nya saker jag aldrig ens tagit notis av tidigare, då windows är som det är... man kan inte modda något i större utsträckning som i linux.
Men det är vääääldigt kul att lära sig det här.
Samt du får lite underhållning... win-win. hihi

PS: Har inte tittat på vilken kernel du kör och om det kan vara relevant för just det här fallet, men uppenbarligen finns det (nya) fallgropar även i Intels GFX-drivrutiner; https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1861359

Permalänk
Inaktiv
Skrivet av DNW:

PS: Har inte tittat på vilken kernel du kör och om det kan vara relevant för just det här fallet, men uppenbarligen finns det (nya) fallgropar även i Intels GFX-drivrutiner; https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1861359

Tack för tipset
Jag har Kernel: 4.9.0-11-amd64 x86_64 i denna med LMDE3, så det är en gammal antik jag har.
Men bra att veta när det blir dax att installera om... jag har dragit på det då jag vill få igång mina stationära innan jag börjar bråka med dessa... det är så skönt att veta att om jag inte känner för att göra alla tweaks direkt efter installationen, så kan jag ta det när andan faller på o jag är ändå inte blir utan. Troligtvis blir det Debian10 om inte 11 hinner släppas innan jag kommer till skott.

Permalänk
Inaktiv

Jag är impad av er som kan allt detta med programmering o kernels osv. Jag har läst mig grön om saker idag och jag förstår en tredjedel om ens det. *hahaha*.
Men det är väl så här man lär sig saker har jag en känsla utav.. fråga, läsa, fråga, läsa, läsa, sedan testa och se vad som händer... om man inte pluggar.

Och för att ni ska kunna ta fram popcornen o ha lite underhållande läsning, så ska jag underhålla er med det jag testar, både rätt och fel saker. *hahahaha* Det bjussar jag på... lite måste man väl bjuda på sig själv och lysa upp för andra i dessa tråkiga coronatiderna

Så nu kör vi Masochism på hög nivå som @Allexz uttryckte sig.
Jag dragit fram en gammal HP laptop 1:a generationens i5:a och satte i enbart 4GB ram, en snurrdisk på 320GB.. partitionerad: / +home 100GB och Swap-partition 20GB..
Jag installerade LMDE3 och bytte till Xfce skrivbord för att ha lättvikt.. webbläsare Firefox ESR 78.6.0 orörd about:config men med uBblock och noscript addons
Det borde motsvara laptops som folk har liggandes efter OEMWin7 blivit EOL.. majoriteten hade ju 4GB o snurrdisk.

Just nu testar jag med följande
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash zswap.enabled=1"
sudo sysctl vm.zone_reclaim_mode=1
sudo sysctl vm.watermark_scale_factor=100
echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/enabled
Inget är permanent inskrivet, för kraschar det så är det nollat vid omstart.. ja förutom zswap, den är permanent
Jag har låtit vfs_cache_pressure och swappiness vara orörda som första test.
Jag har öppnat 5fönster, och runt 10flikar i varje och börjat surfa runt.... Men nu är det kväller, så den fick hamna i viloläge, så ska jag fortsätta belasta den imorgon o testa lite mer.

Nothing is complete until it crashes *moahaha*

Edit:
uBlock var det jag hade lagt till och inte Adblock Skrivmiss.. tillrättat nu.

Permalänk
Medlem
Skrivet av anon309108:

men med adblock och noscript addons

Använd uBlock Origin istället. Tar mindre minne än Adblock. Sen behöver du heller inte använda NoScript.

Visa signatur
Permalänk
Inaktiv
Skrivet av lassekongo83:

Använd uBlock Origin istället. Tar mindre minne än Adblock. Sen behöver du heller inte använda NoScript.

Jag hade skrivit fel.. jag har uBlock
Tack för att du uppmärksammade det.

Att jag även har Noscript är att jag har lättare regler i uBlock och superstrikt i noscript.. så när jag slösurfar eller går in på lite osäkrare sidor, så blockar noscript mängder, men det sabbar ju webbsidor så de inte laddas som de ska... så när jag stöter på en intressant sida jag vill ladda, så inaktiverar jag noscript tillfälligt och då tar ublock över o stoppar de värsta bovarna utan att sidan tappar funktionalitet.