100% CPU-användning (linuxserver)

Permalänk
Medlem

100% CPU-användning (linuxserver)

Hej,

Jag håller på och meckar med en server och har hittat en process som heter "kswapd0". Den processen ligger på >80% användning konstant. Jag förstår att processen skyfflar data mellan en swap och RAM och att den kan ta mycket processorkraft om detta sker konstant. Jag har läst på och sett att man kan säga åt OSet att inte "swappa" processer om det inte är absolut nödvändigt, detta genom att sänka värdet på swappiness (/proc/sys/vm). Jag skulle vilja testa att sätta värdet till 0 för att förhindra att processer läggs i swap om det inte är absolut nödvändigt. Samtidigt känner jag mig lite osäker på och funderar på om jag kan krascha servern genom att grejja med detta.

När man kör kommandot "top" och tittar på MiB swap så ser det ut som att swap knappt används och det finns 2.7GB ledigt RAM kvar. Jag borde väl därför kunna testa att sätta swappiness till 0? Vad tror ni?

Bild på top: Bild TOP

Permalänk
Medlem
Skrivet av Esrakuf:

När man kör kommandot "top" och tittar på MiB swap så ser det ut som att swap knappt används och det finns 2.7GB ledigt RAM kvar. Jag borde väl därför kunna testa att sätta swappiness till 0? Vad tror ni?

Kör du utan swap och fyller minnet så krashar servern. Har du swap på så går den 'bara' långsamt, eventuellt såpass långsamt att den blir obrukbar men oftast så det går att rädda i alla fall. Beror ju på vad du kör på den hur allvarligt det är men att ha swap på men helt enkelt se till att den inte används är att rekommendera.

Troligtvis botar du bara symptomen och inte orsaken om du slår av det. Den verkar ju använda swappen så du bör undersöka vad det är som gör det.

Permalänk
Medlem
Skrivet av Kamouflage:

Kör du utan swap och fyller minnet så krashar servern. Har du swap på så går den 'bara' långsamt, eventuellt såpass långsamt att den blir obrukbar men oftast så det går att rädda i alla fall. Beror ju på vad du kör på den hur allvarligt det är men att ha swap på men helt enkelt se till att den inte används är att rekommendera.

Troligtvis botar du bara symptomen och inte orsaken om du slår av det. Den verkar ju använda swappen så du bör undersöka vad det är som gör det.

Det var som misstänkte då, jag får utreda helt enkelt. En sak som jag tycker är underlig är hur mycket resurser servern använder. Det körs EN wordpressinstallation på den vilket inte borde använda så mycket resurser. Det går ju att köra en wordpressinstallation på en Raspberry pie utan större problem menar jag.

Hur borde jag börja när jag undersöker? Jag ser ju inte vad processen hanterar för något, kan jag få fram det på något sätt?

Permalänk
Medlem
Skrivet av Esrakuf:

En sak som jag tycker är underlig är hur mycket resurser servern använder. Det körs EN wordpressinstallation på den vilket inte borde använda så mycket resurser. Det går ju att köra en wordpressinstallation på en Raspberry pie utan större problem menar jag.

Du kan köra wordpress på en RPi för att det är en general purpose computer. Du kan köra maskinlärning på en RPi också, det betyder inte att det går snabbt eller är lämpligt
Wordpress är relativt tungrott och beroende på vad man kör och antalet användare så kan man absolut inte tänka "Det här ska gå att köra på vad skit som helst".

Skrivet av Esrakuf:

Hur borde jag börja när jag undersöker? Jag ser ju inte vad processen hanterar för något, kan jag få fram det på något sätt?

Är den omstartad på länge? Uppdaterad/patchad?

Det verkar inte finnas något smidigt sätt att se vad som använder swap.
Vad är det som använder mest RAM på servern? (sortera i top t.ex.) Om du stänger av det, lugnar det ned kswapd0?

Permalänk
Medlem
Skrivet av Kamouflage:

Du kan köra wordpress på en RPi för att det är en general purpose computer. Du kan köra maskinlärning på en RPi också, det betyder inte att det går snabbt eller är lämpligt
Wordpress är relativt tungrott och beroende på vad man kör och antalet användare så kan man absolut inte tänka "Det här ska gå att köra på vad skit som helst".

Är den omstartad på länge? Uppdaterad/patchad?

Det verkar inte finnas något smidigt sätt att se vad som använder swap.
Vad är det som använder mest RAM på servern? (sortera i top t.ex.) Om du stänger av det, lugnar det ned kswapd0?

Ja, där har du en poäng. Den är nog inte uppdaterad på ett bra tag, 223 paket kan uppdateras. Tyvärr är omstarter företagets nuvarande strategi för att behålla servern operabel. En bra början är väl att köra apt upgrade men i och med att servern används av en av våra kunder så är det nog läge att kontrollera backuperna först.

Permalänk
Medlem
Skrivet av Esrakuf:

Tyvärr är omstarter företagets nuvarande strategi för att behålla servern operabel..

Det här problemet uppkommer med tiden alltså? Jag tror att du faktiskt har för lite minne i sådana fall. Är det en virtuell maskin så du enkelt kan testa det?

Räcker det att starta om t.ex. webbservern (eller vad det är som ligger högt i normal minnesanvändning)? Det är fult, men du kan ju lägga in en regelbunden automatisk omstart av den servicen i sådana fall. Troligtvis inte märkbart för er kund.

Jag har inte så mycket erfarenhet av swap för lösningen på swap är antingen döda/lös vad som tar för mycket minne eller släng mer minne på problemet. Allt utom det är rätt fula lösningar.

Permalänk
Medlem
Skrivet av Kamouflage:

Det här problemet uppkommer med tiden alltså? Jag tror att du faktiskt har för lite minne i sådana fall. Är det en virtuell maskin så du enkelt kan testa det?

Räcker det att starta om t.ex. webbservern (eller vad det är som ligger högt i normal minnesanvändning)? Det är fult, men du kan ju lägga in en regelbunden automatisk omstart av den servicen i sådana fall. Troligtvis inte märkbart för er kund.

Jag har inte så mycket erfarenhet av swap för lösningen på swap är antingen döda/lös vad som tar för mycket minne eller släng mer minne på problemet. Allt utom det är rätt fula lösningar.

Ja, det stämmer. Efter ett tag så blir servern helt kass och den måste då startas om. Jag testar att öka tillgängligt minne så får vi se, det är en virtuell maskin. I andra fall får vi väl sätta ett cronjobb som startar om servern supertidigt på morgonen när det ännu inte är någon trafik. Tack för alla tips!

Permalänk
Medlem
Skrivet av Esrakuf:

Tack för alla tips!

Vassego!

Ett sista tips är att om du fortsätter ha en opatchad Wordpress ut på internet kommer den snart dra mycket av både RAM och CPU när den obönhörligen blir hackad och blir en smaskig nod i ett botnet

Permalänk
Medlem

Opatchat Wordpress.... Har du kollat att det är "rätt" kswapd0 som kör?

sudo find / -f kswapd0

Finns en del tips på https://askubuntu.com/questions/259739/kswapd0-is-taking-a-lo... man skulle kunna fundera på beroende på vad ni kör för OS.

Permalänk
Medlem
Skrivet av Naki:

Opatchat Wordpress.... Har du kollat att det är "rätt" kswapd0 som kör?

sudo find / -f kswapd0

Finns en del tips på https://askubuntu.com/questions/259739/kswapd0-is-taking-a-lo... man skulle kunna fundera på beroende på vad ni kör för OS.

Fick inte ditt kommando att fungera men jag körde "pgrep kswapd0" och "pwdx { ID för kswapd0 }. Då spottade terminalen ur sig "/". Jag hittar dock inte kswapd där.

Permalänk
Medlem
Skrivet av Kamouflage:

Vassego!

Ett sista tips är att om du fortsätter ha en opatchad Wordpress ut på internet kommer den snart dra mycket av både RAM och CPU när den obönhörligen blir hackad och blir en smaskig nod i ett botnet

Japp, suboptimalt!

Permalänk
Medlem
Skrivet av Esrakuf:

Fick inte ditt kommando att fungera men jag körde "pgrep kswapd0" och "pwdx { ID för kswapd0 }. Då spottade terminalen ur sig "/". Jag hittar dock inte kswapd där.

pwdx ger väl arbetskatalogen för programmet och inte var programmet finns om jag minns rätt.
Prova

find / -name kswapd0

istället.

Permalänk
Hedersmedlem

Det är ju intressant att den har så högt pid. Min kswapd0 har pid 87.

Kör:

ps aux | grep kswapd0

Hittar du [kswapd0] med hakparenteser så är den "äkta"; hakparenteserna visar att det är en kernel thread.
Är det UTAN hakparenteser så är den fake.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6700K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Permalänk

Jag har aldrig sett en "kernel thread" som kswapd rapportera använt minne i top. Det prukar stå 0 under VIRT och RES på kernel trådarna. Skumt.

file /proc/`pidof -w kswapd0`/*

Alla filer är tomma där på mina maskiner.

Permalänk
Medlem
Skrivet av Thomas:

Det är ju intressant att den har så högt pid. Min kswapd0 har pid 87.

Kör:

ps aux | grep kswapd0

Hittar du [kswapd0] med hakparenteser så är den "äkta"; hakparenteserna visar att det är en kernel thread.
Är det UTAN hakparenteser så är den fake.

Tack, får ut:

Den process som har ID 97409 och som faktiskt körs är den som heter ./kswapd0.

Permalänk
Hedersmedlem

Det där ser inte alls bra ut. Cryptomining eller liknande? Det är åtminstone INTE en av Linux standardprocesser som tar CPU-tid.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6700K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Permalänk
Medlem
Skrivet av Thomas:

Det där ser inte alls bra ut. Cryptomining eller liknande? Det är åtminstone INTE en av Linux standardprocesser som tar CPU-tid.

Usch.. Jag borde nog höra av mig till bolaget som handhaver servern för support, är ju ingen Linux-kille egentligen. Tog mig an uppgiften av ren nyfikenhet.

Permalänk
Medlem
Skrivet av Esrakuf:

Tack, får ut: https://i.imgur.com/TlAa9Yj.png

Den process som har ID 97409 och som faktiskt körs är den som heter ./kswapd0.

Ja, precis. Den översta raden där är riktiga kswapd0-tråden som ska finnas...
Sedan på nästa rad har du något annat som namngivits kswapd0 som äter all din CPU.

Intrång + cryptominer som "dolts" under namnet kswapd0 eller något liknande är ju vad det där luktar...

Visa signatur

Desktop spel m.m.: Ryzen 9800X3D || MSI X870 Tomahawk Wifi || MSI Ventus 3x 5080 || Gskill FlareX 6000 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Arbetsstation: Ryzen 7945HX || Minisforum BD790i || Asus Proart 4070 Ti Super || Kingston Fury Impact 5600 65 GB || WD SN850 2TB || Samsung 990 Pro 2TB || Fractal Ridge
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Medlem

Du har blivit hackad, det hände mig förut med. Jag rensade kontot och bytte lösenord.

Permalänk
Medlem
Skrivet av smurfb:

Du har blivit hackad, det hände mig förut med. Jag rensade kontot och bytte lösenord.