IT-störning orsakar globala problem

Frugan jobbar på deras lager och de kan inte jobba så de städar hela dagen

Det har varit en klart intressant dag, servrar och klienter som hunnit vara online nog länge innan nästa blåskärm har kunnat få fixen via crowdstrikeagenten. Men ja manuell handpåläggning på några hundra servrar.... fun fun. För att inte tala om hur man ska lösa problemet för klienter, inte lätt att be average kontorsnisse att starta i felsäkert läge och ta bort fil x. Släng in bitlocker i leken så har man att göra för överskådlig tid.

Eftersom det blivit så stort genomslag skulle jag förvänta mig att det åtminstone gäller 64bit och att frågan nog istället blir om det även gäller 32bit (som inte alls används i samma utsträckning).

Det gäller 64bits typ samtliga versioner klient/server. 32 bitars vet jag inte, det är ingen som kör längre.

Grejen var att det behövdes inte så mycket kundservice på den tiden. Man körde med postorder och kataloger. Posten fungerade, ibland kunde man hämta en beställd vara dagen efter man skickat in beställningen. Lönen fick man i form av kontanter i ett kuvert. Typ varannan torsdag om man var industriarbetare. Vilket var orsaken till att banken hade öppet extra länge på torsdagar. Alla affärer tog kontanter.

Nå allt var ju inte bra, tex inskrivningsmyndigheten för det militära. Telefonkö fanns ju inte så man fick ringa flera gånger. Var typ alltid upptaget, dock en dag så gick det komma till ringsignal efter ett antal försök men ingen svarade. Berodde på att det var helgdag

Några hundra servrar? Det låter väl ändå i underkant? Eller pratar vi endast om bolaget du är på?

Haha, ja alltså det jag har fått hantera

Jag önskar dig lycka till. Och hoppas du har en trevlig övertidsersättning om det blir helg-jobb.

Det verkar som att man hittat lösningar på detta nu.

Det jag tycker är märkligaste med det här är att dom inte kan ha testat uppdateringen innan den skickades ut. Sen borde det finnas dev/test versioner som man kan testa på test system hos sig själv innan nåt hamnar i prod.

Man kan gissa (och svårt att göra annat än gissa) att det är många steg i deras utvecklingsprocess som fallerat/inte fungerar. Som du säger bör detta rimligtvis upptäckts och korrigerats långt långt innan det nådde slutanvändare. Men uppenbart inte. Men om man är kund hos Crowdstrike bör man nog ta sig en fundering om detta är ett seriöst bolag.

Det låter ju dock som att det inte handlar om någon formell ny version av mjukvaran som kan testas i någon staging-miljö utan en "content"-uppdatering. Vad jag förstår vad som motsvarar vad som traditionellt i AV hade varit virusdefinitioner.

Ja, nånting har ju tydligt fallerat eftersom detta inte fångats upp innan uppdateringen skickades ut

Workarounds som verkar fungera:

https://x.com/AttilaBubby/status/1814216589559861673

Alt. Upp till 15(eller fler..) omstarter, ibland lyckas agenten få nätverk innan den kraschar och ersätta den felande drivrutinen.

Skall testa detta, har ännu inte fått min bitlocker kod. uppdaterar med status snart

Tamro, en av de två stora läkemedelsgrossisterna i Sverige, har legat nere under dagen. Apotek och regioner har inte kunnat beställa annat än det mest nödvändiga via nödrutiner.

Ha det fungerade! Nu kan jag stänga support ticketen att jag behöver min bitlocker nyckel

tackar för tipset!

Att du inte har sett det på en enda Linux-dist beror på att det finns istället som manuellt val att välja hos i princip alla distar (dvs att boota till singler user mode).

systemd-boot gör exakt så som efterfrågas där den efter X antal försök går på nästa boot entry i listan, dock kör ju många med GRUB fortfarande.

Lite sent eftersom du redan löst det med lösningen på alla it-problem (reboot)
Men om ditt jobb är inne i M365 bubblan kan man se sina bitlocker nyckar under myaccount.microsoft.com.

Är det inte lite utav en oskriven regel bland utvecklare att i princip aldrig sjösätta något till produktion på fredagar? Särskilt under semestertider då personalstyrkan kan vara "svagare"?

Samtidigt tänker jag på motsättningen att skadlig kod aldrig tar helg så tillvida inte det finns med i koden så snabba uppdateringar krävs för att inte hamna efter i kapplöpningen.

Det mest bisarra är ju att en kernel-uppdatering sjösattes utan något tillräckligt testande först?! Eller var det kanske någon AI som "testkörde"?😬🤔

Mvh,
WKF.

Ja, ingen kritik mot Linux på något sätt. Det går ju att manuellt boota in i Safe Mode sedan Windows 95 också som manuellt val.

Single User Mode är dock inte samma som Safe Mode, i den här analogin hade du fått en kernel panic innan du ens kunnat köra init... då får man boota med en äldre kernel. Vilket också ofta går att göra. Som ett manuellt val.

Historiska vingslag @pv2b
Att boota "single user" på Linux kommer från Unix-världen där det funnits sedan 1970-talet. Ungefär samtida med när Gates/Allen började programmera och tidigt skapade företaget Microsoft. Namnet var nog litterärt menat att betyda just "litet mjukvarubolag" då det redan fanns ca 10 år innan Windows levererades 1985, bl.a. så sålde de Xenix (Unix) licenser innan de fick guld-uppdraget från IBM med MS-DOS 1980. Det lilla mjukvarubolaget blev sedermera världens största IT-bolag, och rankas nummer 30 idag bland samtliga.

Det är bara att stoppa "bootloadern" (Grub,m.fl.) och editera startraden genom att lägga till "single" på slutet.

För jag håller inte med om att det är skrämmande, och jag menar att det rent objektivt inte är skrämmande.
Det är helt naturligt.

Eftersom du är den andra som säger det, du/ni vet att inte hela världen har semester samtidigt va?

Märkte av detta rätt bra på jobbet, systemet vi använder för att överföra data från kunder in till våra interna system låg fortfarande nere när jag gick hem vid 17.

Drabbade nästan alla våra transport och bokningsrelaterade system på Schenker. Blir en kul måndag.

Edit: Hade inverkan på Schenker globalt, inte bara i Sverige.

https://x.com/hackerfantastic/status/1814315027911843998?t=XM...

Verkar som att de pushat null bytes fil?