Exempel Gällivare: hur säker är kommunal IT-drift?

Permalänk
Medlem

Exempel Gällivare: hur säker är kommunal IT-drift?

Länkar en tragikomisk historia, där Gällivare Kommuns IT-drift, tydligen kört RAID5 i tron att det ersätter backup.
(Systemen har legat nere sedan 23/7)

http://www.nsd.se/nyheter/att-det-har-ska-ske-ar-som-att-vinn...

"Felet har varit omfattande och slagit mot journalsystem vilket gjort att sjuksköterskor anställda av kommunen inte kommit åt journaler. Kommunens telefoni med tillhörande växel, mailsystem och många andra system har också legat nere. Anders Skoglund, IT-strateg, meddelar att de precis fått igång mailen för kommunen."

"I det här fallet blev det så olyckligt att under tiden som den första disken höll på att återskapas la ytterligare en disk av."

"– Risken att det ska ske är ungefär som att vinna på lotto med två tilläggsnummer, men det har skett och nu tittar vi på lösningar för att det inte ska ske igen."

"RAID är inte backup" beskriver inte ämnet korrekt
Visa signatur

“There will be people that are burdened by only having the capacity to see what has always been instead of what can be.
But don’t you let that burden you.”

Permalänk
Medlem

Detta e ett skämt va?

Visa signatur

Macifierad militant mactivist....
"Why join the navy if you can be a pirate?" - Steve Jobs

Permalänk
Medlem
Skrivet av AkUs:

Detta e ett skämt va?

Tyvärr 240 dagar till 1 april..

Visa signatur

Desktop: AMD Ryzen 7 3700X / 48GB RAM / RX 6600 XT / 2TB SSD / Arch Linux
Server: Intel(R) i5-7400T / 32GB RAM / 21TB HDD / Proxmox

Permalänk
Medlem

"Att det här ska ske är som att vinna på lotto"

HAHA! njaaaaaaa

Somliga borde få sparken.

Permalänk
Medlem

Hahah....

Var det två paritetdiskar som dog eller hade de totalt 2 diskar som "backup" ?

Visa signatur

Arch - Makepkg, not war -||- Gigabyte X570 Aorus Master -||- GSkill 64GiB DDR4 14-14-15-35-1T 3600Mhz -||- AMD 5900x-||- Gigabyte RX6900XT -||- 2x Adata XPG sx8200 Pro 1TB -||- EVGA G2 750W -||- Corsair 570x -||- O2+ODAC-||- Sennheiser HD-650 -|| Boycott EA,2K,Activision,Ubisoft,WB,EGS
Arch Linux, one hell of a distribution.

Permalänk
Medlem

Så inkompetent får man inte vara. Hade jag varit arbetsgivare eller för den delen kommuninvånare hade jag väckt åtal för idioti eller inkompetens vilket som verkar passa bäst.

De hade väl åtminstone kunnat köra ett par "hot spares"

Permalänk

kanske var de två diskarna från samma batch och installerade samtidgt. isåfall ännu mindre surprise att de dog samtidigt...

Visa signatur

Cpu: i7 920 @ 3,8 Ghz HT on || Cpukylning: Corsair H100 || MoBo: Asus rampage II Gene || Grafik: Gigabyte GtX670 WF || Ram: corsair dominator 8gb || Chassi: Fractal design Arc || HDD: 128GB samsung 840 || Drivs av ett Corsiar vx 550W

Permalänk
Medlem

Har haft med Skoglund att göra då Gällivare är min tidigare hemkommun. Han är ett skämt hela han sett till vilken position han har. Ingen kompetens öht, snackar mycket - gör lite. Vidare så är många på IT-avdelningen bara ditplacerade utan kompetens vilket gör att vissa personer får slita som djur för att hålla skutan flytande.
Tillslut så klarar de inte mer och då blir det så här...
Till Anders: Nu är rätt tid att avgå!
@Jacob kan inte sweclockers ringa Gällivare Kommun och grilla ansvariga med tekniska frågor för att visa allmänheten hur illa det är ställt?

Visa signatur

Lurkar - läser mycket skriver lite. Vill du få min uppmärksamhet är det citat eller pm som gäller.
Jag anser att AIO-kylare har en plats i världen men det är INTE i fullstora ATX-system.

Permalänk
Inofficiell ambassadör

Men gud så pinsamt. Ok att en hemmapysslare/hobbyentusiast gör det misstaget... Men någon anställd som IT-strateg?

Skickades från m.sweclockers.com

Visa signatur

Mobo Aorus B550 Pro V2 CPU Ryzen 5600X RAM Corsair Vengance 16GB @ 36000 MHZ
GPU MSI GTX 1080 ti Gaming X Skärm Acer X34A

Permalänk
Medlem

De har köpt ett färdigt system, "billigt" från någon leverantör. Problemet är att dessa "billiga" paket blir snabbt dyra när du ska ha redundans.

Vid en sådan lösning finns det två lagringsenheter med samma information som direkt kan koppla in om den andra lägger av, säger han.
Däremot är det en dyr satsning för kommunen. Uppskattat pris skulle vara en halv miljon. Ett annat alternativ hade varit att outsourca IT-driften

För halv miljon kronor så kan man bygga ett fantastiskt Ceph kluster bestående av tre stycken noder! Då pratar vi storage bestående av SSD och vanliga diskar. Dock så förutsätter detta att man har kompetens inom IT organisationen samt att man vågar att prova något nytt.

Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Permalänk
Medlem
Skrivet av FatherOfThree:

"– Risken att det ska ske är ungefär som att vinna på lotto med två tilläggsnummer, men det har skett och nu tittar vi på lösningar för att det inte ska ske igen."

För att en disk ska dö ungefär samtidigt som när en annan disk med exakt samma driftförhållanden under exakt samma tid av exakt samma modell och batch dog, när den dessutom upplever den största belastningen under hela sin livstid?

Jag skulle gärna spela på hans lotteri!

RAID 5 är inte en stabil konfiguration http://www.zdnet.com/article/why-raid-5-stops-working-in-2009...

och hot spares btw? why? just why? har du plats för att koppla in ytterligare en disk ska den också användas för paritet.

Permalänk

Att sånt här händer 2017 är rent ut sagt skrämmande!

Men tyvärr känner man ju igen liknande tomtar på liknande positioner på allt för många ställen!

Permalänk
Medlem

Lagra saker som journalsystem på raid5 utan backup!? Sicken satans tomte....

Om man nu anser att datan är viktig så är det minst raid6 på nearline och sen backup på det som gäller (helst offsite).

Skickades från m.sweclockers.com

Permalänk
Medlem

Chefer inom offentliga sektorn har ofta politisk bakgrund även på positioner där det krävs relativt hög teknisk kompetens. Personer med stort ego som sällan begriper vad dom borde begripa för att klara av sitt jobb.

Vid anställning av kompetens utanför sina egna erfarenheter är det lönen som avgör. Låga lönekrav är bättre än höga då man anställer. Duktigt folk med kompetens och erfarenhet kostar ofta mer än inkompetenta klåpare men det förstår man sig inte ha råd med. Därför anställer man billig arbetskraft med bristande kompetens och erfarenhet eftersom man inte bättre begriper.

En gång i tiden, på 50-talet, anställde offentliga sektorn duktigt och kunnigt folk till attraktiva löner med ledstjärnan att det lönar sig i längden + att man skall vara rädd om skattebetalarnas pengar.

Permalänk
Medlem

Sannolikheten att en till disk kraschar vid återbildning är hög. Då diskarna ofta är använda lika länge. En rebuild sliter rejält på hårddiskarna som finns kvar.

Helt sjukt att skattepengar går till dessa superstjärnor alltså :S

Permalänk
Skrivet av FatherOfThree:

Länkar en tragikomisk historia, där Gällivare Kommuns IT-drift, tydligen kört RAID5 i tron att det ersätter backup.
(Systemen har legat nere sedan 23/7)

http://www.nsd.se/nyheter/att-det-har-ska-ske-ar-som-att-vinn...

"Felet har varit omfattande och slagit mot journalsystem vilket gjort att sjuksköterskor anställda av kommunen inte kommit åt journaler. Kommunens telefoni med tillhörande växel, mailsystem och många andra system har också legat nere. Anders Skoglund, IT-strateg, meddelar att de precis fått igång mailen för kommunen."

"I det här fallet blev det så olyckligt att under tiden som den första disken höll på att återskapas la ytterligare en disk av."

"– Risken att det ska ske är ungefär som att vinna på lotto med två tilläggsnummer, men det har skett och nu tittar vi på lösningar för att det inte ska ske igen."

Fast nu står det inte i den artikeln att de saknar backup. Tvärtom pratar de om att de har data som återskapas (antagligen just från backup).

Tittar man sen vidare på webben så är de tydligare: http://sverigesradio.se/sida/artikel.aspx?programid=98&artike... där de skriver: "Det tar ju sin tid sånt här, vi läser tillbaka data från säkerhetskopior. "

Visa signatur

Dator: i5-13600K, Asus Prime Z690-P, Noctua NH-D14, Kingston Fury Beast RGB 32GB DDR5-6000, Gigabyte RTX 4090 gaming OC, Seasonic Platinum SS-1000XP, Lian-Li Lancool 215, Samsung 980Pro 2TB M.2 NVME, Acer Predator XB323QKNV 4k 144Hz

Permalänk
Hedersmedlem

Oh en IT-strateg som inte kan ett skit! Där har jag också varit. Jobbat med en "IT-expert" som tyckte vi skulle göra oss av med våra brandväggar, "det är ingen som vill skada oss".

Han slängde även en miljon i sjön på en upphandlingsutredning som var en hög med bajs. Såg ut som om ett gäng dagisbarn knåpat ihop något på sämst engelska.

Visa signatur

yayaya I am Lorde yayaya

Permalänk
Inaktiv

Tänk att år 2017 på sveriges största dataforum så tror många att backup är en lösning på alla problem för mer komplicerade problem?

När det handlar om system som hela tiden ändras så är det inte så enkelt att bara gå tillbaka till en gammal kopia. Det de pratar om är redundans, redundans i sin tur var väldigt populärt för ett tag sedan alla skulle köra detta, men folk har insett att redundans inte nödvändigtvis är lika med mer driftsäkert. Detta eftersom redundans skapar så otroligt många nya felkällor, lägg till SBS utvecklare som på kort tid ska lösa något.

Exempel på ett enkelt problem.
En server samplar värden 1 ggr /minut, varje dag kl 00:01 skickar den all samplade värden till en databas. Informationen får ej skickas till databasen innan.
Tid att utveckla, enstaka timma med dokumentation.

2st redundanta servrar ska lösa samma uppgift med 100% redundans, där en server kan gå ner precis när som helst och den andra ska ta över. Här pratar vi plötsligt dagar med testning/dokumentation etc, blir det bättre? Ja det beror på vilken sbs-utvecklare som gjorde lösningen.
Många väljer då skippa redundansen för mindre känsliga system. Journalsystem ser jag inte som något extremt känsligt, skulle den vara nere i en hel minut så har knappast någon härdsmälta eller något liknande påbörjats.

Men visst redundans på journalsystem vore ej fel, men man ska skilja på redundans och redundans, att göra precis alla delar redundanta blir komplicerat. Det många pratar om redundans handlar snarare att vissa delar är redundanta.
*edit*
Ett jounalsystem beroende på hur det ser ut kanske ej räknas som komplicerat system, det hänger ihop med hur mycket det pratar med andra system. Är det ett som kommunicerar med flera olika system och utbyter information så blir det komplicerat. Men det går göra också väldigt enkelt, i ett uland kanske en excelfil duger.

*edit2*
Angående kommuner/landsting etc, så brukar de inte utveckla något, de köper in färdiga system och lagar som offentlig upphandling gäller. Ofta köper de in system som redan används på flera ställen och ofta bygger dessa system på olika färdiga komponenter.
Det är väldigt lätt att säga att man alltid ska ha redundans, men det brukar kosta därefter och det finns inte pengar för det.
Det är lätt att kalla folk för dumsnål utan att först ha kollat på kostnaderna och problemen.

I artikeln uppskattar de kostnaden för redundans för deras system till en halv miljon. Sedan tillkommer det ökade driftkostnader och SBS folket på kommun som ska underhålla systemet kommer säkerligen skapa ett och annat avbrott. 0.5 miljoner kan låta lite, men ta en funderare på hur många halvkritiska system en kommun har och försök och fundera på vad som skulle hända om de skulle köra med redundans på alla?

I artikeln pratar de om outsourcing vilket är det rätta, men ibland händer det dumma saker då också och då börjar skribenter på Aftonbladet etc Whina om hur jädra dumt outsourcing är.
Outsourcing behövs idag för datasystem blir mer komplicerade och det är inte helt självklart för den som jobbar som receptionen att underhålla servrar med Exsi, en massa olika SAN och liknande.

Permalänk
Medlem

Låter som ett logikfel i uppbyggnaden på grund av den mänskliga faktorn eller att man inte har förstått innebörden av vad en backup är. RAID är visserligen inte en backup, å andra sidan är inte en backup någon backup heller om man inte skyddar originalet före, under tiden och även efter en ändring.

Tittar man närmare på det hela så har vi flera nivåer för att förstå innebörden. Tittar man bara på definitionen för RAID så har vi följande:

  • JBOD - (Just A Bunch Of Disks):
    Vilket är en RAID-nivå som egentligen inte har med RAID att göra över huvud taget, inte ens någon prestanda. JBOD handlar bara om några diskar, oftast av olika storlek "bredvid" varandra vilket skapar en logisk disk med summan av storleken. Kraschar någon av diskarna så kan man vanligen återställa n-1 diskar. Prestandamässigt motsvarar det en disk eller något sämre.

    Fördel: Får flera diskar av olika storlek / märken att se ut som en stor disk.
    Nackdel: Skyddar inte mot något.
    Risknivå: Samma som en ensam disk utan backup.
    Antal diskar som krävs: 2 eller fler.

  • RAID 0: (Stripe)
    Vilket är en (R)AID-nivå som saknar redundans. Prestandan skalar dock ganska bra för sekventiella läs- / skrivhastigheter. Är något osäkrare än JBOD då en kraschad disk gör resterande diskar oläsbara då informationen är jämnt fördelad över diskarna. Bör endast användas där prestanda behövs och på temporära / scratch-diskar. RAID 0 kräver diskar av samma märke, modell, RPM och storlek, annars får man sämsta resultatet från varje disks parameter.

    Fördel: Får bra MB/s för läs / skriv i sekventiella tester. Sammanfogar flera diskar som en stor.
    Nackdel: Ger sämre "skydd" än JBOD då en kraschad disk / bit förstör hela uppsättningen.
    Risknivå: Samma som en enskild disk med samma storlek som summan av diskarna.
    Antal diskar som krävs: 2 eller fler.

  • RAID 1 - (Mirror):
    Vilket är en RAID-nivå som speglar en disk till en annan i realtid. Just detta gör systemet väldigt säkert mot fysiska fel på en av diskarna, däremot skyddar det inte mot SBS, radering, virus etc. Då ett skrivfel ger samma resultat på båda diskarna i realtid. Skyddar dock bra mot nertid då system med hotswap kan byta en disk när det är igång eller du hinner stänga av snyggt och byta ut en strulande disk.

    Fördel: Står emot att en av diskarna går ner. Ger lite bättre läsprestanda. Kan byta en disk under drift (hotswap).
    Nackdel: Skyddar inte mot externa attacker som virus, programfel eller dina egna misstag. Något sämre skrivprestanda. Endast halva utrymmet är tillgängligt.
    Risknivå: Samma som en ensam disk utan backup. I Optimala situationer hinner du få en varning och byta disk, men se det som bonus, inte som en backupmetod.
    Antal diskar som krävs: 2 stycken.

  • RAID 5 - (Stripe med 1 paritetsbit):
    Vilket är en RAID-nivå som bygger på RAID 4, men som har paritetsbiten utspridd över diskarna för bättre prestanda. (RAID 4 har alla paritetsbitar på en dedikerad disk.) Ger god läsprestanda men något sämre skrivprestanda (pga paritetsbiten). Skyddar i övrigt som RAID 1 men med lite mer utrymme till din fördel då du får n-1 diskar i utrymme.

    Fördel: Står emot att en av diskarna går ner. Ger lite bättre läsprestanda. Kan byta en disk under drift (hotswap).
    Nackdel: Skyddar inte mot externa attacker som virus, programfel eller dina egna misstag. Något sämre skrivprestanda. Endast n-1 diskar i utrymme tillgängligt.
    Risknivå: Samma som en ensam disk utan backup. I Optimala situationer hinner du få en varning och byta disk, men se det som bonus, inte som en backupmetod.
    Antal diskar som krävs: 3 eller fler. (n-1 diskar).

  • RAID 6 - (Stripe med 2 paritetsbitar):
    Vilket är en RAID-nivå som bygger på RAID 4, men som har paritetsbitarna utspridda över diskarna för bättre prestanda. (RAID 4 har alla paritetsbitar på en dedikerad disk.) Ger god läsprestanda men något sämre skrivprestanda (pga paritetsbitarna). Skyddar i övrigt som RAID 1 men med lite mer utrymme till din fördel då du får n-2 diskar i utrymme.

    Fördel: Står emot att två av diskarna går ner. Ger lite bättre läsprestanda. Kan byta en disk under drift (hotswap).
    Nackdel: Skyddar inte mot externa attacker som virus, programfel eller dina egna misstag. Något sämre skrivprestanda. Endast n-2 diskar i utrymme tillgängligt.
    Risknivå: Samma som en ensam disk utan backup. Något säkrare än RAID 5 då två diskar kan gå sönder och fortfarande räddas.
    Antal diskar som krävs: 4 eller fler. (n-2 diskar).

  • RAID 10 - (Mirror med överlagrande stripe):
    Vilket är en RAID-nivå som bygger på RAID 1 + RAID 0. Bygger på att två diskar speglas och dessa par sedan sätt ihop i en RAID 0 för att få prestanda. Klarar i optimala situationer att flera diskar går sönder då det kräver att minst två diskar från samma par går sönder på grund av speglingen. Har en läsprestanda mellan RAID 1 och RAID 0.

    Fördel: Ger mycket god läsprestana, tål i vissa situationer att mer en en disk går ner.
    Nackdel: Skyddar inte mot externa attacker som virus, programfel eller dina egna misstag. Något sämre skrivprestanda. Endast halva utrymmet tillgängligt.
    Risknivå: Samma som en ensam disk utan backup. Något säkrare än RAID 5 då två diskar kan gå sönder och fortfarande rädas.
    Antal diskar som krävs: 4 eller fler. (n-1 diskar) Vanligen exakt fyra diskar på moderkort och konsumentkontrollers.

Dold text

Tittar man på detta så ser man att RAID inte är en backup utan endast skyddar mot en enskild disks fysiska fel i realtid. För att skydda sig mot en katastrof så måste man se när man ska ha en backup och mot vad man ska ha en backup. Man ska även ha en idé för hur man ska ha backupen upplagd. Tittar man på följande:

  • Partitions- / Hårddiskaavbild (På annan fysisk disk):
    Skyddar mot dom flesta fysiska fel, eller när någon gör något riktigt klantigt som att radera en viktig systemfil, eller när systemet orsakar ett fel.

    Kan mycket lätt återställa systemet till ett tidigare tillstånd. Kräver ofta att man kör någon form av "handpåläggning" med att installera om program och optimera vissa inställningar som inte finns med i backupen. Bör användas varje månad för att minska mängden inställningar och vara up to date. Rekomenderas på system och bootpartitioner.

  • Inkrementell backup:
    Skyddar som en diskavbild men tillåter att flera backupper görs, utan att slösa på utrymmet då bara de senaste ändringarna (sedan den senaste inkrementella avbilden) görs. Kräver en full avbild att börja med. Vanligen en avbild + 3 till 10 tillägg per månad. den "gamla" backuppen (avbild + tillägg) kan kastas när en ny avbild görs, men man bör spara dom senaste tre omgångarna, dvs 3 månader.

    Kan mycket lätt återställa systemet till ett tidigare tillstånd. Går fort att återställa om man inte behöver återställa så mycket. Klarar versionshistorik.

  • Differentiell backup:
    Skyddar som en diskavbild men tillåter att flera backupper görs, utan att slösa på utrymmet då bara de senaste ändringarna (sedan den senaste fulla avbilden) görs. Kräver en full avbild att börja med. Vanligen en avbild + 3 till 10 tillägg per månad. Den "gamla" backuppen (avbild + tillägg) kan kastas när en ny avbild görs, men man bör spara dom senaste tre omgångarna, dvs 3 månader.

    Kan mycket lätt återställa systemet till ett tidigare tillstånd. Går fort att återställa om man inte behöver återställa så mycket. Den stora skillnaden är att en differentiell backup är senaste fulla backuppen + senaste ändringarna sedan den fulla backupen vilket tar något mer plats än vad en inkrementell backup gör. Klarar versionshistorik.

  • Snapshot:
    Skyddar ofta enskilda filer och är bra som komplement till vanliga backupper eller för att testa en ändring. Används ofta på kritiska systemfiler eller när när man behöver ha historik på ändringar. Kan orsaka mycket slöseri med utrymme om man inte har koll på hur det fungerar eller vad man ska ha en snapshot på eller hur långt bak man ska kunna gå. Rätt använt så sparas bara backupper på berörda filer vid nödvändiga ändringar.

    Lätt att återställa och klarar av versionshistorik.

  • Offline / Offsite:
    Är ett komplement till ovanstående men är speciellt att föredra på fullbackupper. Offline bygger på en disk där datakabeln minst kopplats ur systemet. Disken bör läggas ett kassa/brandskåp för att skydda mot att systemet välter eller stjäls . Offsite skyddar något mer mot stöldrisk eller större brandskador / naturkatastrofer då disken placeras i en annan byggnad med stort avstånd.

Dold text

Summan av detta gör att flera metoder bör användas för att hålla systemet up to date.

  • Operativsystem: Klarar sig oftast med en avbild en till flera gånger per månad med max tre avbilder. Operativsystemet kan ligga på en RAID 0 för prestanda eller en RAID 1/5 för redundans och något stabilare upptid.

  • Användarutrymme: Bör ha en inkrementell / differentiell backup eller full avbild åtminstone flera gånger per vecka. Helst varje dag.

  • Bild / musik / video: Klarar sig ofta med en RAID 1 + Offline / Offsite om man sällan ändrar innehållet. Bör kompletteras med ett raderingsskydd med rättigheter. Även en extern rullande backup en till flera gånger i månaden är ett alternativ. Bör annars ses som användarutrymme.

Som komplement är RAID1 på en backupdisk i systemet en extra säkerhet och gör det lätt att reparera en backupdisk som krashar eller att expandera den genom att byta en disk i taget till en större.

Visa signatur

Server: Fractal design Define 7 XL | AMD Ryzen 7 5800X 8/16 | ASUS ROG CROSSHAIR VIII DARK HERO | 64GB Corsair @ 3000MHz | ASUS Radeon RX 460 2GB | Samsung 960 PRO 512 GB M.2 | 2x 2TB Samsung 850 PRO SSD | 6x Seagate Ironwolf Pro 10TB
WS: Phantex Entoo Elite | AMD Ryzen Threadripper 1950X 16/32 | ASUS Zenith extreme | 128GB G.Skill @ 2400MHz | ASUS Radeon HD7970 | 3x 2TB Samsung 960PRO M.2 | 6x Seagate Ironwolf Pro 10 TB
NEC PA301W 30" @ 2560x1600 | Linux Mint 21.3 Cinnamon

Permalänk
Inaktiv

@anon159643: Det är väl klart att man ska ha både DR och backup.. DOH

Permalänk
Inaktiv
Skrivet av Hugligan:

@Johan86c: Det är väl klart att man ska ha både DR och backup.. DOH

Men varför handlar tråden om RAID inte är backup, när det inte är problemet?
Vad jag kan utläsa i artikeln så finns det inget problem med förståelse av vad raid är för något. Det finns heller inget problem med att göra backup, för det hade de enligt artikeln.

Det de kunde ha haft vore:
En bättre och mer kostsam raid.
Redundans som de för den lilla kommunen, som för denna simpla lösning kostar en halv miljon kronor enligt artikeln.

Tråden kunde nästan handla om att en UPS inte är en backup, om felet nu hade varit ett strömavbrott.

*edit*
Att göra backup i mer komplexa system med redundans är inte så lätt som det låter, det är lätt att datan kommer i osynk. Nu räknar jag knappast journalsystem och liknade som vidare komplexa, då det är så lite data de hanterar och det ändras så sakta.
*edit2*
System som kanske 20 st utvecklare samtidigt är inne och jobbar med och uppdaterar är ett typexempel på något som är svårt att göra backup på. Dessa system av sin natur brukar ej vara kritiska för det är lätt att det blir något fel. Men olika personer jobbar såklart på olika servrar där de testar lösningen innan de sprider ut det till alla.

Permalänk
Medlem
Skrivet av anon159643:

Tänk att år 2017 på sveriges största dataforum så tror många att backup är en lösning på alla problem för mer komplicerade problem?

När det handlar om system som hela tiden ändras så är det inte så enkelt att bara gå tillbaka till en gammal kopia. Det de pratar om är redundans, redundans i sin tur var väldigt populärt för ett tag sedan alla skulle köra detta, men folk har insett att redundans inte nödvändigtvis är lika med mer driftsäkert. Detta eftersom redundans skapar så otroligt många nya felkällor, lägg till SBS utvecklare som på kort tid ska lösa något.

Exempel på ett enkelt problem.
En server samplar värden 1 ggr /minut, varje dag kl 00:01 skickar den all samplade värden till en databas. Informationen får ej skickas till databasen innan.
Tid att utveckla, enstaka timma med dokumentation.

2st redundanta servrar ska lösa samma uppgift med 100% redundans, där en server kan gå ner precis när som helst och den andra ska ta över. Här pratar vi plötsligt dagar med testning/dokumentation etc, blir det bättre? Ja det beror på vilken sbs-utvecklare som gjorde lösningen.
Många väljer då skippa redundansen för mindre känsliga system. Journalsystem ser jag inte som något extremt känsligt, skulle den vara nere i en hel minut så har knappast någon härdsmälta eller något liknande påbörjats.

Men visst redundans på journalsystem vore ej fel, men man ska skilja på redundans och redundans, att göra precis alla delar redundanta blir komplicerat. Det många pratar om redundans handlar snarare att vissa delar är redundanta.
*edit*
Ett jounalsystem beroende på hur det ser ut kanske ej räknas som komplicerat system, det hänger ihop med hur mycket det pratar med andra system. Är det ett som kommunicerar med flera olika system och utbyter information så blir det komplicerat. Men det går göra också väldigt enkelt, i ett uland kanske en excelfil duger.

*edit2*
Angående kommuner/landsting etc, så brukar de inte utveckla något, de köper in färdiga system och lagar som offentlig upphandling gäller. Ofta köper de in system som redan används på flera ställen och ofta bygger dessa system på olika färdiga komponenter.
Det är väldigt lätt att säga att man alltid ska ha redundans, men det brukar kosta därefter och det finns inte pengar för det.
Det är lätt att kalla folk för dumsnål utan att först ha kollat på kostnaderna och problemen.

I artikeln uppskattar de kostnaden för redundans för deras system till en halv miljon. Sedan tillkommer det ökade driftkostnader och SBS folket på kommun som ska underhålla systemet kommer säkerligen skapa ett och annat avbrott. 0.5 miljoner kan låta lite, men ta en funderare på hur många halvkritiska system en kommun har och försök och fundera på vad som skulle hända om de skulle köra med redundans på alla?

I artikeln pratar de om outsourcing vilket är det rätta, men ibland händer det dumma saker då också och då börjar skribenter på Aftonbladet etc Whina om hur jädra dumt outsourcing är.
Outsourcing behövs idag för datasystem blir mer komplicerade och det är inte helt självklart för den som jobbar som receptionen att underhålla servrar med Exsi, en massa olika SAN och liknande.

Alla vet att diskar går sönder. Alla vet att RAID är något som blir snabbt ett problem när man försöker att skala upp det.
Detta kostar inte mycket att fixa till om man tänker till och bygger efter det. Ett enkelt exempel är att man aldrig bygger en hel
RAID med samma diskar från samma leverantör. Man blandar alltid! Detta betyder inte merkostnader, men det ställer krav på
upphandlingen, dvs någon behöver tänkta till.

Redundans kostar också, men vad kostar ett avbrott där alla jobbar dygnet runt tills det är återställt?
Att ha det grundläggande på plats bör enligt mig vara självklart.

Hur ska dessa personer outsourca något när det inte kan upphandla eller underhålla ett enkelt SAN (eller vad de nu kör med).

Dock så tycks de ha en fungerande backup, men det tycks ta tid att återställa vilket är säkert helt normalt när en hel RAID går sönder.

Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Permalänk
Medlem

"Anders Skoglund tror att en spegellösning kan vara ett bra alternativ.

– Vid en sådan lösning finns det två lagringsenheter med samma information som direkt kan koppla in om den andra lägger av, säger han."

Ja, om det inte typ börjar brinna i serverhallen eller liknande då....

Men Transportstyrelsen kanske behöver nya "IT-proffs"

Edit:

Passande nog är alla länkar på sidorna dessutom felaktiga, kanske dom ska hålla sig till gruvdriften

Permalänk
Inaktiv
Skrivet av BrusE:

Alla vet att diskar går sönder. Alla vet att RAID är något som blir snabbt ett problem när man försöker att skala upp det.
Detta kostar inte mycket att fixa till om man tänker till och bygger efter det. Ett enkelt exempel är att man aldrig bygger en hel
RAID med samma diskar från samma leverantör. Man blandar alltid! Detta betyder inte merkostnader, men det ställer krav på
upphandlingen, dvs någon behöver tänkta till.

Jag är tveksam till detta påstående, jag kör alltid samma hårddiskar i raid. Detta för att minska risken för kompabilitetsproblem. Kommer man upp i lite dyrare lösningar som SAN, så köper man såklart de hårddiskar som leverantören säljer till denna.
Vill man högre säkerhet, ja skaffa då dubbla SAN med redundans. Men varje hårddiskkluster består av samma hårddiskmodell.
En vanlig lösning är att man har en Exsi server bestående av säg 2st hostar, dessa är kopplade till ett SAN (raid 10 är populär). När man vill ha redundans så köper man 2st exemplar av detta, sedan har man redundans i mjukvaran.

Kostnad hårdvara, beror på vad man köper såklart. Men 300 000kr är inget ovanligt, mjukvara så kan licenskostnaden för redundans hamna över miljonen. Men ibland är denna lägre, då brukar istället utvecklingskostnaden vara högre.

Skrivet av BrusE:

Redundans kostar också, men vad kostar ett avbrott där alla jobbar dygnet runt tills det är återställt?

Jag har varit med om så många driftstörningar som just beror på redundans så det ej är klokt. Kommer man upp i lite mer avancerade system som många jobbar i utan att veta vad de gör, så kan man fråga sig hur bra redundans är?

Skrivet av BrusE:

Hur ska dessa personer outsourca något när det inte kan upphandla eller underhålla ett enkelt SAN (eller vad de nu kör med).

Pengar löser alla problem.
1: Kommunen betalar någon för att sätta kravspecifikationer kanske skapa allt som behövs för en offentlig upphandling.
2: Kommunen betalar någon för att välja rätt av det som erbjuds
3: Kommunen betalar någon för att skapa det som efterfrågas.
4: Denna aktör anlitar en Molntjänst
5: Kommunen betalar ett annat företag pengar för att granska allt, skapa besiktningsprotokoll, se att säkerheten är hög o.s.v.

Alltså det enda kommen behöver ha är $, ju mer $ de har ju bättre system får de och de behöver inte själva veta hur man startar Word på en dator.

Detta skiljer sig inte ett dugg från något annat, vill ni själva ha en grym dator färdigmonterad så kan ni anlita någon som väljer ut delar som ett annat företag monterar. Denna person kan dessutom göra en besiktning av datorn innan leverans, likaså en besiktningen innan garantin går ut. Ni själva om ni bara har pengar kan lätt fixa den bästa datorn på swelockers genom detta sätt utan att behöva kunna något själva.

Skrivet av improwise:

"Anders Skoglund tror att en spegellösning kan vara ett bra alternativ.

– Vid en sådan lösning finns det två lagringsenheter med samma information som direkt kan koppla in om den andra lägger av, säger han."

Ja, om det inte typ börjar brinna i serverhallen eller liknande då....

Men Transportstyrelsen kanske behöver nya "IT-proffs"

Edit:

Passande nog är alla länkar på sidorna dessutom felaktiga, kanske dom ska hålla sig till gruvdriften

Ofta ställer man inte redundansen i samma hus, det beror lite på situationen.

Permalänk
Medlem

Är dom dumma i huvudet? Det absolut vanligaste(?) problemet vid återskapande av raid är väl att en till disk lägger av.

Herrejävlar alltså.

Jag backupar alla mina maskiner i hemmet till en lokal raid.
Den kör jag sedan offsite till 2 st polare.
Den mest kritiska datan skickar jag även till amazon glacier.

Känns som att man sitter på en mer komplex backuplösning än 99% av företag och myndigheter, i hemmet.

Permalänk
Inaktiv
Skrivet av BasseBaba:

Är dom dumma i huvudet? Det absolut vanligaste(?) problemet vid återskapande av raid är väl att en till disk lägger av.

Herrejävlar alltså.

Jag backupar alla mina maskiner i hemmet till en lokal raid.
Den kör jag sedan offsite till 2 st polare.
Den mest kritiska datan skickar jag även till amazon glacier.

Känns som att man sitter på en mer komplex backuplösning än 99% av företag och myndigheter, i hemmet.

Skillnad på hemmabruk och lite mer avancerade system. Problemet här var att de ej hade redundans eller en dyrare raid.

Göra backuper hit och dit, så är det inte alltid så lätt att återställa dessa om systemet pratar med en massa andra system. Det är väldigt lätt att data kommer i osynk. Som jag tolkar artikeln fixade de genom backuper, men det är inget som går på någon minut.

Permalänk
Medlem
Skrivet av anon159643:

Jag är tveksam till detta påstående, jag kör alltid samma hårddiskar i raid. Detta för att minska risken för kompabilitetsproblem. Kommer man upp i lite dyrare lösningar som SAN, så köper man såklart de hårddiskar som leverantören säljer till denna.
Vill man högre säkerhet, ja skaffa då dubbla SAN med redundans. Men varje hårddiskkluster består av samma hårddiskmodell.
En vanlig lösning är att man har en Exsi server bestående av säg 2st hostar, dessa är kopplade till ett SAN (raid 10 är populär). När man vill ha redundans så köper man 2st exemplar av detta, sedan har man redundans i mjukvaran.

Kostnad hårdvara, beror på vad man köper såklart. Men 300 000kr är inget ovanligt, mjukvara så kan licenskostnaden för redundans hamna över miljonen. Men ibland är denna lägre, då brukar istället utvecklingskostnaden vara högre.

Vad händer när du inte längre kan få tag i dina diskar och tvingas köpa andra? Då upptäcker du kompabilitetsproblem som
kommer att påverka din drift då. När det var översvämningar i Thailand och det blev strul med leveranserna av diskar.
Detta påverkade alla leverantörer!

Skrivet av anon159643:

Jag har varit med om så många driftstörningar som just beror på redundans så det ej är klokt. Kommer man upp i lite mer avancerade system som många jobbar i utan att veta vad de gör, så kan man fråga sig hur bra redundans är?

Nu blandar du ihop kompetens och redundans. Redundanta system är sårbara för inkompetenta tekniker. Så är det bara.

Skrivet av anon159643:

Pengar löser alla problem.
1: Kommunen betalar någon för att sätta kravspecifikationer kanske skapa allt som behövs för en offentlig upphandling.
2: Kommunen betalar någon för att välja rätt av det som erbjuds
3: Kommunen betalar någon för att skapa det som efterfrågas.
4: Denna aktör anlitar en Molntjänst
5: Kommunen betalar ett annat företag pengar för att granska allt, skapa besiktningsprotokoll, se att säkerheten är hög o.s.v.

Alltså det enda kommen behöver ha är $, ju mer $ de har ju bättre system får de och de behöver inte själva veta hur man startar Word på en dator.

Ofta ställer man inte redundansen i samma hus, det beror lite på situationen.

Pengar som kommunen inte har, tyvärr.

Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Permalänk
Medlem
Skrivet av anon159643:

Ofta ställer man inte redundansen i samma hus, det beror lite på situationen.

Å fan, då fick man lära sig något nytt

Permalänk
Inaktiv
Skrivet av BrusE:

Vad händer när du inte längre kan få tag i dina diskar och tvingas köpa andra? Då upptäcker du kompabilitetsproblem som
kommer att påverka din drift då. När det var översvämningar i Thailand och det blev strul med leveranserna av diskar.
Detta påverkade alla leverantörer!

Ibland tvingas man köpa andra diskar, min poäng var vid nyköp väljer jag alltid 2st likadana på budgetservrar i raid 1. Jag ser inte det mer självklart att 2st olika diskar leder till mindre problem. När vi kommer upp i SAN, så köper jag bara extremt populära såna och dessa diskar säljs i stora volymer. Det är väldigt många som berörs av dem och tillverkaren fixar det på något sätt. T.ex. kan tillverkaren säga att denna modell har vi testat och vi anser den fungerar bra tillsammans, det är inget man testar själv.

Skrivet av BrusE:

Nu blandar du ihop kompetens och redundans. Redundanta system är sårbara för inkompetenta tekniker. Så är det bara.

Inte bara det vissa mjukvaror som har redundansstöd är buggiga. Min poäng är att redundans är jättebra, det jag framförallt använder det till är för att kunna uppdatera utan driftstörningar. Ni morgonpigga personer har väl sett vilket meddelande man kan få på morgonen här på sweclockers kring att det uppdateras, detta är inget som helst konstigheter att undvika om man bara öser på $.
Men det uppstår en massa nya problem, det är inte bara dubbla uppsättningar av servrar och resultatet kan bli mer downtid om man inte bränner tillräckligt mycket $.

Skrivet av BrusE:

Pengar som kommunen inte har, tyvärr.

Beror för vad, det jag beskrev är i princip så jag brukar jobba även om jag ej är inblandad i processen och det är fler steg. Att det är 3-5 företag iblandade i ett system med en extern besiktningsman är inget märkvärdigt och det fungerar ungefär som ett brobygge. Kommunen behöver inte veta ett skvatt om hållfastigheter för broar, olika miljökrav och allt vad det heter. De anlitar mängder med olika företag som ser att allt följs. Samma sak gäller IT-system.

Ett typexempel på något som mängder med företag jobbar är fastighetsspekulation, undra hur många företag som är inne i Malmö stads? Undra hur många olika företag det finns som enbart utför besiktningar på detta system? Troligen fler företag än vad jag har fingrar.

Skrivet av improwise:

Å fan, då fick man lära sig något nytt

Det är bra att lära sig nya saker. Undantag kan vara en fabrik, sätter man på två olika ställen i fabriken är man hyfsad säker, har hela fabriken brunnit ner, ja då behöver man ej ha systemet..
Sunt förnuft gäller alltså.

Permalänk
Hedersmedlem

Nä men nu är det många i formet tolkar situationen som fan läser bibeln (verkar det som).

Som jag tolkar den nyheten så har kommunen inte misstagit RAID för backup.
@FatherOfThree jag är inte med på hur du kommit fram till att backup saknats?

Det som har hänt som jag förstår det är att deras system för att garantera uptime inte varit tillräckligt utbyggt. Det i sig är trist, ja. Däremot står det inget i nyheten om att data gått förlorad för alltid utan informationen har inte varit tillgäng ett tag men allt ska vara igång och åtkomligt igen inom en tid efter driftstoppet.

Som jag ser det har de alltså haft backup som de har kunnat ta fram igen men när driftservern varit nere för underhåll medan man återställt data så har det inte gått att sätta igång ordinarie drift igen. Just för att de inte tagit höjd för att det ska behövas. Uptime trodde de skulle vara säkrat av raid5 vilket inte verkade fungera enligt plan. Men att backup skulle ha saknats helt ser jag inte att nyheten ger belägg för.

Eller är det här helt uteslutet?

Så som jag tolkar det är det alltså snarare många i forumet som i ren iver över att få berätta att raid minsann inte är backup (vilket visserligen är sant) inte läser nyheten ordentligt och själva drar en del ogrundade slutsatser.

Visa signatur

🎮 → Node 304 • Ryzen 5 2600 + Nh-D14 • Gainward RTX 2070 • 32GB DDR4 • MSI B450I Gaming Plus AC
🖥️ → Acer Nitro XV273K Pbmiipphzx • 🥽 → VR: Samsung HMD Odyssey+
🎧 → Steelseries arctic 7 2019
🖱️ → Logitech g603 | ⌨️ → Logitech MX Keys
💻 → Lenovo Yoga slim 7 pro 14" Oled