Mandag aften, d. 14. september, var e-conomic regnskabsprogram og SOAP API utilgængeligt i ca. 1½ time. Vi har nu undersøgt sagen nærmere og fundet frem til årsagen på nedetiden som du kan læse mere om herunder.
Hændelsesforløb:
Mellem kl. 19.00-19.30 opstod der kø/ventetid på handlinger i systemet i forbindelse med synkroniseringen mellem serverne. På samme tid var vores monitoreringsservice udsat for driftsproblemer. Omkring kl. 19.30 begyndte kunder at mærke problemet, da systemet kørte meget langsomt for til sidst at gå helt ned.
Vi gik straks i gang med at undersøge problemet og prøvede at skifte over til vores sekundære servere, hvilket ikke hjalp på driften.
Herefter lukkede vi ned for API-trafikken på vores load balancer, for at mindste belastningen på synkroniseringsserverne. Kort herefter lukkede vi ned for alt trafik fra vores load balancer, hvilket reducerede belastningen på vores synkroniseringsservere fra 50% til 10%.
Kl. 20.45 kunne vi endelig genstarte vores system-servere, hvilket fik e-conomic tilbage til normal drift efter nogle minutter.
Underliggende årsag til nedetiden:
Ligesom med vores driftsproblemer i august, var nedetiden igen knyttet til vores synkroniseringssetup. Systemet kunne ikke følge med det antal handlinger, der blev foretaget i e-conomic og derfor begyndte systemet at lukke ned for dele af e-conomic. Dette gav anledning til nye kliks og handlinger i systemet, som serverne ikke kunne udføre, da systemet var låst, hvilket til sidst fik hele systemet til at gå i stå.
Normalt bliver disse systemlåse fjernet automatisk efter kort tid, men i dette tilfælde opstod der nye låse så hurtigt, at systemet ikke kunne nå at fjerne dem.
Handlinger:
Vi fortsætter vores igangværende arbejde med at forbedre vores synkroniseringssetup. Det inkluderer bl.a. en opdatering af vores synkroniseringsservere, der vil foregå lørdag d. 26. september fra kl. 18, hvor vi lukker ned for e-conomic frem til næste morgen, kl. 6.00.
