Opdatering kl. 17:17 den 1. september: Driften har været normalt i de sidste par timer. Vi mener at have fundet hovedårsagen til de to udfald, og det kan du læse mere om i dette blogindlæg. Her vil vi også opdatere med driftsinformation gående fremad.

Opdatering kl. 14:50 den 1. september: Driften er igen normaliseret. Vi er stadig ved at undersøge årsagen. Vi undskylder ulejligheden.

Opdatering kl. 14:28 den 1. september: Vi oplever lige nu udsving i driften. Vi undersøger, hvad der er årsag til udsvinget.

Opdatering kl. 13:40 den 1. september: Driften er nu normaliseret. Vores teknikere er ved at undersøge, hvad fejlen skyldtes. Vi opdaterer, når vi ved mere.

Opdatering kl. 13:24 den 1. september: Lige nu oplever vi desværre længere svartider i e-conomic. Vi opdaterer så snart vi har nyt.

Opdatering kl. 12:15 den 1. september: Driften er stadig stabil. Vi opdaterer igen kl. 14.00.

Opdatering kl. 10:15 den 1. september: Driften er stabil her til formiddag. Vi opdaterer igen kl. 12.00.

Opdatering kl. 07:47 den 1. september: Driften har været normal natten igennem. Vi opdaterer igen kl. 10.00.


Mandag den 31. august:

Opdatering kl. 22:00 den 31. august: Driften har været normal hele aftenen. Vi opdaterer igen i morgen tidlig senest kl. 08.00.

Opdatering kl. 19:00 den 31. august: Vi har lige nu stabil drift. Driften har været normal oven på dagens udsving siden midt på eftermiddagen. Vi opdaterer med seneste status kl. 22.00.

Opdatering kl. 14:32 den 31. august: 

Vi har indtil videre foretaget os følgende:

  • Vi har omrokeret en del af vore servere og har nu lagt nogle af vores API-servere ind i puljen af e-conomic servere, hvilket har givet mere kapacitet til at håndtere den store mængde trafik.
  • Vi har isoleret håndteringen af indscannede bilag til en afgrænset mængde servere. Vi fandt i sidste uge frem til, at indscanning af store mængder bilag kunne påvirke hastigheden for andre brugere der var på den samme server som indscanningen foregik på. Fremover kører håndteringen af scannede bilag på sine egne servere.

Vi har lige nu kun fokus på to ting. Alle der kan arbejde på at stabilisere driften, er på den opgave. Alle andre arbejder på supportmedier og her på online medierne, for at informere om hvad der sker.

Vi vil her på bloggen redegøre for hvad der er sket, når vi er kommet igennem håndteringen af de udfordringer vi har lige nu og har haft tid til at danne os overblikket over, både hvad der er sket hvornår, hvorfor, og hvad vi planlægger at gøre fremover.

Opdatering kl. 13:57 den 31. august: Det korte udfald for lidt siden skyldtes, at nogle services i e-conomic – bl.a. valutakurshåndtering – lagde ekstra hårdt pres på vores servere. Dette pres spredte sig desværre til flere servere, hvorfor e-conomic i små 10 minutter virkede utilgængeligt for nogle brugere. Vi er ved at undersøge, hvordan vi undgår denne fejl igen. Vi opdaterer her igen senest kl. 15.00.

Opdatering kl. 13:46 den 31. august: Vi oplevede et kort udfald, hvor e-conomic for nogle slet ikke var tilgængeligt. Vi opdaterer her, når vi ved, hvad udfaldet skyldtes.

Opdatering kl. 13:36 den 31. august: e-conomic ser desværre ud til at være helt nede lige nu. Vi gør alt vi kan for at fikse det.

Opdatering kl. 13:20 den 31. august: Vi har fortsat længere svartider i systemet lige nu. Vi gør alt hvad vi kan for at udbedre det og opdaterer her løbende.

Opdatering kl. 12.23 den 31. august: Driften er desværre stadig ustabil grundet højt pres på vores servere og mange brugere på systemet på samme tid. Derfor kan nogle handlinger i e-conomic tage længere tid end normalt. Vi arbejder på højtryk og undskylder mange gange.

Opdatering kl. 11.27 den 31. august: Vi oplever desværre stadig udsving i driften. Vi gør alt hvad vi kan for at få systemet til at køre normalt igen og opdaterer, så snart vi har nyt. Vi undskylder mange gange.

Opdatering kl. 11.03 den 31. august: Lige nu ser driften stabil ud, med dog en smule langsommere end normalt. Vi har stadig rigtig mange brugere på, hvorfor du vil kunne opleve, at systemet reagerer langsommere. Vi opdaterer igen senest kl. 12.00.

Opdatering kl. 10.25 den 31. august: Lige nu begynder vi at kunne mærke belastning på systemet, så du vil kunne opleve, at systemet reagerer langsommere end normalt. Vi opdaterer så snart vi har nyt. Vi undskylder mange gange.

Opdatering kl. 09.00 den 31. august: Driften er stadig stabil her til morgen. Vi opdaterer igen senest kl. 11:00.

Opdatering kl. 07.52 den 31. august: Driften har været stabil drift natten igennem. Vi opdaterer igen senest kl. 09:00.


Søndag den 30. august

Opdatering kl. 21.00 den 30. august: Dette er sidste planlagte opdatering i dag og driften er stabil. Vi opdaterer igen senest i morgen kl. 08:00.

Opdatering kl. 18.00 den 30. august: Der er fortsat stabil drift. Vi opdaterer igen senest kl. 21:00.

Opdatering kl. 15.00 den 30. august: Driften er stadigvæk stabil. Vi opdaterer igen senest kl. 18:00.

Opdatering kl. 12.00 den 30. august: Driften har været stabil hele formiddagen. Vi opdaterer igen senest kl. 15:00.

Opdatering kl. 09.00 den 30. august: Driften er fortsat stabil. Vi opdaterer igen senest kl. 12:00.

Opdatering kl. 07.46 den 30. august: Der har været stabil drift natten igennem. Vi opdaterer igen senest kl. 09:00.


Lørdag den 29. august

Opdatering kl. 22.00 den 29. august: Driften har været stabil hele dagen igennem. Dette er den sidste planlagte statusopdatering i aften. Vi opdaterer igen i morgen senest kl. 08:00.

Opdatering kl. 20.00 den 29. august: Driften er stabil her til aften. Vi opdaterer igen senest kl. 22:00.

Opdatering kl. 16.40 den 29. august: Driften er fortsat stabil her til eftermiddag. Vi opdaterer igen senest kl. 20:00.

Opdatering kl. 13.50 den 29. august: Driften er fortsat stabil. Vores chat lukker om et øjeblik, kl. 14.00, men mailen er åben frem til kl. 18.00, så skriv endelig til os. Vi opdaterer her igen senest kl. 17:00.

Opdatering kl. 11.57 den 29. august: Der har været stabil drift hele formiddagen. Du kan fange os på chat frem til kl. 14 og mail frem til kl. 18, hvis du har brug for hjælp. Vi opdaterer igen senest kl. 14:00.

Opdatering kl. 09.52 den 29. august: Der er stadig stabil drift her til morgen. Vi opdaterer igen senest kl. 12:00. Vi åbner på chat og mail lige om lidt og er klar til at hjælpe dig.

Opdatering kl. 07.38 den 29. august: Driften har været stabil natten igennem. Vi opdaterer igen senest kl. 10:00. Fra kl. 10.00 holder vi også åbent på chat og mail, hvis du får brug for hjælp. Chatten har åbent frem til kl. 14.00 og mailen frem til kl. 18.00.


Fredag den 28. august

Opdatering kl. 22.00 den 28. august: Driften er fortsat stabil. Vi opdaterer her igen i morgen den 29. august senest kl. 08:00

Opdatering kl. 21.00 den 28. august: Der er normal drift. Vi opdaterer her igen senest kl. 22:00

Opdatering kl. 20.00 den 28. august: Driften er stabil. Vi opdaterer her igen senest kl. 21:00

Opdatering kl. 19.00 den 28. august: Der er fortsat stabil drift. Vi opdaterer her igen senest kl. 20:00

Opdatering kl. 18.00 den 28. august: Driften har været stabil siden kl. 16:55. Vi opdaterer her igen senest kl. 19:00

Opdatering kl. 17.12 den 28. august: Vi har haft en periode med længere svartider mellem 16:43 og 16:55. Teknikerne fik dog hurtigt løst problemet og vi har igen normal drift.

Opdatering kl. 16.00 den 28. august: Fortsat stabil drift på alle fronter. Vi opdaterer her igen senest kl. 17:00

Opdatering kl. 15.33 den 28. august: Vi udvider supportens åbningstid fredag til kl. 18:00 på chatten og på mail til kl. 20:00.

Lørdag og søndag kan du chatte med os fra 10:00 – 14:00 og Mailen er åbent til kl. 18 begge dage.

Opdatering kl. 15.00 den 28. august: Driften er stadigvæk stabil. Vi opdaterer her igen senest kl. 16:00

Opdatering kl. 14.00 den 28. august: Der er fortsat stabil drift. Vi opdaterer her igen senest kl. 15:00

Opdatering kl. 13.00 den 28. august: Stabil drift på alle fronter. Vi opdaterer her igen senest kl. 14:00

Opdatering kl. 12.00 den 28. august: Driften er stabil her til frokost. Vi opdaterer her igen senest kl. 13:00

Opdatering kl. 11.00 den 28. august: Vi har fortsat stabil drift. Vi opdaterer her igen senest kl. 12:00

Opdatering kl. 10.00 den 28. august: Driften er stabil. Vi opdaterer her igen senest kl. 11:00

Opdatering kl. 08.59 den 28. august: Driften er stadig stabil her til morgen. Vi opdaterer her igen senest kl. 10:00

Opdatering kl. 07.53 den 28. august: Vi har stadigvæk stabil drift. Vi opdaterer her igen senest kl. 09:00

Opdatering kl. 06.00 den 28. august: Driften er stabil og det har den været natten igennem. Vi opdaterer her igen senest kl. 08:00


Torsdag den 27. august

Opdatering kl. 22.00 den 27. august: Driften er stabil og dette er den sidste planlagte statusopdatering i aften. Husk at vi holder momsåbent på mail og chat lørdag og søndag mellem klokken 10.00 – 14.00, hvis du skulle få brug for hjælp.

Vi opdaterer med en driftsstatus her igen senest i morgen kl. 06:00.

Opdatering kl. 21.00 den 27. august: Der er fortsat stabil drift og har været det den sidste time. Vi opdaterer her igen senest kl. 22:00

Opdatering kl. 20.00 den 27. august: Driften er igen stabil og har været det siden kl. 19:15. Vi opdaterer her igen senest kl. 21:00

Opdatering kl. 19.15 den 27. august: Vi har netop haft et mindre udfald der betød at der var længere ventetid mellem kl. 19:05 og 19:15. Vi undersøger lige nu årsagen til udfaldet.

Opdatering kl. 19.00 den 27. august: Driften er stadigvæk stabil. Vi fortsætter med at overvåge og opdaterer senest igen kl. 20:00

Opdatering kl. 18.00 den 27. august: Driften er stabil. Vi opdaterer senest kl. 19:00

Opsummering af dagen kl. 17.40 den 27. august

Vi har i dag været ramt af tre hændelser:

  1. I tidsrummet fra kl. 11:10 – 11:20 havde vores hosting udbyder netværksproblemer, hvilket betød at alle vore online medier kortvarigt var nede.
  2. Fra kl. 14:30 – 14:43 var der høj belastning på serverne, hvilket betød at handlinger kunne tage mellem 5-10 sekunder at udføre.
  3. I tidsrummet fra 15:13 – 15:25 betød en høj belastning af systemet, at mange oplevede nedsat hastighed.

Vi ser nogle, for os, ukendte mønstre i ”systemet” som vi forsøger at finde frem til årsagen til. Det betyder at vi underøger på alle fronter. Software, hardware, netværk og overvågning gennemgås minutiøst.

Vores teknikere arbejder i øjeblikket bl.a. på at udvide overvågningen af alle de ovennævnte komponenter, for at gøre fejlsøgningen hurtigere og mere præcis.

Vi udvider åbningstiden på chat til kl. 20.00.

Vi opdaterer her på bloggen hver time indtil kl. 22.00.

Opdatering kl. 17.03 den 27. august: Driften er lige nu stabil og har været det siden kl. 15.30. Udfaldet tidligere varede ca. 10 minutter. Vi opsummerer dagens hændelser senest kl. 18.00.

Opdatering kl. 15.25 den 27. august: Vi oplever lige nu høj belastning på systemet. Vi arbejder på højtryk for at løse problemet og undskylder mange gange. Vi opdaterer med nyt så snart vi ved mere.

Opdatering kl. 14.43 den 27. august: Vi har registreret høj belastning på vores servere, som betyder, at du – inden for de sidste 10 minutter – kan have oplevet, at systemet kørte langsomt eller at en handling tog omkring 10 sekunder for at gå igennem. Vi er ved at undersøge årsagen og opdaterer her, så snart vi ved mere.

Opdatering kl. 13.30 den 27. august: Vi har stadig normal drift efter det korte udfald grundet netværksproblemer hos vores hostingleverandør. Fang os i supporten, hvis du har brug for hjælp. Næste opdatering sker her senest kl. 15.00.

Opdatering kl. 12.38 den 27. august: Vores hostingleverandør har netop bekræftet, at udfaldet fra ca 11.10 til 11.20 skyldtes netværksproblemer hos dem. Ingen data er gået tabt grundet disse netværksproblemer. Driften er stadig normal. Vi opdaterer her igen senest kl. 13.30.

Opdatering kl. 12.09 den 27. august: Driften har været normal den sidste halve time. Vi er stadig ved at undersøge, hvad der skete, og hvilke konsekvenser – hvis nogen – som udfaldet har haft. Vi opdaterer så snart, vi har nyt – senest kl. 13.30.

Opdatering kl. 11.39 den 27. august: Vi har lige oplevet et kortvarigt udfald på website, e-copedia, blog, applikation – med andre ord, på alt. Det betyder, at det ikke var applikationen, der kørte langsomt, men indikerer et netværksproblem, der rammer alle vores medier. Det undersøger vi lige nu sammen med vores hostingleverandør. Herunder øvrige konsekvenser af det formodede netværksudfald.

Udfaldet varede hhv. 37 sekunder på bloggen, 43 sekunder på e-copedia og ca. 10 minutter i applikationen. At nogle medier kommer sig hurtigere oven på sådanne udfald skyldes, at de er mindre komplekse i deres struktur og opsætning. Derfor tog det således længere for applikationen at komme ovenpå igen. Vi arbejder på højtryk.

Opdatering kl. 11.24 den 27. august: Vi havde i ca. 10 minutter fra kl. 11.10 ekstra høj belastning på vores servere, hvilket betød, at programmet desværre kørte langsomt. Vi undersøger lige nu med vores hostingleverandør, hvad der skete, og vi opdaterer her, når vi ved hvad fejlen skyldtes. Systemet kører nu normalt igen. Vi undskylder ulejligheden mange gange.

Opdatering kl. 11.17 den 27. august: Vi oplever lige nu, at systemet kører langsomt. Vi undersøger, hvad der sker og vender tilbage snarest muligt med en status. Vi undskylder ulejligheden mange gange.

Opdatering kl. 10.00 den 27. august: Driften er normal her til morgen. Husk vi er klar på mail, chat og telefon til at hjælpe dig. Du kan også søge hjælp i vores e-copedia. Næste opdatering sker her kl. 12.00.

Opdatering kl. 08.50 den 27. august: Driften er stadig normal. Oplever du problemer, sidder vi klar på mail, chat og telefon fra kl. 09.00. Næste opdatering sker kl. 10.00.

Opdatering kl. 07.35 den 27. august: Driften er stadig normal her til morgen. Næste opdatering sker senest kl. 09.00.

Opdatering kl. 05.50 den 27. august: Godmorgen. Driften har været normal hen over natten. Næste opdatering sker senest kl. 08.00.


 

Onsdag den 26. august

Opdatering kl. 21.55 den 26. august: Driften har været normal gennem hele dagen. Dette er sidste opdatering for i aften. Næste opdatering sker senest kl. 06.00 i morgen, torsdag den 27. august.

Opdatering kl. 20.55 den 26. august: Driften er stadig normal. Næste opdatering sker kl. 22.00.

Opdatering kl. 20.00 den 26. august: Vi har stadig normalt drift her til aften. Næste opdatering sker kl. 21.00.

Opdatering kl. 18.00 den 26. august: Driften har været normalt siden sidste opdatering kl. 16.00. Oplever du alligevel, at systemet kører langsomt, så fejlsøger du nemmest ved at prøve i en anden browser og/eller ved at slette cookies og rydde din cache. I vores e-copedia kan du se, hvordan du gør. Vi svarer på mails frem til kl. 20.00, så der kan du fange os, hvis det bliver nødvendigt. Vi giver seneste status her igen kl. 20.00.

Opdatering kl. 16.00 den 26. august: Driften har været normalt gennem dagen. Oplever du problemer med programmet, så send os en mail på info@e-conomic.dk eller fang os på chatten frem til kl. 18.00. Vi opdaterer med status her igen kl. 18.00.

Opdatering kl. 15.00 den 26. august: Vi har stadig normalt drift. Næste opdatering sker her kl. 16.00.

Opdatering kl. 14.00 den 26. august: Vi har stadig normalt drift. Næste opdatering sker her kl. 15.00.

Opdatering kl. 13.00 den 26. august: Vi har stadig normalt drift. Næste opdatering sker her kl. 14.00.

Opdatering kl. 12.00 den 26. august: Vi har stadig normalt drift. Næste opdatering sker her kl. 13.00.

Opdatering kl. 11.20 den 26. august: Driften er stadig normal. Ring, chat eller send os en mail, hvis du oplever problemer – så hjælper vi dig videre. Vi opdaterer igen kl. 12.00.


 

Det er formodentlig ikke gået ubemærket hen, at vi har haft problemer med vores drift i perioder mellem den 11. og den 24. august.

 

Hvad har været problemet

Uge 33/34

Vi har gennem sommeren lagt en række nye funktioner til e-conomic. Det viste sig, at noget af den funktionalitet havde negativ indflydelse på hastigheden og skabte et antal flaskehalse. De flaskehalse blev først mærkbare og målbare i uge 33, da flere begyndte at bruge systemet efter sommerferien. Disse problemer fik vi løst i løbet af uge 33 og 34.

Uge 35

Mandag

Vi ruller flere driftsforbedrende tiltag ud på dele af serverne. Desværre havde et af disse tiltag negative konsekvenser for driften, hvorfor vi måtte rulle dem tilbage igen. Kombinationen af mange aktive brugere, og denne tilbagerulning, betød desværre reduceret hastighed.

Umiddelbart efter tilbagerulningen er driften normal, med tilfredsstillende svartider.

Ulykker kommer sjældent alene og mandag aften ramtes vi selvfølgelig af, hvad der tyder på var en netværksfejl i vores hostingmiljø, som gav ti minutters nedetid. Vi undersøger stadigvæk detaljerne omkring denne afbrydelse. Men vi har (bank under bordet) haft normal drift siden da, og det med et rekordhøjt antal brugere på systemet.

Tirsdag

Normal drift.

Onsdag

Normal drift indtil nu.

 

Hvad gør vi nu

På den tekniske side, overvåger vi systemet meget nøje og er parate til at gribe om nødvendigt.

For så vidt angår kommunikation opdaterer vi i løbet af dagen på bloggen med driftsstatus.

 

Moms

Vi har her på bloggen og i telefonen fået spørgsmål om, hvorvidt dette er relateret til, at der er mange brugere på systemet op til momsen. Som nævnt ovenfor er det ikke direkte relateret til momsen, men det falder uheldigt sammen med, at vi har haft en brat stigning af antal aktive brugere efter sommerferien. Det har betydet, at vi ikke har kunnet opdage og fjerne de førnævnte flaskehalse i opløbet.

Den åbenbare konklusion er, at vi skal nøje gennemtænke udrulning af funktionalitet i perioder med lav brugeraktivitet, f.eks. i sommerferien.

I skrivende stund har vi et rekordhøjt antal brugere på systemet og forventer, at vi kommer igennem momsen uden yderligere driftsproblemer.

 

Post-mortem

På den anden side af momsen vil vi her på bloggen redegøre yderligere for vores erfaringer/konklusioner med de sidste ugers drift.

 

Intet er vigtigere end driften

Vores administrerende direktør Eilert Hanoa udtaler: ”Intet er vigtigere end stabil og pålidelig drift. Jeg vil også hermed undskylde de gener, den ustabile drift har været skyld i og forsikrer, at alle sejl er sat for at sikre stabil og ordentlig drift. ”

Med venlig hilsen

Kim Sneum Madsen

Direktør for kundeservice