Neplánovaný výpadek serverů v sobotu 14.7.2012 (aktualizováno)

Dne 14.7.2012 v 6:10 ráno došlo vlivem neznámé příčiny k poruše několika hlavních i záložních síťových prvků. Naše techniky o závadě informoval kontrolní systém a ještě před ohlášením prvním zákazníkem na hotline lince vyrazili do serverovny.

Pokusili jsme se o opravu hlavních prvků a po zjištění dalších závad i o opravu prvků záložních. Po následné analýze došlo k rozhodnutí nezbytný počet porouchaných síťových prvků vyměnit za nové, které ovšem musely být nakonfigurovány do provozuschopné formy.

Okolo 13:10 došlo k nahození více než osmdesáti procent strojů (22 z 27) - jejich celková měsíční dostupnost klesla na 99,059%. 
O další necelé tři hodiny později tj. v 16:00 se podařilo zprovoznit i zbylé servery - jejich dostupnost klesla na 98,65%.

Velmi se omlouváme za způsobené škody. Uvědomujeme si nakolik je pro e-shopy nonstop provoz důležitý. Pro rychlé vyřešení jsme udělali maximum (v pohotovosti bylo 8 našich zaměstnanců přítomných v serverovně a v kanceláři).

Ze vzniklé situace si vezmeme ponaučení:

• nelze spoléhat pouze na 1 záložní variantu
• lépe online komunikovat stav (informovali jsme pouze na firemním facebooku a twitteru až po desáté raní hodině)
• zajistit dostupnost hotline čísel na stránkách shopsys.cz i v případě výpadků serverů

 

Klientům děkujeme za pochopení.

Foto ze serverovny z 14.7.2012 v cca 12:00