Давненько ничего весёлого, достойного рассказа, не случалось с железками inbox.lv в DEAC. Происходили мелкие неурядицы, что-то быстро решалось и чинилось. Но вот в понедельник случился очередной epic fail.
Предыстория примерно следующая: в DEAC находятся примерно с десяток стоек с оборудованием сервиса inbox.lv, запитанных на разные электрические фазы для снижения нагрузки на сеть.
Прекрасным утром понедельника система мониторинга предупредила об отключении части оборудования в датацентре. Служба поддержки DEAC однако уверенно сообщила что все сервера включены и проблем нет.
Возникла идея о проблеме со свичами – сотрудник DEAC на месте сходил в серверную и по нашей просьбе отключил некоторые коммутаторы от электричества, затем включив обратно. Что однако не дало ожидаемого результата – по сообщению сотрудника на свичах не было никакой активности.
Наши ребятки поехали на место.
По прибытию в DEAC обнаружилось отсутствие электричества в части розеток – кто-то в DEAC решил отключить одну из фаз электричества, питающую наши стойки. Без какого-либо предупреждения. Без уведомления собственного технического персонала. Технического персонала, который не может отличить включенный коммутатор от обесточенного.
Сервис inbox.lv частично был недоступен примерно час.