Archive for May, 2014

DEAC и электричество

Friday, May 30th, 2014

  Давненько ничего весёлого, достойного рассказа, не случалось с железками inbox.lv в DEAC. Происходили мелкие неурядицы, что-то быстро решалось и чинилось. Но вот в понедельник случился очередной epic fail.
  Предыстория примерно следующая: в DEAC находятся примерно с десяток стоек с оборудованием сервиса inbox.lv, запитанных на разные электрические фазы для снижения нагрузки на сеть.
  Прекрасным утром понедельника система мониторинга предупредила об отключении части оборудования в датацентре. Служба поддержки DEAC однако уверенно сообщила что все сервера включены и проблем нет.
  Возникла идея о проблеме со свичами – сотрудник DEAC на месте сходил в серверную и по нашей просьбе отключил некоторые коммутаторы от электричества, затем включив обратно. Что однако не дало ожидаемого результата – по сообщению сотрудника на свичах не было никакой активности.
  Наши ребятки поехали на место.
  По прибытию в DEAC обнаружилось отсутствие электричества в части розеток – кто-то в DEAC решил отключить одну из фаз электричества, питающую наши стойки. Без какого-либо предупреждения. Без уведомления собственного технического персонала. Технического персонала, который не может отличить включенный коммутатор от обесточенного.
  Сервис inbox.lv частично был недоступен примерно час.