Давненько ничего весёлого, достойного рассказа, не случалось с железками inbox.lv в DEAC. Происходили мелкие неурядицы, что-то быстро решалось и чинилось. Но вот в понедельник случился очередной epic fail.
Предыстория примерно следующая: в DEAC находятся примерно с десяток стоек с оборудованием сервиса inbox.lv, запитанных на разные электрические фазы для снижения нагрузки на сеть.
Прекрасным утром понедельника система мониторинга предупредила об отключении части оборудования в датацентре. Служба поддержки DEAC однако уверенно сообщила что все сервера включены и проблем нет.
Возникла идея о проблеме со свичами – сотрудник DEAC на месте сходил в серверную и по нашей просьбе отключил некоторые коммутаторы от электричества, затем включив обратно. Что однако не дало ожидаемого результата – по сообщению сотрудника на свичах не было никакой активности.
Наши ребятки поехали на место.
По прибытию в DEAC обнаружилось отсутствие электричества в части розеток – кто-то в DEAC решил отключить одну из фаз электричества, питающую наши стойки. Без какого-либо предупреждения. Без уведомления собственного технического персонала. Технического персонала, который не может отличить включенный коммутатор от обесточенного.
Сервис inbox.lv частично был недоступен примерно час.
Posts Tagged ‘deac’
DEAC и электричество
Friday, May 30th, 2014Чёрная суббота Inbox.lv
Saturday, July 24th, 2010 DEAC никогда не забывает о своих крупных клиентах. И сегодня случился именно тот веселый день, когда электричество выключилось в основной серверной комнате портала inbox.lv. На этот раз работники DEAC соизволили предупредить нас за целых десять минут, прежде чем всё полностью отрубилось (странно, но давным-давно я что-то слышал про дизельный генератор). Тем не менее, большую часть из ста с лишним серверов мы просто не успели выключить.
Пробки чинили два часа. Это уже второй раз, когда нам пригодился “inbox Power On plan” за последние три года.
Лето пришло в DEAC
Friday, June 11th, 2010Зимой на хостинговой площадке DEAC холодно, а летом жарко. Сегодня в серверной inbox воздух прогрелся до 35 градусов Цельсия. Хвала Всевышнему – без осадков. Только пара хардов вылетела ненадолго. Не то что месяц назад, когда ночью в одной из комнат вырубилось электричество…
Пятницо
Friday, July 24th, 2009Сегодня Пятниццо – в офисе inbox.lv до трёх часов дня не было интернета. Отличный повод попить кофе, почитать журнальчик, сидя на диване и пообщаться с коллегами. DEAC как обычно не спешил с починкой, утверждая что “у них всё работает”. Ещё бы :)
Проблемы на серверной площадке DEAC
Sunday, July 13th, 2008 Давненько у нас не было проблем с DEAC. Мы уже даже начали верить что все будет офигенно (непременно :).
Сегодня у нас посыпались диски сразу на 20 серверах хранения данных. Файловая система стала выдавать ошибки. Что-то тут не так, подумали мы и позвонили нашему хостеру.
Оказывается, в одной из наших комнат отключилось кондиционирование ! И эти умные ребята из DEAC очевидно решили что мы ничего не заметим и нечего нас беспокоить :( Жалко они не подумали что наши сервера работают и при этом сильно греются – температура на жёстких дисках поднялась выше 70 градусов ! Хорошо хоть довольно оперативно они там у себя все починили и ни один диск не сгорел… Так, потеряли пару файлов ;) терабайт пользовательских данных :(
Проблемы у Deac – inbox.lv полностью обесточен
Thursday, November 22nd, 2007 В серверной комнате inbox’а на серверной площадке DEAC отключились все кондиционеры. В результате температура стала резко подниматься. Сначала были остановлены все серверы, кроме обеспечивающих работу основного сервиса – почты. После того, как температура жестких дисков включенных серверов поднялась выше 50 градусов, были выключены полностью все сервера.
Работа портала inbox.lv была прервана по вине hosting провайдера DEAC.