Posts Tagged ‘downtime’

inbox.lv: Unicode грядёт

Friday, October 3rd, 2008

  Давным-давно, когда деревья были маленькими, а символы однобайтовыми, злобный МелкоМягкий придумал множество кодовых таблиц для разных языков, дабы разобщить народы и повергнуть мир в хаос. И мучились несчастные пользователи, пытаясь угадать windows-1251 али KOI8-R в крякозябрах.
  В те смутные времена на свет появилась Хорда, а позже Имп, сын её единородный. И увидел Nixus Импа, и решил он, что Имп это хорошо. И возник тогда В-Ящике-Точка-Л-В.
  Много лет минуло с тех дней стародавних. Много кода В-Ящике-Точка-Л-В было распилено и перелажено. Кодеры криворукие мучили Хорду, вивисекторы быстрокрылые вынимали Импу органы лишние. И осталось от Хорды с Импом лишь название да пара классов, пылью поросших. Но не было счастья пользователю, в кодировках профессионально не разбирающемуся.
  Однако есть на свете люди добрые, Unicode придумавшие. И пришёл Данакака хитрый, да сказал Янке про юникод, да как его имплементировать. И стали они пилить В-Ящике-Точка-Л-В с новой силою, да вставлять в него юникод импортный. И получалось у них хорошо и сделали они В-Ящике-Точка-Л-Т, и были довольны братья наши литовские.
  И бросил Впередсмотрящий игру свою любимую, и сказал что хорош юникод заморский и заслуживает народ родной его в подарок в год кризисный. Да будет так, сказал он, в субботу нынешнюю.
  Суть. По плану, в ночь с субботы на воскресенье inbox.lv переходит на UTF-8. В связи с этим интернет сайт www.inbox.lv будет несколько часов недоступен.

www.inbox.lv – пятничные проблемы

Saturday, September 20th, 2008

  В пятницу, 19 сентября, сайт www.inbox.lv не был доступен с 8 часов утра до полудня по причине сбоя в работе маршрутизатора. Предположительно, неизвестными была проведена атака на отказ в обслуживании, так как остальные сервисы проекта inbox.lv, а так же сервера продолжали бесперебойную работу.

Как мы чинили Reiserfs

Friday, July 18th, 2008

  Мы используем ReiserFS для хранения данных, так как эта файловая система оптимально подходит для большого количества мелких файлов, которые составляют почтовые ящики пользователей inbox.lv
  В результате идиотизма сотрудников DEAC и неудачных попыток реинкарнации таблицы разделов, у нас оказалось несколько пятисотгигабайтных дисков с убитым reiserFS. Причём данные были в полном порядке – затёрт оказался только суперблок. Да, повторный --rebuild-sb без --rebuild-tree приводит к плачевному результату. (more…)

Проблемы на серверной площадке DEAC

Sunday, July 13th, 2008

  Давненько у нас не было проблем с DEAC. Мы уже даже начали верить что все будет офигенно (непременно :).
  Сегодня у нас посыпались диски сразу на 20 серверах хранения данных. Файловая система стала выдавать ошибки. Что-то тут не так, подумали мы и позвонили нашему хостеру.
  Оказывается, в одной из наших комнат отключилось кондиционирование ! И эти умные ребята из DEAC очевидно решили что мы ничего не заметим и нечего нас беспокоить :( Жалко они не подумали что наши сервера работают и при этом сильно греются – температура на жёстких дисках поднялась выше 70 градусов ! Хорошо хоть довольно оперативно они там у себя все починили и ни один диск не сгорел… Так, потеряли пару файлов ;) терабайт пользовательских данных :(

Плановые работы в серверной inbox.lv

Monday, April 7th, 2008

  Сегодня ночью запланированы работы по обслуживанию в серверной комнате inbox.lv на хостинговой площадке DEAC. В связи с этим, портал inbox.lv не будет доступен после 00:00 приблизительно в течении часа.

inbox.lv vs Mysql Cluster

Saturday, April 5th, 2008

  Пару последних дней inbox.lv слегка лихорадило – мы пытались перевести одну из баз данных на mysql cluser.
  Подобная инсталляция у нас уже имеется и пока исправно работает на проекте inbox.lv. Однако, там нагрузка значительно меньше. А так же отсутствуют древние продукты типа shop.inbox.lv, написанные программистами никогда не слышавшими про масштабирование и оптимизацию.
  К сожалению перевод латвийской баннерной системы на mysql cluster версии 5.0.54 не увенчался успехом. Хотя вечером, после обновления, всё работало более-менее нормально (только после установки TransactionDeadlockDetectionTimeout=30000), днем же, при полной нагрузке, кластер впадал в транс каждые 10 минут. Помогала только перезагрузка. В это время пользователи не могли наслаждаться нашей любимой рекламой и испытывали другие неудобства. После пары часов безуспешных попыток привести кластер в чувство, было решено вернуться к предидущей конфигурации.

inbox.lv отключился на 15 минут

Friday, February 29th, 2008

  Сегодня у нас на северной площадке произошла маленькая авария – перестал работать один из сетевых коммутаторов (как это ни странно, но у нас, оказывается, было устройство от фирмы Eusso).
  В результате, на время поиска и устранения проблемы, сервис inbox.lv не был доступен.

Проблемы с mail.ru

Tuesday, February 26th, 2008

  В последнюю неделю странные дела творятся с mail.ru. Переодически задержка ответа у MX сервера (mxs.mail.ru) начинает зашкаливать. Сегодня уже второй раз в очередях на отправку на mail.ru лежит больше 300 писем !

Проблемы у mail.ru

Wednesday, February 13th, 2008

  Доставка писем на mail.ru сегодня не работает. Подключится к SMTP на mxs.mail.ru (MX по умолчанию для mail.ru) c латвийских адресов невозможно. Сообщения собираются в очереди. Будем надеятся, что скоро починят.

Очередное обновление основной базы

Sunday, February 10th, 2008

  В общем-то subj. Прямо сейчас запускаю и inbox.lv сорок минут отдыхает. До скорых встреч !

Технические проблемы

Thursday, January 17th, 2008

  Вчера на одном из серверов хранения пользовательских данных возникли проблемы с одним из контроллеров жестких дисков. В результате некорректной работы была повреждена файловая система. После замены контроллера исправным потребовалось некоторое время на восстановление целостности данных.
  В связи с этим, небольшая часть пользователей с и-мэйлами на букву “R” не могли просмотреть свои почтовые ящики. В данный момент проблема полностью решена.

ALTER основной базы

Wednesday, January 2nd, 2008

  Пока все спят… Пока снег идет… Я запускаю ALTER основной базы :) На тестовом прогоне это заняло 45 минут. inbox.lv не будет временно доступен через веб.
  Плановые работы, все под контролем.

Праздничный downtime

Saturday, December 22nd, 2007

  Наш любимый хостер DEAC снова отличился. Сегодня ночью, в то время как все сотрудники Inbox пили водку на корпоративной вечеринке, в DEAC отключилось электричество. Соответственно, все сервера перезагрузились. К сожалению, трезвых админов уже не было, и возникшие неисправности чинили уже сегодня с утра, как только протрезвели.
  Какая-то напасть случилась с DEAC – это уже второй крупный сбой за последнее время…

Проблемы у Deac – inbox.lv полностью обесточен

Thursday, November 22nd, 2007

  В серверной комнате inbox’а на серверной площадке DEAC отключились все кондиционеры. В результате температура стала резко подниматься. Сначала были остановлены все серверы, кроме обеспечивающих работу основного сервиса – почты. После того, как температура жестких дисков включенных серверов поднялась выше 50 градусов, были выключены полностью все сервера.
  Работа портала inbox.lv была прервана по вине hosting провайдера DEAC.

Плановые работы в inbox

Thursday, October 11th, 2007

  Сегодня ночью в процессе плановых работ по увеличению объема хранилища данных были внесены ошибочные данные в конфигурацию внутренних систем inbox. В результате, система не могла правильно обнаружить небольшую часть пользователей на букву “a”.
  Благодаря пользователям, позвонившим в службу технической поддержки inbox.lv по телефону +371 6 7359626, проблема была опервативно обнаруженна и устранена.