LSR / Кривой релиз панели хостинга / 07.09.20

Описание

// вкратце что произошло//

Из-за кривого релиза панель хостинга была недоступна в течение

Предпринятые действия

// таймлайн с описанием //

  • 22:24 git pull на сервере, содержащим панель
  • 22:25 после рестарта демонов и воркеров панели замечаем резкий скачок 5хх ошибок на фронте. также визуально наблюдалась полная недоступность панели
  • 22:32 обнаружена ошибка в composer.json, который не содержал необходимую библиотеку
  • 22:33 первые попытки восстановить работу, установив вручную необходимую библиотеку
  • 22:50 после нескольких попыток была найдена необходимая версия sentry, в этот момент работа панели была восстановлена

Анализ

// анализ описания //

Релизы панели катятся через локальный гитлаб. Из-за ошибки со стороны администратора, изменения в файле composer.json не были заведены в гитлабе, поэтому разработчик, который катил релиз панели, не имел представления о недостающей библиотеке.

Диагностика

// графики //

График возросшего количества 5хх. Красным - количество 5хх, зеленым - количество 2хх

Скриншот личного кабинета в период недоступности панели

Меры предотвращения

// что сделать, чтобы не повторилось//

При последующем внесении изменений в панели на сервере необходимо отправлять эти изменения в локальный репозиторий. Впоследствии это не будет иметь никаких последствий, так как в таком случае неконстистентности данных не будет

Какие сервисы затронуты

// список сервисов //

Приносим свои извинения