LSR / Недоступность игровых нод / 25.02.21

Описание

// вкратце что произошло//

Деградация производительности ssd-дисков на нодах siren, aqua вызвала частичную и полную недоступность хостовых машин. Это привело к недоступности пользовательских серверов

Предпринятые действия

// таймлайн с описанием //

  • В 16:00 регистрируем первые падения производительности
  • В 16:26 начинают поступать первые жалобы от клиентов
  • В 16:30 теряем доступность ноды aqua
  • В 16:40 теряем ноду siren
  • В 16:50 принимаем решение перезагрузить ноду aqua
  • В 17:05 нода aqua перезагружается и зависает на моменте загрузки
  • В 17:10 связываемся с провайдером, eta по восстановлению 10 минут
  • В 17:25 ноды не возвращаются, связываюсь с системным администратором лично
  • В 17:30 получаем ответ от коллег "Требуется некоторое время на стабилизацию ситуации (около 15 минут)"
  • В 18:03 ноды начинают возвращаться по мониторингу

Анализ

// анализ описания //

Проблема была обнаружена на стороне вышестоящего провайдера, она заключалась в деградации производительности кластера ssd-дисков, от которых у нас всё работает. В связи с этим была полностью потеряна доступность всех серверов, расположеных в одном из датацентров в Москве. При этом в другом кластере на другой локации проблем не наблюдалось

Диагностика

// графики //

график времени недоступности siren. фиолетовое - проблема с диском

график запущенных серверов на хостинге

Меры предотвращения

// что сделать, чтобы не повторилось//

Данные проблемы с нодой aqua, siren наблюдаются уже не в первый раз. Мы рассматриваем несколько вариантов: от переезда на другие ноды в другие локации до использования более высокопроизводительных дисков, как на ноде meta.

Какие сервисы затронуты

// список сервисов //

  • пользовательские сервера на ноде aqua
  • пользовательские сервера на ноде siren
  • внутренние сервера мониторинга
  • внутренние сервера системы хранения данных
  • малозначительная деградация производительности панели

Приносим свои извинения из-за недоступности серверов, в качестве компенсации всем пользователям, находящимся на этих нодах, мы начислим по 50р на баланс