Инциденты по производительности могут быть двух типов:
Тип 1. Трендовые инциденты. Связанные с ростом тренда нагрузки, который мы не обнаружили вовремя (поддержание запаса мощности на, например, 6 месяцев). Подобный инцидент, скорее всего, не будет одиночным – это будет серия однотипных инцидентов с возрастающей частотой проявления и с единой корневой причиной.
Инциденты этого типа подразумевают, что все компоненты ИТ-системы находятся в работоспособном состоянии, и нам необходимо обеспечить запас производительности исправных компонент.
При этом, дополнительно, компоненты работают в штатном режиме. То есть нет внеплановой нагрузки, такой, как например, выполнение резервного копирования в период высокой нагрузки.
Тип 2. Пиковые инциденты. Эти инциденты связаны с пиковой нагрузкой на отдельные компоненты системы, при которых поведение системы было непредсказуемым.
Во втором случае необходимо рассчитывать, что запаса мощности для работоспособности ИТ-услуги достаточно, но произошло одно из событий.
1) На вход поступило слишком много данных. Система не справилась с нагрузкой. При этом система не смогла обработать свой максимум («отрезав» лишние операции), а просто рухнула. В этом случае можно говорить об «Инциденте по производительности».
В случае же, если система, при превышении порогового значения входа, обработала заявленный максимум в единицу времени, и не стала обрабатывать остальные операции, то можно говорить не только об отсутствии «инцидента по производительности», но и об отсутствии Инцидента в принципе. Так что есть ещё один повод задуматься над корректной архитектурой ИТ-систем.
2) Отключилась одна из однотипных компонент системы (например, нода в кластере). Оставшиеся узлы нагрузки не выдержали. В эту же категорию попадают ситуации, когда произошло вмешательство внешних операций на работоспособность системы. Например, резервное копирование в период высокой нагрузки.
Где граница между «пиковыми» и «трендовыми»? Если можем адекватно отреагировать на повышение нагрузки (закупка, мероприятия по исправлению) – значит, «тренд». Если не можем (внезапно и быстро) – «пик».