Resilience Engineering

Resilience Engineering (инженерия устойчивости) — это подход к проектированию и управлению системами, который фокусируется на их способности предвидеть, адаптироваться и восстанавливаться после сбоев, а не просто избегать их. В отличие от традиционных методов, которые стремятся к «идеальной» надежности (SRE), Resilience Engineering (RE) признает, что сбои неизбежны, и делает упор на устойчивость системы к неожиданным событиям и к скорейшему восстановлению после этих сбоев.

Сразу возникает вопрос: «Разве это не то же самое, что SRE?» Немножко не то 🙂 Цель RE — сместить фокус с реагирования на инциденты на разработку долгосрочных стратегий их устранения.

Чтобы создать устойчивую систему, важно помнить, что люди не только вносят изменения, но и реагируют на них. Поэтому снижение нагрузки на инженера — помощь в анализе или упрощение рутины — может сильнее повлиять на уменьшение количества повторных инцидентов, чем добавление новых тестов или автоматизация отката.

Инженерия устойчивости

В 1987 году группа ученых-энтузиастов в области медицины, автоматизации, разведки, авиации и атомной энергетики на базе Лаборатории когнитивных систем университета Огайо проводила исследования в области контроля инцидентов. Так началось долгая исследовательская работа в области инженерии устойчивости. Очень много основных работ этой группы лежат на гитхабе.

Еще почитать и посмотреть:

• «Four concepts for resilience and the implications for the future of resilience engineering» by David D. Woods
• «The four cornerstones of resilience engineering» by Erik Hollnagel
• A Few Observations on the Marvelous Resilience of Bone & Resilience Engineering

Основные принципы Resilience Engineering

1. Предвидение (Anticipation)

   • Понимание возможных сбоев и их последствий.
   • Пример: Регулярное проведение учений по отработке аварийных сценариев (например, Chaos Engineering).

2. Адаптация (Adaptation)

   • Способность системы гибко реагировать на изменения и сбои.
   • Пример: Автоматическое переключение на резервные серверы при отказе основного.

3. Восстановление (Recovery)

   • Быстрое возвращение системы в рабочее состояние после сбоя.
   • Пример: Автоматический откат версии приложения, если новая сборка вызывает ошибки.

4. Обучение (Learning)

   • Анализ инцидентов и внедрение улучшений.
   • Пример: Проведение постмортемов (postmortems) после каждого сбоя.

Чем Resilience Engineering отличается от традиционной надежности?

Примеры применения

1. Авиация

   • Пилоты и диспетчеры тренируются действовать в нештатных ситуациях (например, отказ двигателя).
   • Системы самолетов спроектированы так, чтобы продолжать полет даже при частичных отказах.

2. IT

   • Использование Chaos Engineering (например, Netflix Simian Army).
   • Автоматическое масштабирование и переключение на резервные мощности.

3. Медицина

   • Тренировки врачей для работы в экстренных ситуациях.
   • Системы, которые продолжают работать даже при сбоях оборудования.

Почему это важно?

1. Сбои неизбежны
   Даже самая надежная система может столкнуться с непредвиденными проблемами (например, атака хакеров, стихийное бедствие).
2. Сложность систем
   Современные системы (например, микросервисы, облака) настолько сложны, что невозможно предсказать все возможные сценарии сбоев.
3. Быстрое восстановление
   Устойчивость позволяет минимизировать ущерб и быстрее вернуть систему в рабочее состояние.

Как внедрить Resilience Engineering?

1. Проводите учения

   • Используйте Chaos Engineering для тестирования системы на устойчивость.
   • Пример: Инструменты вроде Chaos Monkey, Gremlin.

2. Автоматизируйте восстановление

   • Настройте автоматические откаты, переключение на резервные мощности, масштабирование.

3. Анализируйте инциденты

   • Проводите постмортемы (postmortems) без поиска виноватых.
   • Внедряйте улучшения на основе анализа.

4. Развивайте культуру устойчивости

   • Обучайте команды работать в условиях неопределенности.
   • Поощряйте открытость и обмен знаниями.

Инструменты для Resilience Engineering

1. Chaos Engineering

   • Chaos Monkey, Gremlin, Litmus.

2. Мониторинг и алертинг

   • Prometheus, Grafana, Datadog.

3. Автоматизация

   • Kubernetes (автомасштабирование, самовосстановление).
   • Terraform (управление инфраструктурой).

Пример: Netflix

• Проблема: Миллионы пользователей смотрят фильмы одновременно.
• Решение:
  • Chaos Monkey случайно отключает серверы, чтобы проверить устойчивость системы.
  • Автоматическое переключение на резервные мощности при сбоях.
  • Постоянный анализ инцидентов и улучшение системы.

Resilience Engineering — это не просто про «не падать», а про то, как быстро и эффективно подняться после падения. Это подход, который помогает системам (и людям) быть готовыми к неожиданностям и учиться на ошибках.