Одно из моих приложений (это скрипт, который автоматизирует некоторые действия на некотором сайте, имитируя действия человека, использует Puppeteer для управления браузером, сохраняет сессию через cookies и работает в фоновом режиме (headless)) падал по OOM-killer. Скрипт работает на сервере с 1 CPU и 1 Gb RAM со всеми вытекающими. … Apr 09 10:49:54 v2542187.example.ru systemd[1]: myapp.service:…
Оригинал: Git’s Magic Files by Andrew Nesbitt. Продолжение моего поста о расширении функциональности Git. Git ищет в вашем репозитории несколько специальных файлов, которые управляют его поведением. Это не файлы конфигурации в .git/, а зафиксированные файлы, которые перемещаются вместе с вашим кодом и влияют на то, как Git обрабатывает ваши файлы. Если вы разрабатываете инструмент для…
Каждый SRE знает это чувство: открываешь «Site Reliability Engineering» от Google, читаешь про SLI/SLO, Error Budgets, и думаешь: «ого, круто, надо внедрить у себя в конторе». Проходит полгода. Книга пылится на полке, инциденты по-прежнему разбираются как получится, алерты пишутся вручную, мониторится все, что можно, метрики собираются все, что существуют и ничего не изменилось. Проблема не…
Где поставим запятую? 🙂 или Как не дать автономному агенту положить прод и при этом не отстать от жизни Последние полгода мои коллеги (и не только коллеги) разделились на два лагеря. Одни с ужасом рассказывают, как их AI-SRE-агент случайно положил базу данных, потому что «просто хотел помочь с таймаутами». Другие восторженно показывают дашборды, где инциденты…
Оригинал: Debunking the ‘Three Pillars of Observability’ Myth by Ben Sigelman Вы уже слышали о «трёх столпах наблюдаемости»? Нет? История такова: Если вы используете микросервисы, то уже знаете, что их практически невозможно понять с помощью обычных инструментов мониторинга: поскольку микросервисы были буквально разработаны для того, чтобы команды DevOps, работающие по принципу «две пиццы», не знали…
Оригинал: From Signals to Reliability: SLOs, Runbooks and Post-Mortems Все примеры конфигураций, шаблоны и правила оповещений находятся в репозитории kubernetes-observability. Вы можете построить идеальную наблюдаемость системы. Развернуть OpenTelemetry, добавить телеметрию безопасности, внедрить непрерывное профилирование. Инструментировать каждый сервис. Собирать все метрики, логи и трассировки. Создать красивые информационные дашборды Grafana. И все равно испытывать трудности во время инцидентов….
Оригинал: Great software design looks underwhelming by Sean Goedecke Несколько лет назад я потратил много времени на изучение проблем программирования. Сама задача была очень простой — создать CLI, который работал бы с API и позволял пользователю просматривать страницы и проверять данные. Мы допускали использование любых языков, и я видел самые разные варианты решений (если откровенно,…
SLI Compass: точность и детализация Ментальная модель для оценки существующих SLI и новых Оригинал: SLI Compass: Fidelity and Granularity by Alex Ewerlöf Индикатор уровня обслуживания (Service Level Indicator, SLI) — основополагающая концепция в области обеспечения надёжности. При правильном применении он количественно оценивает уровень обслуживания с точки зрения пользователя в соответствии с бизнес-целями. Однако разные SLI…
(Это краткий трактат о природе аварий; как оцениваются аварии; как авария связана с непосредственной причиной; и вытекающее из этого новое понимание безопасности пациентов) Опасность — неотъемлемый атрибут сложных систем Все интересные системы (например, транспорт, здравоохранение, производство электроэнергии) изначально и неизбежно опасны по своей природе. Иногда можно изменить количество опасных факторов, но процессы, задействованные в системе,…
Книга Энди Гроува (Andy Grove), легендарного CEO Intel, — это классика менеджмента, но её идеи идеально подходят для SRE. Почему? Потому что управление инфраструктурой — это производственный процесс, где важны: ✔️ Предсказуемость (как в промышленных цехах) ✔️ Масштабируемость (как в фабриках Intel) ✔️ Измеряемость (как в микрочипах) Output — это что на самом деле важно Главный тезис Гроува: «Менеджер нужен только для одного…