У меня был один клиент, в определённый момент ему стало со мной работать дорого, но вот сегодня что-то капитально рыгнуло, ИИ перестал справляться, обратились снова ко мне.
- Боевой портал с воскресенья еле дышал, а сегодня умер
- Внешний, навайбленный инструмент зациклился, и пушил 1425 запроса за проход
- Скрипт долбил непрерывно 3+ суток, примерно по 100 запросов в секунду, почти 2 млн тяжёлых запросов
Тактика решения таких проблем:
- 0) Проверить доступность сервисов, откинуть очевидные вещи по типу неоплаченного домена, сервера. Всё ли включено в розетку
- 1) Смотрим на уровень сети — доступность ресурса внутри локалки
- 2) Если выше всё окей — смотрим уже внутрь сервиса: доступность nginx, apache, доступность базы данных, логи
У клиента был агрессивный внешний сервис, который долбил запросами. Отрубаем Битрикс от сети, убеждаемся, что всё дышит, то есть сервис просто падал под нагрузкой. По логам вычисляем точку входа внешнего сервиса, её отключаем.
Сотрудникам клиента остаётся решить проблему, где использовалась отключённая «точка входа», и самостоятельно и за свой счёт восстановить работу интеграций.
Автоматизация и оптимизация — это очень здорово, пока кто-то время от времени смотрит, что она реально делает. Иначе однажды окажется, что «умный бот» третьи сутки лупит твой сервис.
Клиенту выставлен счёт за 3 часа работы (х2 за срочность).
Источник: канал техдира в Telegram