Когда ложатся сервера

Примерно 10 дней назад начался у нас крупный головняк, стала дико расти процессорная нагрузка на 5! серверах, которые обслуживают адалт проекты в рамках одного скрипта. Ну то есть много сайтов на одном движке сетками разнесены по скриптам и это можно сказать их такой некий фронт. На серверах стояли кроны на очистку файлового кеша так вот в определенный момент в один и тот же день эта очистка стала люто нагибать проц, причем росла система просто с неистовой скоростью.Вообще что это так работали чистилки мы узнали только через пару дней. когда админы нашли кроны и указали на них, мы вообще на них подумать не могли, т.к. проекты работали не первый год, трафа сейчас в разы меньше чем было в топе, а сервера мало того что в пиках нагруз перестали держать, даже когда его балансируешь через cf так и эта системная ерунда, которая кстати пропадала после бута.

В общем все 10 дней мы сидели и гадали что это может быть, код то мы не обновляли проекты мего старые и живут можно сказать сами по себе, а тут рост нагрузки после банального обращения к файловой, но сама она не забита и на 10% плюс в пиках сервера просто подыхают, хотя раньше держали много больше.

Описывать все процессы поиска и оптимизации думаю смысла нет, но саму причину укажу, дело все было в redis, а точнее в разросшихся данных в нем, нет у нас итак там храниться порядка 1,5 гб инфы, но вот одно поле было ну уж очень длинным и не хотело толком переваривать этот объем одним запросом, пришлось разбивать на мелкий, тогда как в рамках той же оптимизации, другие запросы наоборот объединять в один. В итоге после всех манипуляций нагрузка можно сказать пропала как класс, т.е. она не только вернулась на прошлые значения, но откатилась еще ниже и даже кеш нжинкса теперь вообще не нужен (который кстати не спасал в пиках что вообще было нонсенс).

Но подводя итог мы тупо потеряли 10 дней работы так как ничем кроме решения этих проблем и не занимались, а еще и осталось по мелочи вернуть пару тройку вещей которые правили на время этого лютого замеса. Но в общем продолжаем.

Добавить комментарий