CSEDays. Application 2010

База отдыха "Иволга", Екатеринбург, 12-14 ноября

News subscription
Share:

Reviews

Самыми эффективными и полезными для меня стали доклады, которые кроме теоретической информации содержали и практические примеры.
- / CSEDays. Application 2010
Home / CSEDays Application 2010 / Никоненко Дмитрий /

Выявление разладок при проведении нагрузочного тестирования в Яндексе

Author: Никоненко Дмитрий

Одной из основных задач нагрузочного тестирования является определение нагрузки, при которой характеристики ответа сервиса перестают удовлетворять предъявляемым к ним требованиям (точка разладки, аномалия). Для этого производится «обстрел» серверов проекта, нагрузка (количество запросов в единицу времени) изменяется по определенной схеме, как правило, линейно или ступенчато. При этом отслеживаются различные параметры, характеризующие качество работы сервиса.

Алгоритм поиска аномалий основан на анализе выходных характеристик сервера как случайных процессов и представляет собой следующую последовательность действий:

  1. Выбор наиболее подходящих для решения данной задачи статистических методов.
  2. Подготовка и разметка экспертом обучающей выборки. Эксперт создает выборку из набора временных рядов и для каждого из них дает заключение о наличии/отсутствии аномалии.
  3. Оценка параметров статистических методов (статистик), используемых для обнаружения аномалий.
  4. Принятие решения о наличии/отсутствии аномалии.

Строится ансамбль статистик, с помощью которого решение принимается на основе соотношения количества методов, показавших и не показавших наличие аномалии. Параметры ансамбля подбираются по обучающей выборке. Таким образом, был получен «черный ящик»: на вход подаются данные процесса, а на выходе выдается решение о наличии/отсутствии в нем аномалии. Далее с помощью статистических методов, частично совпадающих с уже использованными, определяется конкретный момент, когда возникла аномалия.

Посмотреть презентацию

Посмотреть видео лекции