научная статья по теме АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ РАЗРАБОТОК ДЕТЕКТОРОВ ИЗМЕНЕНИЙ ИЗОБРАЖЕНИЙ ВИДЕОКАМЕРЫ Науковедение

Текст научной статьи на тему «АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ РАЗРАБОТОК ДЕТЕКТОРОВ ИЗМЕНЕНИЙ ИЗОБРАЖЕНИЙ ВИДЕОКАМЕРЫ»

Хамухин А.В., кандидат технических наук ЗАО Научно-технического центра «Электронные вычислительные и информационные системы»

АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ РАЗРАБОТОК ДЕТЕКТОРОВ ИЗМЕНЕНИЙ

ИЗОБРАЖЕНИЙ ВИДЕОКАМЕРЫ

Вычитание фона - это категория алгоритмов обработки изображений, предназначенных для классификации объектов на последовательности изображений как подвижные и неподвижные. Чаще всего вычитание фона используется в детекторах движения на основе видеокамер в системах видеонаблюдения. Существует множество методов вычитания фона, данной проблеме посвящены тысячи публикаций, среди которых особо можно выделить работы [2-6], описывающие основные методы. Алгоритмы вычитания фона отличаются как по вычислительной сложности, так и по точности идентификации, поэтому возникает потребность в сравнении данных методов. В работе [1] предложено сравнивать методы вычитания фона с помощью тестов на фиксированных последовательностях изображений разного вида с заранее отмеченными точками движения в форме маски для каждого кадра последовательности. В качестве метрики сравнения используются различные показатели совпадения результатов обработки алгоритмов, классифицирующих точки кадра как движущиеся или неподвижные, с заранее введёнными шаблонами, считающимися эталонами.

Изображения тестовой выборки changedetection.org состоят из 31 видеоролика, в которых содержится в общей сложности 90 000 кадров изображений. Видеоролики разделены на 6 различных категорий: базовый тестовый набор, изображения с динамически изменяющимся фоном (водоёмы, ветви кустарника и деревьев на ветре и т.п.), изображения с не закреплённых жёстко трясущихся камер, изображения с тенями, тесты на обработку изменений фона благодаря перемещаемым на изображениях предметам и изображения тепловизионных камер. Примеры изображений каждой из шести категорий приведены на рис.

Рис. 1 (рисунок заимствован из работы [1]).

Рис. 1. Примеры изображений тестовой выборки changedetection.net (сверху) с результатом обработки одним из распространённых методов вычитания фона (снизу). Слева направо примеры изображений из категорий: основной набор, динамический фон, тряска камеры, тени объектов, перемещение элементов фона, тепловизионные изображения

РН0443 (27 Гр$ 4.03 МЬ/&) 2009-07-1 4 1 0:22:1 6-1 2

Рис. 2. Пример разметки кадров из тестового набора

В каждой точке все изображения тестового набора размечаются, то есть каждая точка может принадлежать одному из пяти классов: подвижная точка, неподвижная точка, состояние точки неопределено, точка находится вне области интереса, и точка неподвижна, но находится в тени от движущегося объекта. Если обозначить эти состояния, соответственно, как С = [т,5,и,о,Н], то разметкой является характеристическая функция Хт(х,У), которая каждой точке изображения (х,у) сопоставляет её класс С. Пример разметки, заимствованный из [1] приведён на рис. 2. Состояние о (вне области интереса) введено для того, чтобы лучше разграничить категории тестовых наборов изображений. Состояние и (не определено) введено для устранения неоднозначности разметки в граничных точках изображений движущихся объектов: в граничных точках любому оператору, который проводит разметку, сложно однозначно отнести точку к классу движущаяся(т) или неподвижная(^). Наконец, состояние к (тень подвижного объекта) специально введено для отдельной метрики, позволяющей оценить возможность метода вычитания фона классифицировать именно такие точки как неподвижные точки фона. Тестируемые алгоритмы вычитания фона выдают результат в форме индикаторной функции Ха(х>У) для каждой точки каждого кадра, в отличие от функции Хт, данная функция может принимать только два значения: т (точка движения) или 5 (неподвижная точка). Примеры данной функции для одного из наиболее простых алгоритмов вычитания фона приведены на рис. 1.

Метрики качества работы алгоритмов вычитания фона в рамках changedetection.net строятся на основе функций Хт и Ха следующим образом. Множество точек, корректно определённых алгоритмом как движущиеся, определяется как

ТР = {(х,у)1хт(х,у) = т при условии, что Ха(х>у) = т}■ Точки, корректно определённые алгоритмом, как неподвижные, обозначаются ТЫ = {(х,У)1Хт(х,У) = ^ или Хт(х>У) = к при условии,что Ха(х,У) = $}■

Множество точек, в которых алгоритм допустил ошибку первого рода, обозначается как РР = {(х,у)1хт(х,у) = 5 или Хт(х,У) = к при условии,что Ха(х>У) = т}- Наконец, множество точек с ошибкой второго рода в результатах обозначается

РЫ = {(х,у)1хт(х,у) = т при условии, чтоХа(х,У) =

Далее для краткости под ТР, ТЫ, FP, РЫ подразумевается мощность одноимённых множеств. В рамках changedetection.net предлагается использовать следующие метрики для одной видеопоследовательности кадров в каждой из категорий.

1. Яе = ТР /(ТР + РЫ) - доля точек движения в шаблоне разметки, корректно определённых алгоритмом как движущиеся.

2. 5р = ТЫ/(ТЫ + РР) - доля точек фона в шаблоне разметки, корректно определённых алгоритмом как неподвижные.

3. РРР = РР/(РР + ТЫ) - доля точек движения по результатам алгоритмов, ошибочно определённых движущимися точками.

4. РЫИ = РЫ/(ТЫ + РР) - доля точек фона по результатам алгоритмов, ошибочно определённых как неподвижные точки.

5. Р'ШС = (РЫ + РР)/(ТР + РЫ + РР + ТЫ) - доля ошибок классификации состояния движения точек в ответах алгоритмов вычитания фона.

6. Рг = ТР/(ТР + РР) - доля точек движения по результатам алгоритмов, правильно определённых подвижными.

РгЯе

7. Рт = 2 рг+Ке - среднее гармоническое показателей йе и Рг.

Значения йе, Бр, РЫИ характеризуют ошибки первого рода, показатели РРЯ, Рг характеризуют ошибки второго рода, и показатели РШС и Ртеазиге тем или иным способом оценивают среднюю ошибку.

Для усреднения этих метрик по всем видеороликам используются следующие правила. Обозначим значение одной из 7 метрик, приведённых выше, в категории с для видеоролика V как (расчёт данного показателя ведётся на основе величин ТР, ТЫ, РР, РЫ, на всех кадрах видеоролика, / - индекс метрики), а количество видеороликов в категории с как Ыс. Значение метрик в рамках одной категории рассчитывается как среднее значение метрики по видеороликам:

Мс

V

Значение показателя по всем категориям видеороликов вычисляется с помощью ещё одного усреднения

(1)

с

С помощью операции ранжирования вводится два различных обобщённых показателя качества работы сравниваемых алгоритмов вычитания фона. Операция ранжирования - это операция расстановки по порядку методов по одной из введённых ранее метрик в порядке убывания качества, рангом метода называется порядковый номер метода в данной расстановке. Если метрики у двух и более методов совпадают, то при ранжировании им всем назначается среднее арифметическое разделённых методами позиций. Если в сравнении участвует П методов, то для каждого -го метода из числа П можно определить его ранг по метрике Мс,£ в каждой категории последовательности изображений как гапкМс 1(т). Усреднённая позиция методов в каждой категории с учётом всех метрик рассчитывается по формуле

т = ^^гапкМс.(т),

I

а общий показатель метода т во всех 6 категориях рассчитывается как

Альтернативной обобщённой метрикой сравнения методов вычитания фона служит средний ранг при упорядочивании методов по средним метрикам, рассчитанным по формуле (1):

Кт = 7^гапкм.(т).

I

В таблице Таблица 1 приведены выборочные результаты сравнения 16 различных методов, приведённых в работе [1]. Данные методы соответствуют, во-первых, наиболее известным методам вычитания фона, а во-вторых, наилучшим методам по результатам, указанным в рассматриваемой работе.

Таблица 1

Результаты сравнения методов вычитания фона, приведённые в работе [1]

Метод RC R Re Sp FPR FNR PWC Fm Pr

PBAS [5] 3.00 3.29 0.79 0.990 0.010 0.009 1.77 0.75 0.82

ViBe+ [3] 4.83 5.00 0.69 0.993 0.007 0.017 2.18 0.72 0.83

GMM Stauffer-Grimson [2] 11.50 10.14 0.71 0.986 0.014 0.027 3.68 0.52 0.72

Euclidean distance 16.67 14.00 0.70 0.969 0.031 0.017 4.35 0.61 0.62

Из таблицы Таблица 1 следуют следующие выводы. Во-первых, наиболее простые методы вычитания фона, основанные на сравнении средней интенсивности в точке с текущей интенсивностью, обладают наименьшей устойчивостью к ошибкам первого и второго рода. Во-вторых, наиболее известный метод вычитания фона, основанный на анализе распределения интенсивности в точке в предположении, что это распределение является суммой распределений нормальных величин (подробнее см. в работе [2]), занимает средние позиции в сравнении с остальными методами, рассмотренными в работе [1]. Также следует отметить тенденцию, что в целом методы вычитания фона, использующие непараметрический подход для оценки распределения интенсивности точек переднего и заднего плана, т.е. движения и фона, показывают лучшие результаты по сравнению с методами, которые используют параметрический подход для оценки аналогичных распределений интенсивности.

Литература

1. N. Goyette, Pierre-Marc Jodoin, F. Porilkli, J. Kjnrad, P. Ishwar. СИа^еёйесйоп.пе!: A New Change Detection Benchmark Dataset. IEEE CVPR 2012.

2. C. Stauffer and E. Grimson. "Learning patterns of activity using realtime tracking", IEEE Trans. Pattern Anal. Machine Intell., 22(8):747-757, 2000.

3. O. Barnich and M. Van Droogenbroeck. ViBe: A universal background subtraction algorithm for video sequences. IEEE Trans. Image Process., 20(6):1709-1724, 2011.

4. L. Maddalena and A. Petrosino. The SOBS algorithm: what are the limits? In IEEE Workshop on Change Detection, 2012.

5. M. Hoffmann. Background segmentation with feedback: The pixelbased adaptive segmenter. In IEEE Workshop on Change Detection, 2012.

6. A. Elgammal, R. Duraiswami, D. Harwood, andL. Davis. Background and foreground modeling using nonparametric kernel density for visual surveillance. Proc. IEEE, 90:1151-1163, 2002.

Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.

Показать целиком