Хамухин А.В., кандидат технических наук, руководитель отдела ЗАО ««Научно-технический центр «ЭЛВИС»
ВЫДЕЛЕНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ НА ПОВОРОТНЫХ ВИДЕОКАМЕРАХ В РЕЖИМЕ ПАНОРАМНОГО СКАНИРОВАНИЯ
В статье рассмотрены алгоритмы построения и анализа панорамных изображений в режиме реального времени.
Ключевые слова: построение панорамных изображений, детектирование объектов.
MOVING OBJECTS DETECTION ON PANORAMA IMAGES FROM CONTINUOUSLY
MOVING PTZ CAMERA
The subject of this paper is real-time algorithms for panorama image building and analysis.
Keywords: panorama stitching, object detection.
Системы видеонаблюдения широко применяются для защиты особо важных объектов. Развитие компьютерного зрения и вычислительной элементной базы позволяют автоматизировать процесс анализа изображений, облегчая контроль ситуации в поле зрения видеокамер. Однако до сих пор одной из актуальных проблем использования систем видеонаблюдения является сложность настройки и эксплуатации видеосистем на объектах видеонаблюдения с протяжённой территорией. На текущий момент с помощью одной видеокамеры можно эффективно контролировать территорию с площадью примерно 50-150м2. Если предположить, что задачей охранной видеосистемы является контроль периметра протяжённостью 1км, причём требуется сигнализировать о событиях, происходящих на расстоянии до 500м на подходах к контролируемому периметру, то мы получим, что требуется не менее 100 видеокамер для решения такой задачи при условии использования неподвижных камер. Настройка и эксплуатация 100 видеокамер - крайне сложный и ресурсоёмкий процесс. В системах с большим числом видеокамер не только высока стоимость оборудования, но и зачастую стоимость трудозатрат при обслуживании вносит ещё более существенный негативный вклад в ресурсоёмкость эксплуатации, иногда превышающий стоимость оборудования, см. [0].
Уменьшить количество видеокамер, необходимых для охраны периметра, можно как минимум двумя способами: во-первых, путём сокращения контролируемой полосы периметра, во-вторых, путём использования камер на поворотных устройствах в режиме сканирования местности. Допустим, ширину охраняемой зоны мы снизим по сравнению с приведённым ранее примером с 500м до 50м, тогда для покрытия километровой полосы потребуется уже не 100, а около 10 камер. При использовании видеокамер в режиме панорамного сканирования ту же самую полосу можно, выбрав соответствующую точку расположения поворотного устройства, поместить в зону наблюдения всего одной камеры, которая будет двигаться вдоль фиксированной траектории, наблюдая с отдельные участки периметра с некоторым периодом. За счёт отказа от непрерывного обзора всей территории в пользу периодического сканирования можно на порядок сократить количество используемых в системе видеокамер, что приведёт к существенному снижению затрат на пуско-наладку и эксплуатацию.
Изображение с непрерывно сканирующей площадь охраняемой зоны камеры сложнее анализировать, чем изображение с неподвижной камеры, поскольку детали изображения постоянно перемещаются в кадре. Тем не менее, основываясь на методах построения панорамных изображений, возможно представить видеопоток как панорамное изображение, в котором изменяется только зона наблюдения, определяемая текущим положением камеры, а затем выделять подвижные относительно видеокамеры объекты автоматически.
Построение панорамного изображения из набора изображений, снятых камерой в одной точке, целесообразно производить с помощью метода, описанного в [2]. Метод заключается
в том, что на каждом изображении набора, которые необходимо впечатать в одну панораму, производится поиск характерных точек с описателем SIFT, инвариантным к поворотам и изменению масштаба. Затем с помощью ускоренного жадного алгоритма Бланна для каждой пары изображений находятся паросочетания характерных точек на основе побитового сравнения описателей SIFT. На основе паросочетаний оцениваются фокусные расстояния, при которых произошла съёмка изображений, и взаимный поворот оптической оси камеры, что эквивалентно подбору проективного преобразования между парами изображений с общей зоной обзора. Оценка проективного преобразования уточняется с помощью метода итеративного случайного выбора пар точек RANSAC, тем самым повышается устойчивость к ошибочно найденным паросочетаниям на первых этапах работы алгоритма. Попарные преобразования поворота между элементами набора изображений уточняются уже с помощью совместной задачи оптимизации ошибки преобразования в общее пространство панорамы на всех изображениях с помощью метода Левенберга-Марквардта. Пространством панорамы являются угловые координаты сферы, на которую проектируются составные изображения панорамы: панорама на экранах выводится в координатах х,у, которые в точности соответствуют угловым координатам широты и долготы на сфере. Для устранения волновых колебаний вдоль оси х дополнительно методом линейной регрессии производится поиск плоскости, к которой ближе всего проходят оценочные положения оптических осей, соответствующих набору изображений. Для устранения эффекта разности экспозиций производится выравнивание гистограмм уровней интенсивностей изображений с общей зоной обзора. Для устранения эффектов проявления швов на границах сшивки из-за неточной оценки проективных преобразований склейка производится с помощью пирамидного наложения с плавным послойным слиянием изображений возле шва, от верхних слоёв пирамиды с низким разрешением к высоким слоям пирамиды с исходным разрешением.
Алгоритм построения панорамы в таком виде реализован в библиотеке OpenCV. Панорама для 10 изображений строится примерно 10 секунд, поэтому в таком виде построение панорамы не может быть применено в системах реального времени. Для ускорения работы алгоритма и построения панорамы для видеопотока от поворотной камеры, смещающей свою оптическую ось только по горизонтальному углу, можно применить следующие приёмы.
1. При изменении горизонтального угла положения оптической оси фокусное расстояние камеры остаётся постоянным, поэтому достаточно однократно оценивать углы зрения и фокусное расстояние камеры. Алгоритм выравнивания оптических осей относительно плоскости проектирования на сферу также можно не выполнять, поскольку угол наклона камеры тоже не изменяется.
2. Алгоритмы визуального улучшения панорамы, а именно: выравнивание уровней экспозиции и сглаживание швов, нужны только при выводе изображения панорамы оператору, поэтому выполнять их можно только на терминалах операторов, а в серверной части, ответственной за выделение движения, их можно не выполнять.
3. При обработке видеопотока не нужно хранить все кадры видеопотока для построения общей панорамы, достаточно хранить изображение текущей панорамы и предпоследний кадр с его параметрами углового отображения на панораме. Тогда следующий кадр необходимо будет вкладывать в панораму только на основании оценки проективного преобразования между предпоследним и первым кадром.
4. Наконец, алгоритм построения панорамы и выделения движущихся объектов можно разбить на конвейерные стадии: выделение характерных точек с описанием SIFT, оценка проективного преобразования между последним и предпоследним кадром, вложение кадра в панорамное пространство, выделение движущихся областей с помощью вычитания фона. Данные стадии могут выполняться разными ядрами процессора одновременно, при этом ре-
зультаты выделения движения будут запаздывать относительно текущего кадра, подаваемого на вход алгоритмов, только на количество стадий.
Предложенные модификации позволяют на компьютере с современным центральным процессором Core i7 проводить построение панорамы и выделение движущихся объектов в реальном времени со скоростью 25 кадров в секунду, т.е. 40мс на кадр, что является новым результатом в области применения алгоритмов компьютерного зрения в системах видеонаблюдения.
ЛИТЕРАТУРА
1. А.В. Хамухин, «Анализ ресурсных затрат при эксплуатации автоматизированных систем видеонаблюдения», M.: из-во «Компания Спутник+», научно-технический журнал «Актуальные проблемы современной науки», №6, 2013.
2. Matthew Brown, David G. Lowe, «Automatic Panoramic Image Stitching using Invariant Features», International Journal of Computer Vision 74(1), 59-73, 2007.
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.