Радиотехнические и оптоэлектронные комплексы
УДК 621.397.6.528.854.656.13
ОБРАБОТКА ИЗОБРАЖЕНИЙ В ВИДЕОСИСТЕМАХ МОНИТОРИНГА
ДОРОЖНОГО ДВИЖЕНИЯ
IMAGE PROCESSING FOR ROAD TRAFFIC MONITORING VIDEOSYSTEMS
Тимофеев Борис Семенович
д-р техн. наук, профессор E-mail: boris36@mail.ru
Обухова Наталия Александровна
д-р техн. наук, доцент E-mail: natalia172419@yandex.ru
Мотыко Александр Александрович
канд. техн. наук
E-mail: motyko.alexandr@yandex.ru
Санкт-Петербургский государственный университет аэрокосмического приборостроения
Факультет радиотехники, электроники и связи
Кафедра радиотехнических и оптоэлектронных систем
Аннотация: Приведен обзор возможностей современных систем транспортного мониторинга. Проанализированы основные недостатки и предложены пути совершенствования комплексов транспортного мониторинга. Приведены алгоритмы обработки видеоданных для перспективных видеосистем наблюдения за дорожной обстановкой. Даны результаты экспериментального исследования алгоритмов. Ключевые слова: видеосистемы транспортного мониторинга, цифровая обработка изображений, панорамные видеосистемы, видеоизмеритель скорости, определение автомобильных номеров.
ВВЕДЕНИЕ
Неотъемлемой частью современных скоростных магистралей и дорожных развязок стали автоматизированные системы управления и контроля дорожного движения [1]. Важной составляющей подобных систем являются телевизионные комплексы транспортного мониторинга, которые используются для наблюдения за магистралями, фиксации нарушений правил дорожного движения ПДД, сбора данных о параметрах потока. В результате анализа современных комплексов транспортного мониторинга можно сделать следующие выводы.
Timofeev Boris S.
D. Sc. (Technical), Professor E-mail: boris36@mail.ru
Obukhova Natalia A.
D. Sc. (Technical), Associate Professor E-mail: natalia172419@yandex.ru
Motyko Aleksandr A.
Ph. D. (Technical)
E-mail: motyko.alexandr@yandex.ru
Saint-Petersburg State University of Aerospace Instrumentation Faculty of radioengineering, electronics and communication
Chair of radio engineering and optoelectronic systems
Abstract: The paper describes the review of modern video systems for road monitoring. The main disadvantages are analyzed. The ways of improving are shown and there are described useful algorithms of digital image processing. The results of carried out experiments are given.
Keywords: image processing, video systems for road traffic monitoring, license plate recognition, panoramic video systems.
• Системы решают частные задачи (определение скорости, запись видео, идентификация номеров) в зависимости от технической оснащенности.
• Практически не существует систем, способных оценивать основные параметры транспортного потока (скорость, плотность) с помощью анализа видеоданных без применения дополнительной аппаратуры (радаров, лазерных дальномеров). Это делает систему сложной в эксплуатации, допускает разрыв между результатами измерения скорости и зафиксированным автомобилем. Кроме того, при приме-
28
Sensors & Systems • № 2.2015
Видеокамеры и радары-
[ вычислитель
Диаграммы направленности
Рис. 1. Системы мониторинга: комбинированные (а), телевизионные (б)
нении радаров с узкой диаграммой направленности (для исключения неоднозначности при измерении скорости в случае одновременного захвата нескольких автомобилей) необходимо устанавливать отдельное устройство на каждую полосу (рис. 1, а).
• Системы видеонаблюдения, состоящие из ряда камер, не создают целостной картины окружающего пространства, что затрудняет восприятие и анализ оперативной обстановки на дороге. Сформулируем основные требования к перспективным видеосистемам транспортного мониторинга нового поколения.
• Многокамерная система должна формировать видеоданные в форме, удобной для восприятия мегапиксельной панорамы с широким углом обзора и высоким разрешением, превосходящим широкоугольные камеры HD формата.
• Подсчет и измерение скоростей автомобилей (определение параметров потока) должно быть реализовано исходя из анализа видеоряда. Преимущество панорамной системы — одновременное сопровождение всех объектов в зоне контроля с привязкой скорости к конкретному автомобилю (рис. 1, б).
• Для идентификации транспортных средств должен быть реализован алгоритм автоматического распознавания номеров всех автомобилей в поле зрения системы.
Таким образом, перспективная телевизионная система должна обеспечивать решение всей совокупности задач дорожного мониторинга, используя в качестве исходных данных видеоряд от камер наблюдения (рис. 2).
АЛГОРИТМ СИНТЕЗА ПАНОРАМНОГО ИЗОБРАЖЕНИЯ
Для создания панорамной системы транспортного мониторинга был разработан алгоритм синтеза единого изображения от камер видеонаблюдения, учитывающий специфику исходных данных [2, 3]. Видеоданные,
характерные для дорожного мониторинга (рис. 3), содержат большие по площади области с фоном низкой детальности (дорожное полотно).
Следовательно, общее число характерных особенностей, используемых для "сшивки" панорамы, невелико. В большинстве существующих алгоритмов синте-
Рис. 2. Детектирование и сопровождение автомобилей, определение их скоростей и распознавание номеров по видеоряду камер наблюдения
Рис. 3. Пример видеоданных дорожного мониторинга
Вместо пороговой фильтрации мы предлагаем для изображений с низким уровнем детальности учитывать степень достоверности селекции соответствующих пар характерных точек. Это позволяет использовать максимальное число выявленных особенностей. Схема алгоритма приведена на рис. 4.
Определение меры достоверности проводят в два этапа. На первом этапе формируют из множества пар РО подмножество пар РО^ с высоким значением меры поддержки £ > [0,9...1] на базе алгоритма (см. рис. 4), описанного в [4]. Мера поддержки
£ =
N - 1
N
т
(Ах- А/ (Ау; Ау. шш| —, —. I + тт ' '
1А */ Дх{)
Ду. Ду1)
■■ 1
2
Рис. 4. Алгоритм определения достоверности селекции
за панорамы следующим шагом после сопоставления особенностей на совмещаемых фрагментах является пороговая фильтрация согласованных пар по значению меры соответствия БМ:
Бх(р, а) + Бу(р, а) БМ(р, а) = - кр, ч ч + у кр, ч к.
Бх(р, а) = 1 -
т п
/ ур, г) dLqx(хц_,р Уц_, г)|
- г = 1 / = 1_.
т п т п
Т Т льРх(хр>. ур>,) + Т Т
г = 1 / = 1 г = 1 / = 1
Бу(р, а) = 1 -
тп
Т Т | <Иру(хр,. ур^ г) - (. у5, г)|
- г = 1 / = 1_
к п к п '
Т Т (^ру(хр,/ ур, г) + Т Т / у5, г)
г = 1 / = 1 г = 1 / = 1
где (Хрх(Хр, у, ур, г), (1дх(хд, у, Уд, г) — значения производных яркости по горизонтали для пикселей с координатами (г, у) блоков с центрами в точках р и а; йЬру(хр у, ур г), у, уе г) — значения производ-
ных яркости по вертикали для пикселей с координатами (г, у) блоков с центрами в точках р и а; (т х и) — размер блока в пикселях.
где (Ахг-, Ауг) и (Аху, Ауу) — отличия в координатах точек г и у, составляющих пару, N — число пар. Если в множестве РО больше не осталось пар с мерой поддержки £ > 0,9, итерации прекращают.
На втором этапе для каждого элемента множества РО, который не принадлежит к РО0р^ вычисляют меру поддержки от пар, составляющих множество хороших согласований РО0р^ Таким образом, для каждого элемента множества РО определяют меру поддержки, которая соответствует достоверности селекции и будет учтена в качестве веса в процессе определения параметров уравнений трансформации.
Введение оценки достоверности дает возможность осуществить идентификацию параметров уравнений трансформации с учетом практически всех найденных пар согласованных точек. Такая возможность обеспечивается предложенной нами модификацией алгоритма RANSAC [5]. Основная идея модифицированного алгоритма заключается в использовании двух критериев при выборе гипотезы оценок параметров вместо одного, как принято в оригинальном RANSAC. В дополнение к основному критерию — общему числу согласованных пар, учитывается критерий их достоверности согласования. Он вычисляется как среднее оценок достоверностей пар, используемых на текущей итерации RANSAC. Алгоритм состоит в выполнении следующих шагов.
1. Случайным образом выбрать пять пар из имеющегося множества. Вычислить параметры трансформации (определить начальную гипотезу Т) и ошибку трансформации Е.
2. Определить количество удовлетворительных образцов Р для текущей Т (удовлетворительный образец — это пара точек, для которой ошибка трансформации Е меньше чем 2...3 пикселя) и вычислить среднюю достоверность селекции Б для текущей гипотезы Т:
Р
Б = 1/Р Т £г.
3. Повторить этапы 1, 2 К раз (К > 1000). Если будет найдена новая гипотеза с большим количеством удов-
1
30
вепвогв & Эувгетв • № 2.2015
Рис. 5. Вертикальная и горизонтальная составляющие вектора скорости
летворительных пар точек, чем у текущей Т, тогда новые параметры запоминают и текущую гипотезу Т обновляют.
4. Все гипотезы ранжируют в двух списках согласно количеству удовлетворительных пар точек и средней достоверности селекции.
5. Выбрать гипотезу с минимальной суммой мест в двух списках.
6. Вычислить параметры трансформации на базе всех удовлетворительных пар для выбранной гипотезы.
7. Удалять выбросы и пересчитывать параметры до тех пор, пока выбросов не останется.
АЛГОРИТМ ТЕЛЕВИЗИОННОГО ИЗМЕРЕНИЯ СКОРОСТИ
Разработанный алгоритм [6] определения скорости основан на анализе видеоряда, а именно данных о траектории и об относительном увеличении проекции транспортного средства на плоскости кадра по мере его приближения. Абсолютное значение скорости автомобиля, движущегося в трехмерном пространстве вычисляются как
м = \
2 2 2 У у- + Уу + У7 =
_ (Ахт( ьх/к - /) к) (Аут( V к -/) к) ((к - 1)
/М
/А(
Агк
автомобиля на интервале сопровождения позволяет повысить точность измерения в сравнении с известными методами.
Детектирование и сопровождение транспортных средств основано на методах оптического потока [7, 8] и корреляционного анализа. Для получения основных данных для телевизионного измерителя — оценки изменения размеров изображений объектов (относительно момента начала сопровождения) применяют масштабируемую маску. Алгоритм оценки изменения ее размера
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.