Бортовая радиоэлектронная аппаратура
УДК 004.932.2
РАЗРАБОТКА ИНТЕЛЛЕКТУАЛЬНЫХ АЛГОРИТМОВ ОБРАБОТКИ СИГНАЛОВ ТЕЛЕВИЗИОННЫХ ДАТЧИКОВ СОВРЕМЕННЫХ СИСТЕМ НАБЛЮДЕНИЯ
DEVELOPMENT OF THE SMART SIGNAL PROCESSING ALGORITHMS OF TELEVISION SENSOR OF MODERN SURVEILLANCE SYSTEMS
Зилинберг Андрей Юрьевич
канд. техн. наук, доцент Е-mail: uaz13@yandex.ru
Корнеев Юрий Алексеевич
канд. техн. наук, ст. научн. сотрудник, доцент
Е-mail: prpo@yandex.ru
Корнеев Алексей Юрьевич
научн. сотрудник Е-mail: korn-1970@yandex.ru
Санкт-Петербургский государственный университет аэрокосмического приборостроения
Факультет радиотехники, электроники и связи
Кафедра бортовой радиоэлектронной аппаратуры
Аннотация: Рассмотрены основные принципы построения современных интеллектуальных систем видеомониторинга. Охарактеризованы этапы обработки ТВ-сцен в системе видеоанализа. Проанализирована структура обработки одного видеокадра (внутрикадровая обработка). Приведены характерные проблемы при видеоанализе.
Ключевые слова: распознавание образов, сегментация изображения, видеомониторинг, анализ изображений.
Zilinberg Andrey Yu.
Ph. D. (Technical), Associate Professor Е-mail: uaz13@yandex.ru
Korneev Yuri A.
Ph. D. (Technical), Senior Researcher, Associate Professor Е-mail: prpo@yandex.ru
Korneev Alexey Yu.
Researcher
Е-mail: korn-1970@yandex.ru
Saint-Petersburg State University of Aerospace Instrumentation Faculty of radioengineering, electronics and communication
Chair of the onboard radio-electronic equipment
Abstract: The article includes the main tasks and options of the smart video monitoring system. Stages of processing the TV scenes in the video analysis system have been considered. In addition the processing structure of the one frame (intraframe processing) have been discussed. The main problems of the video analysis have been mentioned.
Keywords: pattern recognition, image segmentation, video monitoring, image analysis.
ВВЕДЕНИЕ
Видеонаблюдение широко вошло в различные сферы частной и общественной жизни (рис. 1). Задачи, возлагаемые на анализ ТВ-изображений весьма различны: контроль ситуаций, связанных с обеспечением безопасности людей; мониторинг текущей обстановки на объекте; маркетинговый анализ; сбор ста-
тистики; охрана имущества; обеспечение доступа и др.
Решение их в системе "человек—видеокамера" возложено на оператора видеонаблюдения, однако в реальной жизни ошибок, связанных с "человеческим фактором", невозможно избежать. Согласно научным данным через 20—30 мин непрерывного наблюдения за видеомонитором даже тренированный
оператор теряет из поля внимания более половины информации [1]! Особенно такие ошибки существенны в области обеспечения безопасности жизнедеятельности людей и сохранности имущества, где оперативное реагирование на сложившуюся обстановку крайне важно.
Одним из способов снижения их является передача данных задач на аппаратуру видеомониторинга и,
Рис. 1. Некоторые области применения алгоритмов видеоаналитики
в частности, на "умные алгоритмы" анализа видеоизображений (алгоритмы видеоаналитики), являющиеся ее ядром.
Сегодня развитие промышленности является одним из важных направлений экономического роста в России, поэтому решение задач средствами видеоаналитики видится востребованным и актуальным. Учитывая пока сохраняющийся "сырьевой акцент" в экономике, применение алгоритмов видеоанализа на предприятиях нефтяной, газодобывающей, металлургической промышленности позволит повысить эффективность их работы, обеспечить безопасность на производстве и соблюдение технологического процесса, а также сохранность оборудования и материальных средств (например, охрана периметра).
Необходимо отметить важный и существенный момент, который заключается в том, что состав комплекса алгоритмов видеоаналитики
для разных областей имеет много общих частных алгоритмов, что делает комплекс достаточно универсальным и позволяет применять алгоритмы, разработанные для одних приложений, с некоторой модификацией для других. В статье рассматриваются алгоритмы видеоаналитики на примере задачи видеомониторинга дорожного движения [2]. Среди "универсальных" частных алгоритмов можно выделить некоторые базовые. К ним относятся алгоритмы:
— выделения движущихся объектов по отношению к опорному изображению (фону);
— формирования опорного изображения (опорной сцены);
— формирования порога сегментации;
— сегментации изображения;
— завязки следов;
— сегментации на кластеры цветовой однородности;
— борьбы с тенями;
— борьбы с бликами и засветками и др.
ПОСЛЕДОВАТЕЛЬНОСТЬ ОБРАБОТКИ ИЗОБРАЖЕНИЙ С ТЕЛЕВИЗИОННЫХ ДАТЧИКОВ
Основную последовательность операций при обработке ТВ-сцен для обнаружения движущихся объектов и дальнейшего их сопровождения можно разделить на два основных этапа анализа кадров:
— первый этап — внутрикадро-вая или первичная обработка, где алгоритмы работают по информации, полученной из каждого текущего кадра;
— второй этап — межкадровая или вторичная обработка, где происходит обработка и объединение информации, сформированной по последовательности кадров.
Разработанная общая структурная схема внутрикадровой обработки ТВ-сцен представлена на рис. 2.
Блок 1 — обрабатываемый видеоряд, используемый с тем времен-
ным прореживанием, которое поддерживает используемый вычислитель (темп кадров составляет от 0,2 до 1 с). Использование исходного непрореженного видеоряда при обработке нецелесообразно с точки зрения высокой вычислительной нагрузки на аппаратные средства обработки.
Блок 2 — опорная сцена, сформированная таким образом, чтобы иметь минимально возможное количество "негативных" артефактов типа "вспученностей" и "призраков", выявленных при формировании ее с помощью алгоритма линейного накопления (рис. 3). Для этого был разработан специальный алгоритм с однократным заполнением пикселей и процедурой актуализации пикселей опорной сцены.
Блок 3 — формирование СМН-поля, т. е. поля суммы модуля невязок, рассчитываемого по формуле:
СМН(/, ], к) = \АХК(1, ], к)| + + \hXGd, ], к)| + мва ], к)|, (1)
где АХ — невязка по одной из цветовых компонент (Я, С, В).
Блок 4 — формирование рабочего порога сегментации. Вопрос формирования рабочего порога сегментации в рамках данной статьи подробно не рассматривается, однако необходимо отметить, что в ходе работы над системой видеомониторинга было разработано несколько вариантов алгоритмов формирования порогов для обеспечения надежности сегментации и независимости от содержимого ТВ-сцены.
Блок 5 — сегментация СМН-поля на рабочем пороге. На выходе блока формируются принятые решения Гсегм раб на рабочем пороге.
Блок 6 — завязка следов, полученных на рабочем пороге, и формирование оконтуривающих прямоугольников (ОКПР) этих следов. На выходе этого блока формируются следы БШраб(я, к), где л — номер следа, а к — номер кадра.
Блок 7 — размерная селекция мелких мусорных следов. Эта селекция проводится для удаления "лиш-
них" мелких следов. В этом блоке устанавливаются размеры мелких следов, которые в дальнейшем убираются с обрабатываемого кадра.
Блок 8 — формирование идентификационных признаков (ИДП) и характеристических функций (ХФ) объектов. Пример ХФ для следа пе-
(1)
(2)
^Последовательность ТВ-сцен {х(/, у, к)}^ ^ Опорная сцена ^
^ * * (3)
^ Формирование СМН-поля ^
С
[СМН(/, у, к)]
(4) Опорное число
Т \ «мелких» следов Формирование рабочего порога сегментации у*-—-
П
сегм_раб
(5)
Сегментация СМН-поля на рабочем пороге
э
Г,
сегм_раб
_Г _(6)
^Завязка следов на рабочем пороге, формирование ОКПР следов на Псегм_раб^
С
с
З^абС^ к)
Размерная селекция мелких следов («мусора»)
±
(7) Пороговые размеры «мусорных» следов (8)
У
Формирование ИДП объектов + ХФ объектов
з
(9)
з
(10)
С
с
±
Размерная классификация объектов № 1 (первичная)
±
Анализ ИДП и структуры ХФ сложных объектов
3
с с
±
(11)
Классификация объектов по ИДП и ХФ № 2 (вторичная)
±
3
(12)
3
Обработка объектов по классам объектов
I
(13)
^ Адаптивная конкатенация следов Пшх и ТС ^ " I (14) ^
^ Формирование «новых» ОКПР ^
I
(18)
Выделение теней на следах объектов: Пшх, ТС
Т
(15)
(Повторный размерный анализ «новых» ОКПР объектов^ ^ | (16) ^ ^Обработка СМН в «новых» ОКПР. Фильтрация сын)
I
(19)
Маркирование теней (разделение исходного следа на след объекта и след тени)
( Формирование ХФ-2 «новых» СМН. Анализ ХФ-2 и СМ Н-2 ^
С
(17)
I
(20)
Классификация объектов № 3. Формирование ИДП-2
3
с
±
(21)
Передача формуляров объектов на межкадровую обработку
3
Рис. 2. Общая структурная схема внутрикадровой обработки ТВ-сцен
Рис. 3. Пример артефакта на опорной сцене:
а — опорная сцена (Тцискр = 1 с, длина окна 40 кадров); б — "призрак" отъезжающего автомобиля на интервале ее формирования
Рис. 4. Пример базового набора характеристических функций следа от пешехода:
а — след пешехода с тенью; б — характеристические функции следа пешехода с тенью
шехода с тенью показан на рис. 4. Необходимо также отметить, что на этом шаге анализируемых объектов становится уже значительно меньше (порядка ~ 30...100) в сравнении с начальной сегментацией, где их число может доходить до нескольких тысяч.
Блок 9 — первичная размерная классификация объектов, в которой осуществляется разделение объектов на классы: автомобилей, пешеходов. Однако на этом этапе конкатенация раздробленных следов еще не производилась, поэтому пока имеются фрагменты следов от
разных объектов и возможно принятие ошибочных классификационных решений.
Блок 10 — анализ ИДП и ХФ сложных объектов. Анализ ХФ позволяет уточнить решение о классе объекта (автомобиль, пешеход), а также определить объекты с тенями, группы пешеходов, тени от зданий и т. д.
Блок 11 — вторичная уточненная классификация объектов по ИДП и ХФ с выделением "ненужных" классов объектов (например, диагональные линии от теней зданий — класс "Прочие").
Блок 12 — уточненные следы от объектов подаются на обработку в зависимости от их классов. Блок является управляющим по дальнейшей обработке (см. блоки 13—17 и 18—19).
Блок 13 — адаптивная конкатена
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.