Коробков Н.В., кандидат технических наук, доцент Национального исследовательского ядерного университета «МИФИ»
ПРИМЕНЕНИЕ СТЕРЕОЗРЕНИЯ ДЛЯ РАСПОЗНАВАНИЯ ЛИЦ
В работе рассмотрено использование стереозрения для построения систем распознавания лиц. Данный подход позволяет повысить устойчивость систем распознавания к ракурсным искажениям и изменениям условий освещения. Предложен метод отождествления точек на стереопаре изображений на основе минимизации байесовский риска.
Ключевые слова: распознавание, лицо, стереозрение, отождествление.
This article examines the use of stereovision for the creation of face recognition systems. This approach allows increasing the stability of the recognition systems to changes in lighting conditions and view point. Suggested method of identifying the points on a stereo pair of images is based on minimizing the Bayesian risk.
Key words: recognition, face, stereovision, identification.
В настоящее время интенсивно развиваются методы распознавания лиц, которые используются в системах видеонаблюдения и идентификации. Выделяют следующие области применения данной технологии: охранные системы, криминалистика, компьютерная графика, человеко-машинный интерфейс, персонализация цифровых устройств.
К алгоритмам распознавания лиц, применяемым в системах видеонаблюдения, выдвигаются жесткие требования по быстродействию и устойчивости к ракурсным искажениям и изменениям условий освещения, кроме того изображение может быть искажено эмоциями [1].
В данной работе рассматривается возможность применения стереозрения для распознавания лиц. Применение стереозрения позволяет добиться ряда преимуществ, в частности можно добиться устойчивости к большим ракурсным искажениям и изменениям условий освещения [9]. Предлагается использовать данный подход совместно с методом построения инварианта лица по контрольным точкам [2][3], однако возможно и использование метода для определения ракурса наблюдения и далее с 2D методами распознавания [6][7][8]. Предлагается алгоритм отождествления точек, являющихся изображением одной и той же точки на изображениях, полученных разными камерами.
Как известно, стереозрение состоит в восстановлении трехмерной структуры объекта по изображениям, полученным из разных точек пространства. Обычно для получения таких изображений используются две камеры, но существуют подходы, позволяющие решать данную задачу за счет движения камеры или объекта наблюдения.
Данный подход основан на вычислении трехмерных координат точек по положениям их изображений на кадрах, полученных из разных точек пространства [4],[11].В основе любой автоматической стереосистемы лежит некоторый метод установления соответствия между точками изображения: алгоритм отождествления точек [4].
На основании информации о пространственном расположении камер и направлении их оптических осей можно вычислить трехмерные координаты наблюдаемых точек. После чего составляется вектор признаков: три координаты (x , y , z) для каждой точки инварианта лица из 11 точек предложенных в работах [5][2] [3]
1) левый глаз внешний край;
2) левый глаз внутренний край;
3) правый глаз внешний край;
4) правый глаз внутренний край;
5) левое крыло носа;
6) правое крыло носа;
7) кончик носа;
8) центр рта;
9) низ подбородка;
10) переносица;
11) вершина лба.
А1 В1 А2 В2
При сопоставлении с эталоном надо найти аффинное преобразование М, минимизирующее функционал, где Р1 - вектор координат эталонной точки а V1 - вектор координат точки анализируемого изображения.
3 = £ (Р - м х V )2 (1)
1 =1
При использовании данного подхода необходимо решить задачу отождествления изображений одной и той же точки на кадрах полученных разными камерами (на рисунке 1 необходимо отождествить точки Л1 и Л2 - изображения точки Л, а также точки В1 и В2 - изображения точки В). Точность нахождения координат сопоставляемых точек и определяет точность нахождения их пространственных координат. Относительная ошибка определения координат точек е пропорциональна отношению расстояния точки до плоскости камер 2 к расстоянию между камерами Б (базы стереопары). Также ошибка определения координат зависит от разрешающей способнос ти оптического сенсора, она обратно пропорциональна количеству пикселов вдоль стороны матрицы 8 ~ 1/0. Однако чрезмерное приближение объекта наблюдения к камерам тоже не желательно, из-за значительных ракурсных искажений и ухода части изображения из кадра.
Для решения задачи отождествления в системах стереозрения используют основные подходы:
- корреляционные методы;
- методы , основанные на отождествлении краев областей однородной яркости.
Отождествление точек на изображениях при помощи корреляционных методов осуществляется путем нахождения точек, окрестности которых максимально коррелируют. В работе [10] разработана стереосистема на основе адаптивного окна корреляции, а в работе [11] - итерационный метод, компенсирующий изменение размеров при изменении ракурса.
Отождествление точек путем выделения краев менее чувствительно к ракурсным искажениям и несовпадениям яркости отождествляемых точек, чем предыдущие методы отождествления точек, однако на любом изображении вдоль эпиполярной линии (линии вдоль которой
движутся точки на изображении при перемещении наблюдателя) может быть много краев, поэтому возможны ошибки отождествления. Большинство автоматических систем стереозрения плохо работают , если не все края, видимые на одном изображении, видны и на другом [4].
Для решения задачи отождествления предлагается использовать алгоритм, основанный на минимизации байесовского риска ложного отождествления, вычисляемого исходя из распределения яркостей в окрестностях отождествляемых точек и оценок трехмерных координат точек. Для повышения точности и достоверности решения задачи отождествления точек можно использовать результаты нескольких сопоставлений в ходе движения объекта наблюдения.
Для сопоставления точек на двух изображениях нужно минимизировать байесовский риск на основе яркостей и цветов точек в их окрестностях и предполагаемого их положения на основании предыдущих наблюдений, причем рассматриваются точки лежащие на эпипо-лярной линии.
ш1и I = ш1и (- 1п(Р(АЬ]а,Ща | ((г]-1, Ь]-1), (АЯ], АН])) , Щ-1))=
2 (Л(*, 1) -12(к, I))2
= шт(
(АЪ1а -АЪ1т)2
(2)
В
■ +
ИеП
]АЪ
^ )В(А)
а1
)
Здесь 1}(к,1) и 12(к,1) яркости точек в окрестности отождествляемых точек на первом и втором изображениях. Б - количество точек в окрестностях. 52у(а1Мв) - среднеквадратиче-ского значения производной яркости для окрестности каждой прослеживаемой точки П
Из-за ракурсных искажений и ошибок оцифровки точки окрестности будут смещены относительно друг друга. Обозначим АКь - среднее смещение точек окрестностей , В(А) - дисперсия этого смещения.
АЪ]а - расстояние вдоль эпиполярной линии между отождествляемыми точками изображений, АЪп - предсказанное по предыдущим измерениям значение перемещения В]АЪ - дисперсия лценки АЪ1п. Формула (2) получена в предположении о нормальных распределениях отклонения изменения яркости в окрестности отождествляемых точек и отклонения действительного расстояния отождествляемых точек от предсказанного.
Вообще говоря, на основании наблюдения перемещающего объекта в два момента времени Т1 и Т2 двумя камерами стереопары надо решить четыре задачи отождествления:
и
Ь
Кам^а2
Т1
Т2
Рис 2. Решения задач отождествления для перемещающегося объекта.
Еще один вариант применения предлагаемого критерия отождествления состоит в использовании трех и более камер. При расположении камер с вертикальным и горизонтальным смещением можно добиться точного определения координат точек лежащих как на линиях близких к вертикали, так и на линиях близких к горизонтали, поскольку для эффективного отождествления точек желателен большой градиент яркости вдоль эпиполярных линий в этих точках изображений.
Эксперименты с изображениями, полученными цифровом фотоаппаратом, показали, что можно получить оценку пространственных координат точек порядка 0,3-0,5 % . При экспериментах использовалось изображение 2000х3000 и предполагалось, что лицо занимает порядка 1/3 кадра. Проводились эксперименты с различными размерами окрестности корреляции сопоставляемых точек.
В статье рассмотрены возможности применения трехмерного зрения для распознавания лиц. Данный подход позволяет свести к минимуму ошибки отождествления связанные с ракурсными искажениями изображения и искажениями, вызванными различными условиями освещенности. Это важно, если объект распознования перемещается в поле наблюдения камеры (камер).
Предложен метод вычисления пространственных координат точек на основании нескольких наблюдений перемещающегося объекта.
ЛИТЕРАТУРА
1. Д. Брилюк, В. Старовойтов распознавание человека по изображению лица и нейросете-вые методы http://daily.sec.ru/dailypblshow.cfm?rid=5&pid=4425&pos=1&stp=50
2. Лифшиц Ю. Методы распознавания лиц / Лекция 8 курса: Современные задачи теоретической информатики. Лаборатория мат. логики ПОМИ РАН, ИТМО. Осень 2005. http://download.yandex.ru/class/lifshits/lecture-note08.pdf
3. Л.Р. Адылова О распознавании лиц http://intsys.msu.ru/magazine/archive/v14(1-4)/adylova-073-084.pdf
4. Хорн Б.К.П. Зрение роботов. - М:Мир, 1989. - 488 с.
5. Самаль Д.И. Построение систем идентификации личности на основе антропометрических точек лица // Цифровая обработка изображений. - Минск:ИТК, 1998.-С.72-79.
6. Wiskott L., Fellous J.-M., Krueger N and Malsburg C. Face Recognition by Elastic Bunch Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 775-779.
7. Hallinan P. L., Gordon G. G., Yuille A. L., Giblin P., Mumford D. Two- and Three-Dimensional Patterns of the Face. Natick:A. K. Peters Ltd. 1999. - 260 p.
8. Belhumeur P. N., Hespanha J. P. and Kriegman D. J. Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 711-720.
9. Компьютерное стереозрение http://www.vocord.ru/485/
10. Lee Hsi-Jian, Lei
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.