КОМПЬЮТЕРНАЯ ГРАФИКА
УДК 681.3.06
ВОССТАНОВЛЕНИЕ СТРУКТУРЫ И ТЕКСТУРЫ ФАСАДОВ
ГОРОДСКИХ ЗДАНИЙ
© 2011 г. А.А. Якубенко, В.А. Кононов, И.С. Мизин, В.С. Конушин, А.С. Конушин Московский государственный университет имени М. В. Ломоносова 119991 Москва, Ленинские горы, 2-й учебный корпус, факультет ВМК E-mail: {toh, vladimir.kononov, ivan.mizin, vadim, ktosh}@graphics.cs.msu.ru
Поступила в редакцию 28.02.2011 г.
Важной задачей при создании фотореалистичных трехмерных карт городов является интерпретация и очищение от объектов переднего плана текстур фасадов зданий. Современные алгоритмы восстановления изображений либо дают невысокое качество при длительном времени работы, либо требуют существенного взаимодействия с пользователем. В данной работе предлагается новый алгоритм восстановления текстуры фасадов зданий с использованием информации о регулярности их структуры. Структура описывается набором непересекающихся решеток похожих между собой прямоугольных фрагментов. Предлагается алгоритм для поиска такой структуры. Проводится сравнение алгоритмов с существующими на доступных базах изображений.
1. ВВЕДЕНИЕ
Эффективное создание трехмерных карт городов является одной из актуальных задач на стыке геоинформатики и компьютерного зрения. Трехмерные карты - это естественная эволюция привычных плоских карт. Такие карты могут быть использованы как для решения традиционных задач навигации, городского планирования и тому подобных, так и открывать возможности для новых сервисов виртуальной и расширенной реальности.
Трехмерные модели городских зданий являются основным содержимым трехмерных карт. Существует несколько способов их получения. Они могут быть созданы из разрозненных фотографий [3] автоматически или вручную с помощью фотограмметрического программного обеспечения или трехмерных редакторов. Для редактирования текстур обычно используется Adobe Photoshop или подобное программное обеспечение. Более автоматизированные подходы предполагают обработку облаков трехмерных точек [4] и видеопотока [5] с систем мобильной съемки. Также могут использоваться
данные аэрофотосъемки и воздушного лазерного сканирования [6].
Трехмерную модель городского здания можно условно разделить на две части: фасад и крыша. Крыши могут быть смоделированы по аэрофото [7] или данным с воздушных ЛИДАРов с помощью ручных инструментов, либо путем автоматической подгонки параметрических моделей крыш под имеющиеся данные. Моделирование фасадов - более трудная задача. Но здания обычно обладают структурой и регулярностью. Эти семантические знания могут помочь в решении многих проблем в моделировании, обработке и интерпретации фасадов.
Текстуры фасадов часто загорожены объектами переднего плана: растительность, рекламные вывески, провода, автомобили, люди, другие здания, выпуклые части зданий. Загороженные области (окклюзии) могут быть сегментированы и восстановлены путем сравнения повторяющихся частей фасада [8, 13]. Текстуры, полученные с аэрофото, часто имеют низкое разрешение и плохое качество при приближении к нижним этажам зданий. Если
(а) (Ь) (е) (а) (в)
Рис. 1. (а) входная текстура фасада, (Ь) найденные непересекающиеся регулярные решетки одинаковых ячеек, (е) найденные чистые ячейки, (а) найденные области объектов переднего плана, загораживающих
фасад, (в) очищенная текстура.
извлечь информацию о разбиении фасада на этажи, тогда можно перенести текстурную информацию с верхних этажей на нижние [9].
Обнаруженные фасадные элементы, такие как окна или балконы, могут быть заменены более детализированными шаблонными трехмерными моделями для повышения общего качества восприятия [10]. Знание о повторяющихся участках текстуры и соответствующих элементах геометрии может быть использовано для сжатия [11] файлов трехмерной модели и текстуры, что важно для Интернет-приложений. Информация о структуре фасадов зданий может использоваться для сервисов геолокации [12] и других задач.
Статья организована следующим образом. Краткий анализ существующих подходов приведен в разделе 2. Предложенный метод определения структуры описан в разделе 3 (Рисунок 1b). Предложенный метод восстановления текстуры описан в разделе 4 (Рисунки 1c, 1d, 1e). Результаты экспериментов и сравнений приведены в разделе 5. Выводы даны в разделе 6.
2. ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ
2.1. Восстановление текстуры
К настоящему времени сформировалась целая исследовательская область по задаче восстановления текстуры (Image Completion). Эта задача состоит в заполнении некоторого
участка изображения, называемого неизвестной областью, с использованием оставшейся части изображения, причем результат визуально не должен выглядеть неестественно. За последние десять лет в области восстановления текстуры появилось множество различных алгоритмов, которые можно грубо разделить на два больших класса.
Методы первого класса основаны на составлении и решении уравнений в частных производных [37]. Алгоритмы этого класса хорошо подходят только для восстановления узких и небольших областей, таких как царапины на фотографиях. В противном случае результат получается очень размытым.
Методы второго класса основаны на копировании информации с остальной части изображения на неизвестную область попиксельно или небольшими фрагментами. Некоторые алгоритмы жадно заполняют неизвестную область, часто с использованием функции приоритета [28]. Другие же формулируют специальную функцию энергии, и находят такое копирование фрагментов, которое минимизирует эту функцию [36].
В любом случае всем алгоритмам восстановления текстур необходима размеченная вручную или другими алгоритмами неизвестная область. Также они работают непозволительно долго для использования их в интерактивных приложениях (от нескольких десятков минут до нескольких часов на изображениях в 1-3
мегапикселя). Поэтому в чистом виде они не могут применяться для решения поставленной задачи.
В [13] авторы также имеют дело с фасадами. Однако их алгоритм использует размеченную вручную неизвестную область, а также ограничивается работой с фасадами, высоты всех этажей которых одинаковые.
В [8] предлагается алгоритм для автоматического восстановления структуры фасада с последующим нахождением и удалением объектов переднего плана, загораживающих здание. Схема этого метода похожа на схему предлагаемого алгоритма. Однако этот метод работает только для простых случаев загораживания. Например, он не справляется со случаями, когда объекты переднего плана загораживают более половины или близкое к этому число структурных ячеек. Также все примеры результатов работы показаны только для простых фасадов.
В данной статье предложен алгоритм, единственным ограничением которого является наличие хотя бы одной полностью чистой ячейки каждого типа. Он не нуждается в ручной разметке неизвестной области, и может работать как полностью автоматически, так и интерактивно с минимальным пользовательским взаимодействием.
2.2. Определение структуры
Повторяемость и регулярность - главные подсказки при интерпретации фасадов. Классическим решением для извлечения регулярности из изображения плоского объекта без перспективных искажений является анализ пиков автокорреляции изображения [19]. Данный подход анализирует все изображение глобально и подходит только для случаев одной строгой регулярности, которая занимает большую часть изображения без значительных окклюзий.
Для более сложных случаев можно использовать разреженные фрагменты изображения. Они могут выбираться случайным образом [20], или как окрестности особых точек [1], или прямоугольников [8]. Похожие между собой фрагменты группируются исходя из модели гомографии [12], решетки [8], около регулярной
решетки [1, 20] или более сложной модели [2]. Фрагменты сравниваются друг с другом либо с помощью попиксельной суммы квадратов разностей цветов [21] или нормализованной кросс-корреляции [1], либо с помощью сравнения дескрипторов вроде SIFT [12]. Модель может оцениваться с помощью преобразования Хафа [23], алгоритмов семейства RANSAC [12], итерационного распространения решеток [1] или оптимизации Марковского поля [8]. Эти подходы показали хорошие результаты на многообразии изображений. Из-за обобщенной постановки задачи и использования только небольших локальных фрагментов изображения качество работы таких алгоритмов резко падает при анализе более сложных фасадов, например, несовременных зданий, фасадов с несколькими решетками, значительными областями перекрытия.
Упомянутые выше подходы не фокусируются исключительно на фасадах. Целью другой группы методов является поиск окон [25], которые чаще всего определяют структуру здания. Это может быть сделано с помощью детектора подобного Viola-Jones, используя признаки Хаара и метод главных компонент или усиление слабых классификаторов. Окна сильно отличаются друг от друга, поэтому такие подходы хорошо работают только в пределах базы с довольно похожими друг между другом изображениями. Для решения данной проблемы предлагался подход с последовательным обучением [26], но он требовал взаимодействия с пользователем.
Эвристические подходы используют похожесть углов окон [27] и наличие градиента по периметру окон [28]. Для регуляризации используется критерий Акаике [27] или принцип минимальной длины описания [2]. Поиск окон также может быть сформулирован в виде задачи оптимальной разметки изображения [29] или в виде задачи поиска оптимального набора непересекающихся прямоугольников [30]. Текущие результаты алгоритмов поиска окон не дают возможности использовать их как финальное решение. Но найденные окна могут быть использованы как низкоуровневая информация для более интеллектуальных алгоритмов, которые будут учитывать и
регулярность. Результаты семантической сегментации изображений [31] в общей постановке и сегментации области стен [32] также далеки от желаемого результата.
Лучшие алгоритмы для интерпретации фасадов пытаются описать входное изображение фасада высокоуровневой моделью. Эта модель может быть представлена как разбиение фасада на этажи, пролеты, окна и так далее. В более общем случае м
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.