КОМПЬЮТЕРНАЯ ГРАФИКА
УДК 681.3.06
ДВУКРАТНОЕ УВЕЛИЧЕНИЕ ЧАСТОТЫ КАДРОВ ВИДЕО НА ОСНОВЕ ДВУНАПРАВЛЕННОЙ КОМПЕНСАЦИИ ДВИЖЕНИЯ
© 2009 г. Д. С. Ватолин, С. В. Гришин
Факультет вычислительной математики и кибернетики Лаборатория компьютерной графики МГУ им. М.В. Ломоносова 119992 Москва, Воробьевы горы E-mail: {dmitriy, sgrishin}@graphics.cs.msu.su Поступила в редакцию 20.10.2008 г.
В статье описывается алгоритм двукратного увеличения частоты кадров видеопоследовательности, использующий двунаправленную компенсацию движения. Отличительной особенностью алгоритма является отсутствие сглаживания во временной области, что обуславливает отсутствие колебаний резкости изображения в преобразованной видеопоследовательности. Специальный этап постобработки с адаптивно изменяемой силой сглаживания позволяет значительно уменьшить артефакт "блочность" при сохранении максимума деталей на изображении. Отсутствие сложных математических вычислений делает возможной аппаратную реализацию алгоритма и обработку видео в режиме реального времени.
1. ВВЕДЕНИЕ
Преобразование частоты кадров (ПЧК) широко используется в цифровой обработке видео. Во-первых, ПЧК требуется для перехода между стандартами воспроизведения видео. Например, фильмы, как правило, имеют частоту кадров 25 кадров/с, в то время как самые современные телевизоры способны воспроизводить 100 кадров/с.
Другой важной областью применения ПЧК является декодирование видео данных. При кодировании видео с высокими степенями сжатия многие видеокодеки уменьшают разрешение данных не только в пространстве, но и во времени (частоту кадров будем также называть временным разрешением). Иначе говоря, вместо кодирования исходных 30 кадров/с частота кадров может быть уменьшена до 20 кадров/с. Это означает, что каждый третий кадр исходной видео последовательности не будет закодирован. Однако при воспроизведении видео на стороне декодера весьма желательно получить исходную
частоту кадров. Для этого необходим механизм восстановления, в качестве которого и используется алгоритм ПЧК. Также ПЧК может применяться для восстановления поврежденных кадров.
Еще одной возможной областью применения ПЧК является задача повышения визуального качества видео. Частота кадров для видео, снятого, например, с мобильного телефона или веб-камеры, составляет, как правило, 15 кадров/с. При такой частоте кадров временная дискретность (прерывистое движение) видео заметна визуально, если в кадре присутствуют движущиеся объекты. В данном случае визуальное качество видео может быть значительно повышено путем увеличения частоты кадров.
ПЧК можно рассматривать как временную интерполяцию видео. Здесь можно провести аналогию с алгоритмами масштабирования изображений (АМИ). Если АМИ предназначены для увеличения пространственного разрешения, то ПЧК - для увеличения временного разрешения. По аналогии с интерполированными пик-
67
5*
селями в АМИ, кадры, вычисленные в процессе ПЧК, также называют интерполированными (ИК). Можно сказать, что ПЧК является обобщением АМИ на временную ось. По аналогии с АМИ принцип интерполяции вдоль краев (ИВК) крайне важен и в ПЧК, с той лишь разницей, что края в видео являются трехмерными (два пространственных плюс временное измерение). Отчасти в связи с этим и методы нахождения краев (НК) и ИВК, используемые в ПЧК, отличаются от тех же методов, задействованных в АМИ.
Методы НК и ИВК из АМИ (например, дифференциальные методы) используют тот факт, что расстояние между соседними точками одного края не больше полутора пикселей. То же расстояние в случае видео может составлять десятки пикселей, если точки расположены на соседних кадрах, т.е. в случае, когда рассматривается временное измерение. Это обстоятельство делает методы НК и ИВК из АМИ неприменимыми напрямую в ПЧК. Оговорка "напрямую" здесь не случайна. Существует прием, позволяющий в большинстве случаев сократить расстояние между соседними во времени точками одного края. Этим приемом является компенсация движения. Компенсацией движения (КД) называется процесс построения скомпенсированных кадров (СК). Перед КД выполняется процесс вычисления информации о движении (ИД), называемый оценкой движения (ОД). Каждый СК реконструируется из кадра исходной видеопоследовательности на основе ИД, вычисленной ОД для следующего исходного кадра.
Рассмотрим более подробно процесс компенсации движения. Допустим, для каждой точки некоторого кадра исходной видеопоследовательности в процессе оценки движения (ОД) была вычислена разница между координатами этой точки на предыдущем и текущем кадрах. Эта разница называется вектором движения. Тогда кадром, скомпенсированным на текущий момент времени, будет кадр, построенный из предыдущего кадра смещением каждой его точки на соответствующий ей вектор движения. Важным моментом здесь является тот факт, что для каждого скомпенсированного кадра существует момент времени, на который он скомпенсирован. Таким образом, для пары (текущий кадр, СК) расстояния между соседними точками одно-
го края во временном измерении значительно сокращены по сравнению с парой кадров (текущий кадр, предыдущий кадр). Следует заметить, что на практике в некоторых областях кадра невозможно с достаточной точностью найти вектора движения. Это обуславливает необходимость оценивать точность найденной ИД и в соответствии с ней изменять стратегию применения алгоритмов НК и ИВК. Это является еще одним отличием ПЧК от АМИ.
Простейший способ (FR, Frame Repetition) восстановления пропущенных кадров состоит в повторении кадра, предшествующего пропущенному. Основным недостатком данного метода является то, что дискретность движения будет одинаково заметна в исходной и преобразованной видеопоследовательностях (так как нет интерполяции вдоль краев). Поскольку увеличение временного разрешения является основной задачей алгоритма ПЧК, область применимости FR, который не решает эту задачу, очень узка. Другой способ - линейная интерполяция между закодированными кадрами. Недостаток этого метода -потеря резкости изображения на границах движущихся объектов. Этот артефакт обычно называют эффектом ореола ("ghost artifact"). Кроме того, как и в предыдущем методе, интерполяция вдоль краев здесь не используется.
Существенное повышение качества достигается при помощи алгоритмов, использующих интерполяцию вдоль краев (ИВК). Для повышения эффективности ИВК, как было сказано выше, необходимо оценить параметры движения между кадрами видео. ОД может осуществляться несколькими методами. В подавляющем большинстве алгоритмов ПЧК используются методы ОД, основанные на поиске соответствий блоков (BMA, Block Matching Algorithms) [1-4], поскольку они вычислительно эффективны и ап-паратно реализуемы. Недостатком этих методов является потенциальная возможность появления на СК артефакта, называемого "блочнос-тью". В настоящее время существует множество алгоритмов ПЧК, использующих информацию о движении. Например, в работе [1] предложен метод увеличения частоты кадров в полтора раза. Описанный метод распределения интерполированных кадров во времени позволяет использо-
вать все исходные кадры в преобразованной последовательности при выполнении делений только на степень двойки, что значительно облегчает аппаратную реализацию. Однако при использовании данного метода нарушается временной интервал между исходными кадрами, что проявляется в неравномерном движении ("jerkiness"). В [2] описывается метод, предназначенный для восстановления пропущенных кадров на стороне декодера H.263. Интерполированные кадры вычисляются с использованием гибридной схемы, по которой адаптивно выбирается метод интерполяции: либо повторение кадров, либо интерполяция скомпенсированных кадров. Одним из недостатков данного метода является его область применения, ограниченная декодером. Метод интерполяции скомпенсированных кадров, описанный в [4], предназначен для использования на стороне декодера стандарта ITU-T H.263, подразумевающего наличие в потоке М-кадров (motion frames). Данный метод не требует предположения о равномерности и прямолинейности движения между опорными кадрами, однако информация о "нелинейных векторах" движения сохраняется видеокодером в М-кадрах и используется при декодировании. Поэтому использование данного метода также ограниченно применением в декодере H.263. В [5] в качестве метода построения скомпенсированных кадров предлагается использовать процедуру глобальной компенсации движения (ГКД), которая позволяет корректно обрабатывать сильное движение определенного типа (поворот, наезд и отъезд камеры). Однако процедура ГКД не чувствительна к движению локальных объектов, что приводит к прерывистому движению некоторых предметов в кадре. В [6] для вычисления векторов движения используется алгоритм оценки оптического потока (Optical Flow Estimation Algorithm). Для обработки наложений предлагается схема использования меток полей (Label Field). Такая схема дает хорошие результаты, однако вычисление меток полей требует информации об интерполируемом кадре, что ограничивает применение данного метода использованием на стороне декодера.
Описанный ниже алгоритм предназначен для увеличения частоты кадров в 2 раза. В качест-
ве метода оценки движения используется метод, ориентированный на вычисление верных векторов движения. Принципиальным отличием такого метода ОД от других является его ориентация на поиск векторов движения, не только минимизирующих функцию межкадровой разницы (что характерно для обычных методов ОД), но и имеющих правильное направление (совпадающее с реальным направлением движения в данной области). Скомпенсированные кадры вычисляются с четверть-пиксельной точностью (достигается путем использования в процессе КД кадров, увеличенных вчетверо), что обеспечивает высокую точность передачи слабого движения и медленно изменяющихся областей. Компенсация движения производится после этапа ОД на основе информации, полученной от ОД. Детали этапа вычисления скомпенсированных кадров будут описаны в разделе 2.
Основным отличием данного метода от других является то, что преобразованная последовательно
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.