Конструирование и производство
датчиков, приборов и систем
Представляет Конструкторско-технологический институт
научного приборостроения СО РАН
УДК 681.786.23;681.786.67
ВОЗМОЖНОСТИ ОПТИЧЕСКОГО Эй-ЗОНДИРОВАНИЯ ПРОСТРАНСТВА С ПОМОЩЬЮ НАГОЛОВНЫХ СРЕДСТВ ИЗМЕРЕНИЯ
CAPABILITIES FOR 3D OPTICAL SENSING OF SPACE USING THE MEASURING HEAD-MOUNTED DISPLAYS
Патерикин Владимир Иванович
канд. техн. наук, вед. научный сотрудник E-mail: vipater@yandex.ru
Конструкторско-технологический институт научного приборостроения СО РАН, г. Новосибирск
Аннотация: Представлен обзор работ и направление развития методов и средств измерения пространственных параметров трехмерных предметов в реальном времени. Рассмотрены основные предпосылки для создания средств измерения на базе современных ЭБ-сенсоров в составе наголовного визуализирующего устройства продолжительного использования для достоверного изображения глубины пространства.
Paterikin Vladimir I.
Ph. D. (Tech.), Senior Researcher E-mail: vipater@yandex.ru
Technological Design Institute of Scientific Instrument Engineering, Siberian Branch of the RAS, Novosibirsk sity
Abstract: An overview of the works and trends of methods and means developments for measurement the spatial parameters of three-dimensional objects in real time is presented. The basic prerequisites for creating the measuring devices based on modern 3D sensors as part of head-mounted displays imaging device of long-term usage for reliable image of the space depth are considered.
Ключевые слова: зондирование поверхности, оптические средства, ЭБ-сенсоры, времяпролетные датчики, наголовные дисплеи.
Keywords: surface sensing, optical means, 3D sensors, time-of-flight sensors, head-mounted displays.
ВВЕДЕНИЕ
Формирование изображения на сетчатке глаза с помощью различных оптических средств заканчивается проекцией картинки на чувствительную поверхность сетчатки. Однако при восприятии внешней среды с помощью зрения сознание человека получает не фотографию в привычном понимании, а характерный для данного объекта образ с представлением отдаления, расстояния между объектами, направления, величины и формы объектов. Сложность процесса восприятия пространства во многом определяется также необходимостью реализации таких функций мозга, как
способность решать когнитивные задачи, в том числе трехмерное представление пространства предметов, анализ изображения, размещение и представление "себя" в среде [1]. Главный недостаток существующих 3D-систем технического зрения — это принятая модель глаза и сетчатки в виде оптического объектива и плоской фотоматрицы, что приводит к игнорированию физиологической оптики и нарушению психофизических законов, вызывает конфликт между конвергенцией и аккомодацией, усталость глаз и головную боль при длительной работе со стереоскопическими одно-фокусными изображениями [2].
А. М. Ковалевым показано [2], что искажения масштабов предметов и глубины пространства могут достигать десятки процентов как на малых, так и на больших расстояниях. Ошибки происходят из-за того, что объектив камеры строит двумерное изображение с фиксированным фокусным расстоянием, в то время как зрительная сенсорная система формирует трехмерное изображение, работая с переменным фокусным расстоянием [3]. Хорошо известная проблема — это визуальный дискомфорт, так как в 3D-системах, например, в таких как Mixed Reality нет ни программных, ни оптичес-
ких средств генерации стимулов аккомодации [4].
Для решения этих проблем предлагается схема устройства, в которой дисплейная часть представляет реальную сцену в формате XYZ RGB, где XYZ — положение точки, а RGB — цвет точки. Точно в таком же формате и в такой же проекции представляется и компьютерная виртуальная сцена [2]. Процедуры удаления невидимых поверхностей и формирования стимулов аккомодации могут работать над общим потоком данных, содержащим и реальные, и виртуальные предметы. Это гарантирует достоверную интерпозицию-окклюзию предметов и отсутствие дискомфорта при работе в рамках проективного преобразования, характерного для технического зрения. Предлагаемое решение требует:
— разработки быстродействующих мультифокальных проекционных объективов и носимых на голове дальномеров с малыми весогаба-ритными параметрами;
— разработки быстродействующего "Z-стерео" видеокодека, способного обеспечить эффективное сжатие стерео-видео с необходимой глубиной на каждой паре изображений;
— разработки уникальных видеокамер с сенсорами глубины, отличающихся высоким быстродействием, большим динамическим диапазоном по глубине и минимальными погрешностями по всем координатам.
Решить такого рода задачи может помочь комплексная "интеллектуальная" система, состоящая из мультифокальных датчиков 3D-изображения и видео с современной компактной вычислительной платформой, совмещающих в себе центральный и графический процессоры. Примерный перечень основных параметров перспективной системы 3D-наголовного дисплея может быть следующим:
— мобильная платформа муль-тифокального дистанционного наблюдения;
— размер маски глубиной не менее 256x256 точек, разрешение
по глубине не более 10 мм на расстоянии 10 м, рабочее расстояние более 30 м, частота кадров более 50 кадр/с,
— работа в реальном масштабе времени;
— вычислительная платформа системы, обеспечивающая интеграцию и функционирование всех подсистем.
За последние несколько лет в мире разработаны и доведены до массового производства несколько типов 3D-камер, обладающих высокой производительностью и достаточно высоким пространственным разрешением. Области применения 3D-сенсоров весьма разнообразны: телефон-планшет-ноутбук, картография, 3D-навигация, техническое зрение и робототехника, техническое конструирование, моделирование одежды, интерактивные системы в образовании, спорте и мультимедиа, автономные транспортные средства, медицина, контроль изготовления и сборки чипов, распознавание лиц, умный дом, военные применения.
МЕТОДЫ И СРЕДСТВА ВОСПРИЯТИЯ ТРЕХМЕРНОГО ПРОСТРАНСТВА
Оптические средства и соответствующие методики, используемые при бесконтактном методе измерения, как правило, являются специфичными и из всего набора имеющихся средств используют лучшее или единственное решение (например, для очень больших или очень коротких расстояний). Различные оптические методы измерения требуют применения и различного типа источников света, например, с непрерывным излучением или с модуляцией, с высокой когерентностью, с узкой полосой пропускания или просто — источники белого света. Описание и рассмотрение каждого метода включает и его физическую основу, что может дать более четкое понимание его сильных и слабых сторон, а также достижимые с их помощью точность, быстродействие, рабочий диапазон и т. п. [5].
Существует значительное число оптических методов измерения рас-
стояний, из которых к нашей задаче в той или иной мере могут иметь отношение следующие: метод интенсивности (яркости) света, конфокальный, интерферометрический, голографический, фотограмметрический, триангуляционный, время-пролетный и структурного освещения [6].
Кратко рассмотрим отличительные способности, достоинства и недостатки указанных выше методов измерения расстояний.
Интенсивности света [6] и конфокальный методы [7, 8]
Методы отличаются высокой разрешающей способностью — менее 1 мкм, небольшим диапазоном измеряемых расстояний (до нескольких мм), простотой конструкции.
Интерферометрический [9] и голографический методы [10]
Оба эти метода позволяют получить наилучшую разрешающую способность среди всех известных (от долей нм), отличаются высокой аппаратной сложностью, имеют сравнительно большие габариты, массу и стоимость.
Фотограмметрия [11]
Этот метод имеет невысокую в абсолютных значениях разрешаю -щую способность, относительно небольшую аппаратную сложность с высокими требованиями к оптическим элементам, представляет собой незаменимый метод при проведении топографических и картографических работ.
Триангуляционный метод
В этом методе в наиболее продвинутых устройствах используется 2D-сканирование профиля объекта лазерным лучом, в котором лазерный луч проецируется на объект, а полученные датчиком изображения воспринимаются матричной камерой и преобразуются в высоту профиля данного участка поверхности. Датчик выдает не только данные о расстоянии (третью координату), но и некоторые дополнительные сведения, например, уровень освещенности [12]. Разрешающая
способность А и расстояние L, реализуемые такого типа устройствами, в основном зависят от назначения и конструктивного решения и в лучших образцах могут составлять: А я 20...50 мкм для L = 300 мм. При увеличении расстояния значение А увеличивается практически пропорционально.
В качестве примера можно привести камеру C4-2350-GigE, которая, за исключением небольшого рабочего расстояния (~ 300 мм), имеет достаточно высокие показатели по таким параметрам, как частота кадров — 190 кадр/c, разрешение по горизонтали 0,1 мм (матрица 2352x1728 пикселей), по вертикали — 20 мкм. Камера имеет интерфейс GigE Vision [13].
Времяпролетный метод (Time-of-Flight или ToF)
Времяпролетный метод (ToF) в настоящее время наиболее востребован и на его основе разработано значительное число 3D-камер. ToF метод использует принцип светового радара. Типичные лазерные радарные системы включают в себя лазер, оптическую детекторную систему, устройство синхронизации и процессор. Детекторная система представляет собой массив (матрицу) фотоприемников. Сцена освещается лазерным импульсным или непрерывным световым потоком с амплитудной модуляцией и измеряется транзитное время пролета светового луча от камеры до объектов сцены и обратно.
В импульсном времяпролетном методе измерений может использоваться три режима: 1) транзитное время гораздо больше длительности импульса, 2) транзитное время примерно равно длительности импульса, 3) транзитное время короче длительности импульса. Первый вариант является основным при измерении расстояний более 50 м, например, в топографических съемках или картировании. В этих случаях разрешение и точность, как правило, зав
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.