прикладная математика applied mathematics
DOI: 10.12731/WSD-2015-6-20 УДК 004.82:007.52
применение миварных экспертных систем для решения задач понимания текста и распознавания изображений
Варламов О.О.1,2, Майборода Ю.И.3, Сергушин Г. С.12, Хадиев А.М}1
'ФГБОУ ВПО «Московский автомобильно-дорожный государственный технический университет (МАДИ)», Российская Федерация, г. Москва, http://www.madi.ru, ovar@narod.ru 2ООО «НИИ МИВАР», Российская Федерация, г. Москва, http://www.mivar.ru, info@mivar.ru 3ФГБОУ ВПО «Московский физико-технический институт (государственный университет) (МФТИ)», Российская Федерация, Московская область, г. Долгопрудный, http://mipt.ru, y.majboroda@mivar.ru
Показан практический пример применения миварных экспертных систем для решения основных задач искусственного интеллекта (ИИ): понимания текста и распознавания изображений. В «НИИ МИВАР» ведется создание систем логического искусственного интеллекта на основе российских миварных технологий многомерного накопления информации и линейной сложности логической обработки. Программный комплекс «Конструктор экспертных систем КЭСМИ 1.1» позволяет
обрабатывать 5 млн продукционных правил в секунду на персональных компьютерах. Для решения задач понимания текстов на русском языке в 15-мерной миварной базе данных и правил реализована информационная модель «Картина мира» с несколькими контекстами и представлением миварной сети, содержащей 160 000 объектов (вершин графа) и более 600 000 правил (ребер графа). Для отработки подходов по семантическому распознаванию изображений к этой же многомерной миварной базе данных и правил добавлены несколько тысяч картинок.
Ключевые слова: мивар, миварные сети, продукции, естественный язык, искусственный интеллект, миварные технологии, интеллектуальные системы, распознавание образов, понимание текстов.
use of mivar expert systems
for solving problems of text understanding and image recognition
Varlamov O.O.12, Mayboroda Y.I.3, Sergushin G.S.12, Hadiev A.M.12
'State Technical University - MADI, Russian Federation, Moscow, http://www.madi.ru, ovar@narod.ru 2LLC «SRI MIVAR», Russian Federation, Moscow, http://www.mivar.ru, info@mivar.ru 3Moscow In^itute of Physics and Technology (MIPT), Russian Federation, Moscow Region, Dolgoprudny, http://mipt.ru, y.majboroda@mivar.ru
In this article the example ofpractical application of mivar expert systems for solving the main problems of artificial intelligence is presented: text understanding and image recognition. At «SRI MIVAR» we develop systems of logical inference which are based on Russian mivar technologies characterized by multidimensional accumulation of information and
logical processing with linear complexity. "Constructor of expert systems CES 1.1" (IDE) was developed which allows to process 5 million production rules per second on personal computers. To solve problems of Russian text understanding the informational model "world picture version 3" in fifteen dimensional mivar database with multiple contexts and presentation of mivar network containing 160,000 objects (vertices of the graph), and more than 600,000 rules (edges) was developed. For testing approaches of semantic image recognition to the same mivar multidimensional database several thousand pictures were added. The usage examples of textual semantic information in recognizing image content for removal of context uncertainty are presented.
Keywords: mivar, mivar net's, productions, natural language, artificial intelligence, mivar technologies, intellectual systems, image recognition, text understanding.
Введение
В области искусственного интеллекта (ИИ) актуальными являются направления понимания текстов и распознавания образов. Предложено огромное количество различных способов и подходов, но задачи по-прежнему не решены [1-30]. Вместе с тем, миварный подход позволил создать программный комплекс КЭСМИ, который позволяет обрабатывать более 5 млн продукций в секунду. Следовательно, использование миварных технологий для понимания текста и распознавания образов является актуальным.
Основной особенностью нашей работы является то, что именно ми-варные базы данных и правил позволяют объединить в одном программном комплексе три направления ИИ: экспертные системы, понимание текстов и распознавание образов. Линейная вычислительная сложность логического вывода на миварных сетях позволяет в реальном времени работать с графами сверхбольшой размерности, находить подграфы и сравнивать их между собой для понимания русских текстов и/или распознавания изображений.
Миварный подход к пониманию языка и образов
Основной особенностью нашей работы является то, что именно миварные базы данных и правил позволяют объединить в одном программном комплексе три направления ИИ: экспертные системы, понимание текстов и распознавание образов. Линейная вычислительная сложность логического вывода на миварных сетях позволяет в реальном времени работать с графами сверхбольшой размерности, находить подграфы и сравнивать их между собой для понимания русских текстов и/или распознавания изображений. Миварный подход к пониманию русского языка обходится без предикатов и формальной грамматики [1-26]. Задача понимания образов и естественного языка базируется на больших базах правил реального использования русского языка и логике.
В общем случае продукционную модель «Если ...(условие), то ... (действие)» можно представить в следующем виде [1, 27]:
I = <S; L; A—>B; Q>, где: S- описание класса ситуаций; L - условие, при котором продукция активизируется; A—>B ядро продукции; Q - постусловие. Продукции -это наиболее проработанная и распространенная модель представления знаний. Логический вывод в продукционных системах основан на построении прямой и обратной цепочек заключений [28]. Миварные сети развивают продукции путем представления их в виде двудольных графов, что позволяет выполнять логический вывод с линейной вычислительной сложностью [1-26].
Результаты миварного понимания текстов и образов
В «НИИ МИВАР» для решения задач понимания текстов на русском языке на основе КЭСМИ в 15-мерной миварной базе данных и правил реализована миварная сеть: 160 000 объектов на 600 000 правил, к которой добавлены несколько тысяч изображений. Для обработки изображений реализован прототип на языке Python с использованием библиотеки OpenCV (рис. 1) [29].
В модуле сегментации происходит выделение масок объектов с использованием методов: Watershed, Grabcut, SWA, Graph Segmentation, SLIC. Далее запускается модуль классификации объектов, где происходит непосредственно распознавание категорий объектов (наделение объектов именами категорий). Для классификации объектов используется концепция Bag of Words. Альтернативой классификации объектов через связку модулей сегментатор-классификатор является применение модуля детектирования.
Рис. 1. Модульная схема миварной системы распознавания образов
В модуле определения признаков происходит определение цвета, текстуры, формы и пространственных отношений (например, "стул находится слева от стола") между объектами. Реализовано определение пола и эмоций (возможные значения: "позитивный", "нейтральный", "негативный") для "лица человека". После определения объектов, их свойств и связей между объектами в следующем модуле строится граф вещь-свойство-отношение (ВСО), где вещь - это категория объекта; свойства - цвет, текстура, форма (для объекта "лицо человека" свой-
ствами также являются пол и эмоции); отношения - пространственные отношения. Модуль снятия контекстной неопределенности позволяет уточнять полученные теги путем сравнения графа ВСО с миварной базой знаний. Ложная информация из разбора удаляется в модуле верификации ВСО, который через модуль обращения к миварной базе знаний получает «обученные графы» объектов, которые сопоставляет с полученными графами.
Для решения задач понимания текста создана подсистема «Обучение» (рис. 2), важную роль в которой играет интерфейс обучения виртуальных личностей [30]. Обучение виртуальной личности заключается в формировании в миварной базе данных и правил персонализированной сети концептов.
Рис. 2. Структура подсистемы «Обучение» на миварных сетях
Заключение
Рассмотрены проблемы смыслового понимания текста и образов на основе развития продукций в виде миварных двудольных графов. Для понимания текстов на русском языке использована новая экспертная система КЭСМИ. Для решения задач распознавания образов методом ав-
тематического тегирования изображений к ней же добавлены несколько тысяч картинок. Линейная сложность логического вывода на миварных сетях позволяет в реальном времени работать с графами сверхбольшой размерности, находить подграфы в графе для понимания текстов и распознавания изображений.
Список литературы
1. Варламов О.О. Эволюционные базы данных и знаний для адаптивного синтеза интеллектуальных систем. Миварное информационное пространство. М.: Радио и связь, 2002. 288 С.
2. Варламов О.О., Сергушин Г.С., Елисеев Д.В., Адамова Л.Е., Майборода Ю.И., Антонов П.Д., Чибирова М.О. О миварном подходе к моделированию процессов понимания компьютерами смысла текстов, речи и образов // Автоматизация и управление в технических системах. 2013. № 2(4); - URL: auts.esrae.ru/4-80 (дата обращения: 15.03.2015).
3. Varlamov O.O., Adamova L.E.E., Eliseev D.V., Mayboroda Yu.I., Antonov P.D., Sergushin G.S., Chibirova M.O. Mivar Thechnologies in Mathematical Modeling of Natural Language, Images and Human Speech Undemanding // International Journal of Advanced Studies. 2013. Т. 3. №3. С. 17-23.
4. Варламов О.О., Адамова Л.Е., Елисеев Д.В., Майборода Ю.И., Антонов П.Д., Сергушин Г.С., Чибирова М.О. Комплексное моделирование процессов понимания компьютерами смысла текстов, речи и образов на основе миварных технологий // Искусственный интеллект. 2013. № 4. С. 15-27.
5. Варламов О.О., Чибирова М.О., Сергушин Г.С. Практическая реализация универсального решателя задач «УДАВ» с линейной сложностью логического вывода на основе миварного подхода и «облачных» технологий // Приборы и систе
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.