УДК 681.518:622.276.1 /.4.001.57
© Коллектив авторов, 2006
Опыт создания высокопроизводительных вычислительных систем гидродинамического моделирования процессов нефтегазодобычи
В.А. Байков, О.С. Борщук, В.И. Савичев, М.Л. Хаит (ООО «ЮНГ-НТЦ Уфа»)
Полномасштабное численное моделирование углеводородных резервуаров проходит в настоящее время через фазу бурного развития. Она характеризуется появлением нового поколения гидродинамических решателей, обладающих недоступными ранее возможностями по объему, скорости и качеству обработки моделей. Безусловным дополнительным стимулом служит качественно новый уровень систем адаптации моделей на основе стохастических алгоритмов поиска оптимального набора параметров. Последний предусматривает параллельный расчет большого числа моделей с различным набором параметров, подлежащих уточнению.
Системы высокопроизводительных вычислений были представлены до недавнего времени в основном вычислительными кластерами. Архитектура таких систем представляет собой тесную интеграцию на программном и аппаратном уровнях существенно распределенных вычислительных ресурсов. Данные системы классифицируются как системы с распределенной памятью [1]. Важным событием последнего года стал массовый переход на производство так называемых многоядерных систем, которые классифицируются как системы с общей памятью [1, 2]. Как и в случае с кластерными вычислительными системами, аппаратный уровень систем с общей памятью должен получить соответствующую программную поддержку. Важность его трудно переоценить, так как это затрагивает самый массовый рынок персональных вычислительных систем.
В данной статье представлены некоторые результаты развития системы высокопроизводительных вычислений для моделирования углеводородных резервуаров в Уфимском научно-техническом центре НК «Роснефть».
Система кластерных вычислений
Стандартная офисная вычислительная среда состоит из рабочих станций с ОС Windows и систем кластерных вычислений, традиционно оснащенных ОС типа Unix. Для решения проблемы взаимодействия высокопроизводительной кластерной системы с потоком клиентских задач «модельеров» в интегрированной среде пре-постпроцессинга «Магма»
Experience of creation of high-efficiency computing systems of hydrodynamic modeling of oil-and-gas production processes
V.A. Bajkov, O.S. Borshchuk, V.I. Savichev, M.L. Khait (YuNG-NTTs Ufa OOO)
Some results of perfection of system of high-efficiency computations for hydrocarbon tanks modeling in Ufa scientific and technical center Rosneft NK are presented. Cluster calculations system is considered. Methods of the solving of systems of linear algebraic equations are analyzed.
был создан модуль связи с кластером (рис. 1). Данный модуль служит клиентской частью (кластер-клиент), которая поддерживается со стороны кластера серверным модулем (кластер-сервер). Система решает задачи распределения загрузки кластера клиентскими задачами «модельеров». Типичный график загрузки кластера представлен на рис. 2.
Кроме распределения клиентских задач на вычислительных ресурсах кластера, система «Магма» выполняет другую важную
Рис. 1. Интегрированная система «Магма» для пре-постпроцессинга, адаптации и пакетных кластерных вычислений гидродинамических моделей резервуара
Рис. 2. Статистика загрузки кластера в конфигурации S нодов:32 ядра
Рис. 3. Кластерная среда адаптации моделей
функцию: служит оболочкой адаптации параметров гидродинамической модели в соответствии с историей добычи. Процесс адаптации основывается на стохастических методах поиска оптимальных параметров моделей. При этом рассчитывается целое семейство моделей, соответствующих различным комбинациям параметров. Лучшие комбинации выбираются на основе критерия минимальной невязки с данными добычи. Поток перебора комбинаций параметров контролируется с помощью генетических алгоритмов при дополнительной поддержке статисти-ко-корреляционного анализа и моделирования на нейронных сетях. Общий поток представлен на рис. 3.
Аналогичные системы адаптации моделей MEPO, ENABLE и OptQuest представлены в настоящее время соответственно фирмами ScandpowerPT, Roxar и Landmark. Система «Магма» является собственной разработкой и как таковая изначально интегрирована в пакет гидродинамического моделирования ООО «ЮНГ-НТЦ Уфа». Система постоянно развивается в соответствии с актуальными задачами в области моделирования, разработки и мониторинга. При моделировании в системе «Магма» могут быть использованы наиболее распространенные в мире гидродинамические решатели: Eclipse, VIP и др. В компании также разработан свой собственный гидродинамический решатель UfaSolver, который в настоящее время полноценно функционирует в трехфазной, полностью неявной (fully implicit) схеме. Рассмотрим опыт совершенствования гидродинамического решателя UfaSolver для работы на многоядерных вычислительных системах с общей памятью.
Высокопроизводительный гидродинамический решатель для систем с общей памятью
Задача полномасштабного гидродинамического моделирования процессов нефтегазодобычи связана с ресурсоемкими вычислениями. Поэтому большинство существующих пакетов имеет параллельную версию для многопроцессорных систем, использующую интерфейс передачи сообщений MPI [3]. Вместе с тем по
заявлению компании Intel к 2007 г. более половины выпускаемых процессоров будут иметь два и более вычислительных ядра [2]. Следовательно, становится возможным применение технологии распараллеливания OpenMP [4], основными преимуществами которой являются:
- отсутствие дополнительных расходов на передачу данных между потоками исполнения (по сравнению с MPI);
- переносимость приложений между платформами от различных производителей;
- оформление команд OpenMP в виде комментариев, что позволяет вносить минимальный исправления в исходный код и не изменять кода последовательной программы.
Анализ методов решения систем линейных алгебраических уравнений
При моделировании залежей углеводородов наиболее трудоемким является решение разреженной системы линейных уравнений большой размерности (более 500 тыс. неизвестных), которое может занимать до 90 % общего времени.
Наиболее часто для решения линейной системы используется предобусловленный с помощью неполного LU-разложения метод обобщенной минимальной невязки GMRES [5]. При этом построение и решение неполного LU-разложения занимает более 50 % общего времени решения и является существенно последовательным. Для повышения эффективности распараллеливания был применен двухступенчатый предобусловливатель. На первой ступени полная система, включающая неизвестные по давлению и насыщенностям, приводится к системе на давление и решается с использованием многосеточных методов. На второй ступени полученное приближение уточняется с помощью неполного LU-разложения. Так как первый шаг предобусловливания (приведение к системе на давление и решение многосеточными методами) может быть эффективно распараллелен, а второй шаг (неполное LU-разложение) занимает менее 10 % общего времени решения, общая эффективность метода на 20-30 % выше, чем у стандартного LU-разложения. В результате реализации программы распараллеливания алгоритмов в среде OpenMP в августе 2006 г. появилась новая многоядерная версия гидродинамического решателя UfaSolver для систем с общей памятью. На рис. 4 показан сценарий запуска гидродинамического симулятора в многоядерной моде.
Численные эксперименты
При проведении численных экспериментов использовались следующие модели месторождений: двухфазная модель с 186 тыс. активных ячеек; трехфазная модель с 443 тыс. активных ячеек. При моделировании измерялось время выполнения с использованием одного или двух ядер, а также рассматривался коэффициент ускорения как отношение времени работы последовательной версии к параллельной. В качестве тестовой системы использовалась рабочая станция, основанная на двухъядер-ной системе с процессором AMD64 X2 4400+ и 2 Gb DDR оперативной памяти. Полученные результаты приведены в таблице.
Общий график ускорения расчетов для систем с различным числом ядер, полученный на всех доступных нам многоядерных
4
„
:
Время работы, с, версии Коэффициент
последовательной параллельной ускорения
1 847 545 1,55
2 4682 3119 1,5
НЕФТЯНОЕ ХОЗЯЙСТВО
10'2006
101
Рис. 4. Системный Монитор активности гидродинамического симулятора с многоядерной версией решателя ШаЭо^ег
эффективным применительно к системам на многоядерных процессорах. В настоящее время ведется работа по дальнейшему усовершенствованию алгоритмов распараллеливания.
Таким образом, опыт создания интегрированных высокопроизводительных вычислительных систем бесспорно имеет огромное значение. Кроме эффекта от внедрения данных систем, компания становится носителем технологий, которые способны обеспечить конкурентное преимущество на ключевых направлениях развития 1Т-технологий, например, кластерных систем адаптации гидродинамических моделей. Развитие программной поддержки многоядерных вычислительных систем надо признать также ключевым, поскольку наличие полноценной программной поддержки многоядерных систем с общей памятью станет в ближайшем будущем необходимым условием. С дальнейшим развитием аппаратного комплекса многоядерных систем часть задач, которые можно было решить только на вычислительных кластерах, возможно, будет перене-
Рис. 5. График ускорения расчетов для систем с различным числом ядер
системах, приведен на рис. 5. Как следует из рис. 5, для системы из четырех ядер график ускорения соответствует эффективному распараллеливанию примерно 70 % общего кода гидродинамического решателя согласно оценкам по закону Амдаля [1].
Проведенные эксперименты показывают, что использование технологии распараллеливания ОрепМР является достаточно
сена на персональные рабочие станции «модельеров»
Авторы выражают глубокую благодарность сотрудникам ООО «ЮНГ-НТЦ Уфа» Э.Х. Бадыкову, Е.И. Хатмуллиной, А.В. Безрукову за помощь, оказанную при написании статьи.
Список литературы
1. Воеводин В.В., Воеводин В.В. Параллельные вычисления. -СПб.: БХВ-Петербург, 2002. - 608 с.
2. Офици
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.