ПРИБОРЫ И ТЕХНИКА ЭКСПЕРИМЕНТА, 2014, № 6, с. 28-31
ПРИМЕНЕНИЕ ВЫЧИСЛИТЕЛЬНОМ ТЕХНИКИ В ЭКСПЕРИМЕНТЕ
УДК 539.1.07
СТРУКТУРА И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ УЗЛА СЕТЕВОМ СИСТЕМЫ СБОРА ДАННЫХ ЭКСПЕРИМЕНТА СПАСЧАРМ
© 2014 г. С. В. Рыжиков, В. С. Петров, П. А. Семенов, В. И. Якимчук
ГНЦ РФ "Институт физики высоких энергий" Россия, 142281, Протвино Московской обл, пл. Науки, 1 E-mail: sergey.ryzhikov@ihep.ru Поступила в редакцию 08.10.2013 г. После доработки 25.03.2014 г.
Для новой регистрирующей электроники стандарта "ЕвроМИСС" эксперимента СПАСЧАРМ (ИФВЭ) был разработан контроллер каркаса, управляемый встраиваемой ARM-системой. Первая версия имеет 250 Мбайт буферной памяти и способна передавать данные в сеть со скоростью до 70 Мбит/с. Встраивание компьютера в каждый каркас с электроникой позволило создать распределенные системы сбора данных и медленного контроля установки. В статье изложены принципы взаимодействия контроллера каркаса, регистрирующей электроники и сетевой системы сбора данных.
DOI: 10.7868/S0032816214060123
ВВЕДЕНИЕ
Для нового эксперимента СПАСЧАРМ [1] на протонном ускорителе У-70 [2] (ИФВЭ, Протвино) создается современная регистрирующая электроника: модули времяцифровых и аналого-цифровых преобразователей, регистров и счетчиков — в сумме на 12 500 каналов, а также современные системы сбора данных и медленного контроля. Экспериментальная установка представляет собой спектрометр для регистрации летящих вперед быстрых заряженных частиц, нейтронов,
К1 -мезонов и фотонов.
В качестве стандарта для электроники эксперимента был выбран "ЕвроМИСС" [3] — модернизированный стандарт МИСС [4], который был разработан в ИФВЭ в середине 80-х годов. В отличие от МИСС, новая электроника выполнена на современной элементной базе и в конструктиве "Евромеханика".
Каждый каркас с электроникой управляется контроллером, который выполняет три задачи: принимает сигналы синхронизации, накапливает информацию в буферной памяти и отправляет ее в систему сбора данных установки.
Нами было опробовано добавление в каждый контроллер одноплатного компьютера. Усложнение контроллера позволило использовать для передачи накопленной информации полноценный стек сетевых протоколов, а сам контроллер из пассивного устройства стал активным клиентом распределенной системы сбора данных, что фактически сделало эту систему неограниченно масштабируемой.
Несколько экземпляров контроллера были изготовлены и испытаны на сеансе ускорителя У-70 весной 2013 года. В ходе испытаний был проведен пробный набор данных с двух модулей, при этом скорость считывания информации по шине превосходила скорость работы аналого-цифрового преобразователя (< 5 мкс).
РЕГИСТРИРУЮЩАЯ ЭЛЕКТРОНИКА ЭКСПЕРИМЕНТА СПАСЧАРМ
Система сбора данных установки построена на основе локальной компьютерной сети стандарта Gigabit Ethernet, что соответствует современной мировой практике построения аналогичных систем. По этой же сети передаются команды управления и данные системы мониторирования. Интеллектуальные контроллеры каркасов выступают в роли конечных узлов сети и отвечают за общую синхронизацию, конфигурирование отдельных регистрирующих модулей и сбор данных (рис. 1).
Цикл работы системы определяется циклом работы ускорителя У-70: до 3 с длится сброс пучка на мишень, затем следует интервал между сбросами ~7 с. В течение сброса электроника регистрирует события взаимодействия частиц пучка с мишенью, что сводится к считыванию данных измерений из модулей каркаса в память контроллера. В интервале между сбросами вся накопленная информация передается по сети в систему построения событий.
Электроника эксперимента создается в стандарте "ЕвроМИСС". В этот стандарт был добавлен последовательный (синхронный) режим чте-
Каркасы с электроникой
шйц
Мониторироварие установки
/Л»
Построение событий
L-3-коммутатор
Хранилище
Онлайн-обработка
Рис. 1. Узлы локальной сети установки СПАСЧАРМ.
ния информации (ПЧИ), что по сравнению с МИСС в 3 раза повысило скорость передачи от модуля регистрации к контроллеру. В этом режиме передача инициируется и управляется каждым модулем корзины по очереди, т.е. вместо диалога запрос—ответ каждый модуль передает всю накопленную значащую информацию.
Предел скорости считывания ограничен тактовой частотой шины и не может превышать 40 Мбит/с, что укладывается в требования эксперимента. Другой важной особенностью "Евро-МИСС" стал дополнительный канал для системы медленного контроля, организованный на стандарте промышленной сети CAN. Канал предназначен для конфигурирования модулей каркаса и контроля их работоспособности.
Контроллер представляет собой модуль в стандарте "ЕвроМИСС" (рис. 2), который устанавливается в каждый каркас и подключается к локальной сети через порт RJ-45. Контроллер содержит
встраиваемый компьютер1 на основе процессора семейства ARM с тактовой частотой 312 МГц. Компьютер выполнен в виде модуля SODIMM и вставляется в многоконтактный разъем на плате, что удешевляет изготовление контроллера. Несмотря на малый размер компьютер снабжен оперативной памятью типа SDRAM до 256 Мбайт и энергонезависимой памятью 64 Мбайт, а также контроллером Fast Ethernet.
Компьютер работает под управлением операционной системы Linux, которая давно стала стандартом де-факто для разработки подобных систем в задачах экспериментальной физики. Использование современной операционной системы с разделением времени позволяет компьютеру одновременно поддерживать протокол взаимо-
1 Используется сторонняя разработка фирмы Voipac: http:// voipac.com/
действия с системой сбора данных, принимать команды управления и синхронизации, собирать данные систем мониторирования и медленного контроля, конфигурировать другие модули каркаса, выполнять процедуры самотестирования и т.д.
Основные функциональные узлы контроллера реализованы на двух микросхемах программируемой логики — п.л.и.с. Первая отвечает за взаимодействие с шиной и реализацию протокола "ЕвроМИСС", вторая — за сопряжение первой со встроенным компьютером, обработку сигналов, считывание данных и формирование заголовков событий.
ЦИКЛ РАБОТЫ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ КОНТРОЛЛЕРА
Контроллер имеет два режима функционирования и переключается между ними автоматически при поступлении внешних сигналов. В момент начала сброса пучка на мишень контроллеру приходит сигнал BS (Begin Spill), который переводит его в режим ожидания триггера. При поступлении сигнала триггера (Trig), обозначающего появление интересующего события (взаимодействия), контроллер выставляет сигнал блокировки новых триггеров (Busy) и запускает операцию последовательного чтения (ПЧИ) на шине "ЕвроМИСС".
Когда по прошествии нескольких микросекунд данные всех модулей во всех каркасах считаны, а сигналы Busy сняты, электроника установки готова к приему нового сигнала триггера. По завершении сброса пучка на мишень (по сигналу End Spill) контроллер переводится в режим передачи в систему сбора данных: накопленная за сброс информация пересылается через локальную компьютерную сеть.
Обработка сигналов и считывание данных из
шины "ЕвроМИСС" должны выполняться в
30
РЫЖИКОВ и др.
Рис. 2. Внешний вид контроллера EM-5. 1 — входы сигналов синхронизации; 2 — разъем RJ-45 (Fast Ethernet); 3 — п.л.и.с.1; 4 — п.л.и.с. 2; 5 — одноплатный компьютер.
реальном времени, поэтому они реализованы ап-паратно в интерфейсной п.л.и.с. 2. Данные буферизуются в двухпортовой очереди FIFO на 1024 слова, откуда считываются встроенным компьютером контроллера. Если компьютер не будет успевать освобождать очередь, и она окажется близка к переполнению, п.л.и.с. 2 приостановит операцию чтения, что приведет к увеличению общего времени считывания данных, т.е. к пропуску большего числа триггеров и, как следствие, к уменьшению эффективности использования пучкового времени.
Для каждого триггера п.л.и.с. 2 формирует заголовок и завершающую последовательность, содержащие отметку времени по внутренним часам. Точность отметки времени составляет около 6 нс. Для отслеживания хода внутренних часов на все контроллеры с определенной периодичностью поступает сигнал синхронизации (Sync) от специального модуля. По приходу такого сигнала п.л.и.с. 2 вставляет в поток данных событие синхронизации, содержащее отметку времени. Впоследствии по этим отметкам программа построения событий, используя интерполяцию, корректирует временные отметки событий триггера.
Поток данных, поступивших из одного каркаса после сброса пучка, представляют собой такую последовательность событий:
{BS){E-1 E-2... E-k){S){E-m... E-n){S). {ES),
где {BS) — начало сброса; {E-k) — данные и отметка времени k-го события триггера; {S) — отметка времени сигнала синхронизации; {ES) — окончание и общая длительность сброса.
Непрерывность считывания данных во время сброса пучка крайне важна: задержка, возникшая в любом из модулей с электроникой, увеличит "мертвое время" всей системы сбора данных. Чтобы гарантировать непрерывность, считывание данных из FIFO п.л.и.с. 2 в оперативную память (RAM) производится контроллером прямого доступа к оперативной памяти (DMA) компьютера без участия процессора (CPU) (рис. 3).
В операционной системе Linux пользовательские процессы не могут напрямую управлять работой DMA-контроллера, поэтому было разработано специальное системное программное обеспечение — драйвер, реализованный как модуль ядра операционной системы. При загрузке драйвер выделяет часть оперативной памяти под буферизацию данных. Затем он резервирует канал DMA-контроллера, переключает его в режим запуска по сигналу чипа-компаньона (Companion
Рис. 3. Элементы контроллера EM-5, задействованные при передаче данных. 1 — потоки данных в режиме ожидания триггера, 2 — в режиме передачи информации.
Chip), в роли которого выступает п.л.и.с. 2, и записывает в соответствующий регистр контроллера начальный адрес цепочки дескрипторов, описывающих весь объем выделенной памяти. Когда поступает сигнал Начало сброса, драйвер запускает канал DMA, после чего передача данных в память инициируется уже п.л.и.с. 2 и не занимает ресурсы процессора. По приходу сигна
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.