МКИ

Система мониторинга качества измерений (МКИ)

Схема тестового стенда

Таблица 1 - Параметры настройки сетевых интерфейсов стенда

Хост	Интерфейс	IP	Описание	Примечание
MCM-NODE1	Eth1	192.168.2.156/24	Интерфейс управления для Node1
MCM-NODE1	Eth2	10.0.0.1/24	Интерфейс обмена данными для Node1
MCM-NODE2	Eth1	192.168.2.195/24	Интерфейс управления для Node2
MCM-NODE2	Eth2	10.0.0.2/24	Интерфейс обмена данными для Node2
MCM-SNIFFER	enp5s0	192.168.2.15/24	Интерфейс управления для Sniffer
MCM-SNIFFER	enp6s0	-	Участвует в L2 Bridge
MCM-SNIFFER	enp7s0	-	Участвует в L2 Bridge
MCM-SNIFFER	enp8s0	-	Участвует в L2 Bridge

Развертывание системы

Установка базовых систем

Установка ОС Windows на компьютерах MCM-NODE1 и MCM-NODE2 производится обычным образом, при этом соответствующим сетевым интерфейсам должны быть присвоены адреса согласно данным табл. 1, также для совместимости должны быть указаны следующие параметры настройки системы:

Таблица 2 - Параметры настройки узлов MCM-NODE1 и MCM-NODE2

Параметр	Значение
Имя компьютера	MCM-NODE1/MCM-NODE2
Имя пользователя c правами локального администратора	entcor
Пароль	1

Установка базовой системы Ubuntu 22.0x на компьютер MCM-SNIFFER производится обычным образом в режиме Minimal Installation, при этом для совместимости должны быть указаны следующие параметры:

Таблица 3 - Параметры настройки узла MCM-SNIFFER

Параметр	Значение
Имя компьютера	MCM-SNIFFER
Имя пользователя c правами root	entcor
Пароль	ng3-dcc20

После установки системы необходимо установить обновления, а также настроить доступ к серверу по SSH:

sudo apt install openssh-server

После этого управление узлом MCM-SNIFFER и все дальнейшие манипуляции можно будет осуществлять удаленно с компьютера администратора:

ssh -l entcor 192.168.2.142

Установка сертификата Entcor

С компьютера администратора следует скопировать файл сертификата entcor.crt на узел MCM-SNIFFER по следующему пути:

scp entcor.crt entcor@192.168.2.142:/home/entcor

Затем на компьютере MCM-SNIFFER следует перенести сертификат в необходимый каталог и выполнить его обновление:

sudo mv entcor.crt /usr/local/share/ca-certificates
sudo update-ca-certificates

Примечание: после обновления сертификатов необходимо выполнить перезагрузку компьютера MCM-SNIFFER.

Установка Docker

# Add Docker's official GPG key:

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Ссылка на руководство: https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository

Подключение интерфейсов к L2 Bridge для Docker

Предварительно следует запустить постоянный пинг (с параметром -t) с MCM-NODE1 (10.0.0.1) на MCM-NODE2 (10.0.0.2) и наоборот, убедиться в том, что узлы недоступны друг для друга.

Далее необходимо выполнить подключение внутренних интерфейсов обмена данными к мосту docker0:

sudo ip link set dev eth2 master docker0
sudo ip link set dev eth3 master docker0
sudo ip link set dev docker0 up
ip link show

Ссылка на руководство: https://chrisjhart.com/Bridge-Network-Interfaces-on-Ubuntu-22.04/

Также настройка моста может быть выполнена через графический интерфейс посредством утилиты Advanced Network Configuration, где следует добавить внутренние интерфейсы обмена данными к мосту docker0 (вместо eth2 и eth3 подставить актуальные имена интерфейсов, например, eno2s0) .

Примечание: данный способ является предпочтительным, так как автоматически обеспечивает сохранение настроек моста и их восстановление после перезагрузки.

После выполнения настройки интерфейсов следует проверить, что пинг с MCM-NODE1 (10.0.0.1) на MCM-NODE2 (10.0.0.2) в обе стороны проходит успешно, т.е. узлы общаются между собой напрямую через мост docker0.

Установка компонентов системы МКИ

Получение последней версии инсталляционного пакета производится с FTP-сервера Jenkins (192.168.2.49). Для этого необходимо подключиться к нему с узла MCM-SNIFFER по FTP, используя обычную пару логин-пароль и выкачать оттуда файлы install.sh и latest.tar.gz.

Развертывание контейнеров производится запуском скрипта install.sh.

Примечание: перед запуском необходимо установить для скрипта install.sh права на выполнение командой chmod:

chmod +x install.sh

Запуск компонентов системы МКИ

После установки компонентов МКИ можно выполнить их запуск посредством скрипта enode.sh, расположенного в каталоге /opt/e-node/deploy.

Примечание: для нормальной работы стека common необходимо предварительно авторизоваться под нужной учетной записью в docker-репозитории Harbor:

docker login registry.entcor

Конфигурирование выполняется посредством редактирования файла .env, в котором следует установить следующие параметры:

MONITOR_DATA_IF = <имя интерфейса на узле MCM-SNIFFER, на котором выполняется прослушка, например, eno1>

MODE = enode

Примечание: вообще-то для работы МКИ параметр MODE должен иметь значение asutp, но работает пока только вот так.

Непосредственно запуск компонентов системы МКИ осуществляется из каталога /opt/e-node/deploy следующей командой:

enode <имя стека> start

Примечание: названия нужных стеков можно посмотреть в каталоге stacks (имена стеков соответствуют именам подкаталогов). Как минимум должны быть запущены следующие стеки:

enode common start
enode asutp start
enode ha-server start
enode analytic start

Проверка запуска сервисов производится обычным образом с помощью команды:

docker ps

Проверка информационного обмена по протоколу МЭК-60870-5-104

Проверка информационного обмена по протоколу МЭК-60870-5-104 производится между узлами стенда MCM-NODE1 и MCM-NODE2 посредством программного обеспечения IEC Test, которое эмулирует передачу пакетов протокола МЭК-60870-5-104 поверх соединения Ethernet.

Для проверки работы протокола МЭК-60870-5-104 во внутренней сети обмена на одном из узлов ПО IEC Test запускается в режиме сервера с показанными ниже настройками:

TCP/IP Link Role - Server

IP Address - адрес внутреннего интерфейса для информационного обмена (в данном примере - 10.0.0.2)

Далее устанавливается канал обмена последовательным нажатием кнопок "Build String" и "Open Channel" (индикатор "1 channel" должен стать темно-зеленым).

Настройки программы IEC Test для организации обмена между узлами стенда MCM-NODE1 и MCM-NODE2 по протоколу МЭК-60870-5-104 (серверная часть)

Соответственно, на другом узле ПО IEC Test запускается в режиме клиента с показанными ниже настройками:

TCP/IP Link Role - Client

IP Address - адрес сервера, находящегося во внутренней сети для информационного обмена (в данном примере - 10.0.0.2).

Далее устанавливается канал обмена последовательным нажатием кнопок "Build String" и "Open Channel" (индикатор "1 channel" должен стать темно-зеленым).

Для начала непосредственно информационного взаимодействия следует послать с клиента на сервер специальную команду посредством нажатия кнопки "Start DT" (индикатор "1 channel" должен стать светло-зеленым как показано на рисунке ниже). С этого момента канал обмена установлен и активирован, а между экземплярами ПО IEC Test могут передаваться пакеты протокола МЭК-60870-5-104.

Настройки программы IEC Test для организации обмена между узлами стенда MCM-NODE1 и MCM-NODE2 по протоколу МЭК-60870-5-104 (клиентская часть)

Для создания трафика по протоколу МЭК-60870-5-104 между узлами MCM-NODE1 и MCM-NODE2 следует использовать специальный макрос, имитирующий последовательную передачу данных протокола МЭК-60870-5-104 между узлами. Для этого необходимо на любом из узлов в ПО IEC Test перейти во вкладку "870 Commander", нажатием кнопки "Загрузить" загрузить макрос "ДУ по циклу 5 сек.rtm" и выполнить его нажатием кнопки "Выполнить":

Выполнение макроса в ПО IEC Test для создания трафика по протоколу МЭК-60870-5-104

В случае правильно настроенных узлов стенда и экземпляров ПО IEC Test на принимающем узле во вкладке "870 Commander" в соответствующем окне можно будет увидеть информацию о принятых сообщениях, отправленных макросом с передающего узла, что свидетельствует о состоявшемся информационном обмене по протоколу МЭК-60870-5-104 между узлами.

Примечание: в случае, если система МКИ выполняет прослушивание на одном из интерфейсов, входящих во внутреннюю сеть информационного обмена, а также при правильном конфигурировании компонента Grafana, при подключении браузером по адресу сервера MCM-SNIFFER (http://192.168.2.142) в соответствующих дашбордах должна появиться информация о перехваченных пакетах протокола МЭК-60870-5-104, создающих описанный выше трафик.