VYOS-VPP

2025-06-05T02:44:27Z

Dima:

<nowiki>#########################################################################################</nowiki>

=== test web server (для проверки работы vyos) ===
while true; do { echo -e 'HTTP/1.1 200 OK\r\nContent-Length: 13\r\n\r\nHello, World!'; } | nc -l 8081; done

=== надо будет еще ядро перенастраивать (но пока рано) ===
sudo grub-probe --device /dev/sda3

=== это мое ! ===
podman cp /home/vyos/vpp.conf vpp:/config/vpp.conf

конфигурирование podman

sudo nano /etc/containers/containers.conf

dns_bind_port=54

sudo chattr +i /etc/containers/containers.conf

<nowiki>#########################################################################################</nowiki>

=== порядок биндинья карт ===
1) серевые карты VPP долюжы быть переведены в down (ip l set state eth1 down)

2) вклчаем драйвер

sudo modprobe vfio-pci

3) потом делаем бинд

так можно но не получилось т.к. с iommq проблемы

sudo echo "0000:00:12.0" > /sys/bus/pci/drivers/virtio-pci/bind

делал так:

качал dpdk c github

cd /home/vyos/dpdk-24.11/usertools

python3 dpdk-devbind.py -b vfio-pci 0000:03:00.0 --noiommu-mode

перечень карт можно увидеть

lspci | grep Eth

<nowiki>#########################################################################################</nowiki>

=== запуск vpp (далее сделаем через podman-compose) тут порядок в куче ===
ip l set dev eth1 down

ip l set dev eth2 down

modprobe vfio-pci

python3 dpdk-devbind.py -b vfio-pci 0000:03:00.0 --noiommu-mode

python3 dpdk-devbind.py -b vfio-pci 0000:03:00.1 --noiommu-mode

=== создание ngfw пространства имен ===
ip netns add ngfw

podman rm vpp -f

=== создание host interface ===
ip netns exec ngfw bash

ip link add name http1out type veth peer name http1host

ip link set dev http1out up

ip link set dev http1host up

ip addr add 10.10.10.10/24 dev http1host

ip addr show http1host

podman run -d --name vpp --network host --privileged --restart always --ulimit core=0:0 --shm-size 4g --volume /var/run/netns:/var/run/netns --volume /var/vpp/netplan:/etc/vpp/netplan --volume /var/log:/var/log --volume /var:/config/shared --env-file /config/vpp/env docker-archive:/home/vyos/vpp-image.tar

=== vpp: ===
create host-interface name http1out

set interface state host-http1out up

podman cp /home/vyos/vpp.conf vpp:/config/vpp.conf

podman restart vpp

=== назначаем адрес для теста (data2 в бридже loop10) ===
podman exec -it vpp vppctl

set interface ip address loop10 10.1.100.125/24

show int addr

<nowiki>#########################################################################################</nowiki>

<nowiki>##########</nowiki> enode on podman -----------------------------

=== включение разрешений для podman ===
set nat source rule 100 source address '10.88.0.0/16'

set nat source rule 100 translation address 'masquerade'

commit

save

=== для traefik нуже сервис podman api ===
podman system service -t 0 unix:///run/user/1000/podman/podman.sock &

vyos|vyos

sudo podman exec -it vpp vppctl

show acl-plugin acl

2025-03-28T04:59:48Z

Dima: /* Установка компонентов системы МКИ */

= '''Система мониторинга качества измерений (МКИ)''' =

=== Схема тестового стенда ===
[[Файл:Стенд для МКИ (декабрь 2024).drawio.png|альт=Стенд для МКИ (декабрь 2024)|мини|978x978пкс|Стенд для МКИ (декабрь 2024)]]

=== Подключение и настойка оборудования ===
Подключение компонентов стенда производится в соответствии со схемой подключения. При этом для корректного выполнения дальнейших инструкций подключение устройств к физическим портам и сетевые настройки интерфейсов должны быть выполнены согласно табл. 1:

==== Таблица 1 - Параметры сетевых настроек устройств стенда ====
{| class="wikitable"
!Хост
!Порт
!Интерфейс
!IP
!Подключен к
устройство/порт
!Описание
|-
|MCM-SNIFFER
|Eth1
|enp5s0
|192.168.2.15/24
|L2 Switch
|Интерфейс управления для Sniffer
|-
|MCM-SNIFFER
|Eth2
|enp6s0
|<nowiki>-</nowiki>
|MCM-NODE1 / Eth2
|Участвует в L2 Bridge
|-
|MCM-SNIFFER
|Eth3
|enp7s0
| -
|MCM-NODE2 / Eth2
|Участвует в L2 Bridge
|-
|MCM-SNIFFER
|Eth4
|enp8s0
| -
|ZLAN / Eth
|Участвует в L2 Bridge
|-
|MCM-NODE1
|Eth1
|EXTERNAL
|192.168.2.156/24
|L2 Switch
|Интерфейс управления для Node1
|-
|MCM-NODE1
|Eth2
|INTERNAL
|10.0.0.1/24
|MCM-SNIFFER / Eth2
|Интерфейс обмена данными для Node1
|-
|MCM-NODE2
|Eth1
|EXTERNAL
|192.168.2.195/24
|L2 Switch
|Интерфейс управления для Node2
|-
|MCM-NODE2
|Eth2
|INTERNAL
|10.0.0.2/24
|MCM-SNIFFER / Eth3
|Интерфейс обмена данными для Node2
|-
|ZLAN
|Eth
| -
| -
|MCM-SNIFFER / Eth4
|Интерфейс обмена данными для ZLAN
|-
|ZLAN
|RS-485 #1
|ZLDEV0001
|10.0.0.241/24
|
|Подключение датчика с MODBUS-адресом 5
|-
|ZLAN
|RS-485 #2
|ZLDEV0002
|10.0.0.242/24
|
|Подключение датчика с MODBUS-адресом 6
|-
|ZLAN
|RS-485 #3
|ZLDEV0003
|10.0.0.243/24
|
|Подключение датчика с MODBUS-адресом 7
|}

=== Развертывание системы ===

==== Установка базовых систем ====
Установка ОС Windows на компьютерах '''MCM-NODE1''' и '''MCM-NODE2''' производится обычным образом, при этом соответствующим сетевым интерфейсам должны быть присвоены адреса согласно данным табл. 1, также для совместимости должны быть указаны следующие параметры настройки системы:
{| class="wikitable"
|+Таблица 2 - Параметры настройки узлов MCM-NODE1 и MCM-NODE2
!Параметр
!Значение
|-
|Имя компьютера
|MCM-NODE1/MCM-NODE2
|-
|Имя пользователя c правами локального администратора
|entcor
|-
|Пароль
|1
|}
Установка базовой системы Ubuntu Server 24.0x на компьютер '''MCM-SNIFFER''' производится обычным образом в режиме инсталляции по умолчанию, при этом при выборе параметров установки необходимо включить установку сервера OpenSSH, а также для совместимости следует указать следующие значения прочих параметров:
{| class="wikitable"
|+Таблица 3 - Параметры настройки узла MCM-SNIFFER
!Параметр
!Значение
|-
|Имя компьютера
|MCM-SNIFFER
|-
|Имя пользователя c правами root
|entcor
|-
|Пароль
|ng3-dcc20
|}
После установки системы необходимо установить обновления:<syntaxhighlight lang="sh">
sudo apt full-upgrade
</syntaxhighlight>
а также проверить доступ к серверу по SSH с компьютера администратора:<syntaxhighlight lang="sh">
ssh entcor@192.168.2.15 (текущий адрес сервера MCM-SNIFFER)
</syntaxhighlight>'''Примечание:''' для удобства работы с файлами настоятельно рекомендуется также первым делом вкатить Midnight Commander:<syntaxhighlight lang="sh">
sudo apt install mc
</syntaxhighlight>Также в дальнейшем целесообразно запускать Midnight Commander через '''sudo''':<syntaxhighlight lang="sh">
sudo mc
</syntaxhighlight>Это позволит, во-первых, невозбранно редактировать все необходимые файлы и, во-вторых, при скрытии окон Midnight Commander выполнять из-под него с командной строки команды в режиме root без необходимости париться с sudo для каждой отдельной команды.

==== Настройка сетевых интерфейсов ====
Для корректной работы сетевых интерфейсов и сохранения их параметров после перезагрузки сервера необходимо в каталоге '''/etc/netplan''' создать файл с расширением .yaml (например, '''01-network.yaml''') со следующим содержимым:<syntaxhighlight lang="yaml">
network:
version: 2
ethernets:
enp5s0:
dhcp4: false
addresses:
- 192.168.2.15/24
routes:
- to: default
via: 192.168.2.254
nameservers:
addresses: [192.168.2.60, 176.114.16.33]
enp6s0:
dhcp4: false
enp7s0:
dhcp4: false
enp8s0:
dhcp4: false
bridges:
docker0:
interfaces: [enp6s0, enp7s0, enp8s0]
</syntaxhighlight>'''Примечания:'''

# Для интерфейса '''enp5s0''' вместо 192.168.2.15/24 следует указать нужный статический адрес сервера, также при необходимости следует указать фактически используемые адреса шлюза и DNS (в '''via''' и '''nameservers''' соответственно).
# В файле конфигурации заранее определяется мост '''docker0''', который будет использоваться Docker'ом после его установки. Таким образом, интерфейсы '''enp6s0/enp7s0/enp8s0''' заранее подключаются к мосту '''docker0''', и, соответственно, в будущем будут доступны из Docker.
# Для удобства проще скопировать готовый файл '''01-network.yaml''' с компьютера администратора и положить его в '''/etc/netplan''' .
# Как показывает практика, существующий в '''/etc/netplan''' файл конфигурации по умолчанию '''50-cloud-init.yaml''' лучше переименовать во что-то типа '''50-cloud-init.yaml.bak,''' иначе у интерфейса '''enp5s0''' будет образовываться 2 адреса - статический из настроек в '''01-network.yaml''' и динамический, который будет дополнительно прилетать по DHCP и создавать путаницу. Вроде бы, должно лечиться установкой в файле '''50-cloud-init.yaml''' для интерфейса '''enp5s0''' параметра '''dchp4: false''', но по факту не помогает, поэтому лучше от греха подальше во избежание конфликтов держать в '''/etc/netplan''' только один файл '''01-network.yaml''' с настройками интерфейсов.
# Для применения настроек интерфейсов и сохранения настроек после перезагрузки сервера рекомендуется выполнение '''netplan try''' . Это позволит проверить конфигурацию перед применением и отловить возможные ошибки. Также рекомендуется в обязательном порядке выполнить контрольную перезагрузку сервера, чтобы убедиться, что настройки после нее восстанавливаются правильно.
# Для проверки работоспособности моста '''docker0''' перед настройкой интерфейсов следует запустить постоянный пинг (с параметром '''-t''') с '''MCM-NODE1''' (10.0.0.1) на '''MCM-NODE2''' (10.0.0.2) и наоборот и убедиться в том, что узлы недоступны друг для друга. После настройки конфигурации интерфейсов и выполнения '''netplan try''' следует проверить, что пинг с MCM-NODE1 (10.0.0.1) на MCM-NODE2 (10.0.0.2) в обе стороны проходит успешно, т.е. узлы общаются между собой напрямую через мост '''docker0'''.
==== Установка сертификата Entcor ====
С компьютера администратора следует скопировать файл сертификата '''entcor.crt''' на узел '''MCM-SNIFFER''' по следующему пути (необходимо использовать фактический IP-адрес сервера MCM-SNIFFER):<syntaxhighlight lang="sh">
scp entcor.crt entcor@192.168.2.23:/home/entcor
</syntaxhighlight>Затем на компьютере '''MCM-SNIFFER''' следует перенести сертификат в необходимый каталог и выполнить его обновление:<syntaxhighlight lang="sh">
sudo mv entcor.crt /usr/local/share/ca-certificates
sudo update-ca-certificates
</syntaxhighlight>'''Примечание:''' после обновления сертификатов необходимо выполнить перезагрузку компьютера '''MCM-SNIFFER'''.

==== Установка Docker ====
<syntaxhighlight lang="sh">
# Add Docker's official GPG key:

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Ссылка на руководство: https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository

==== Установка компонентов системы МКИ ====
Установка компонентов системы МКИ может осуществляться посредством получения последней версии инсталляционного пакета (предпочтительно), либо из репозитория Git (может применяться для целей отладки или быстрого накатывания патчей/фикса ошибок).

==== Вариант 1: Установка с помощью инсталляционного пакета ====
Получение последней версии инсталляционного пакета производится с FTP-сервера Jenkins. Для этого необходимо подключиться к нему с устройства МКИ по протоколу FTP, используя соответствующую пару логин-пароль, и выкачать оттуда файлы '''install.sh''' и '''latest.tar.gz'''.

Перед запуском инсталляционного скрипта install.sh необходимо установить для него права на выполнение посредством команды chmod:<syntaxhighlight lang="sh">
chmod +x install.sh
</syntaxhighlight>Также для корректной работы стека common необходимо предварительно авторизоваться под нужной учетной записью в docker-репозитории Harbor:<syntaxhighlight lang="sh">
docker login registry.entcor
</syntaxhighlight>Далее непосредственное развертывание контейнеров производится запуском на выполнение скрипта '''install.sh'''.

После завершения установки компонентов ПАК «еNODE.МКИ» следует выполнить переход в каталог '''/opt/e-node/deploy''', куда выполнялось развертывание компонентов системы инсталляционным скриптом '''install.sh'''.

Далее в том же каталоге следует создать/отредактировать файла '''.env''', в котором следует установить следующие параметры:

* MONITOR_DATA_IF = <имя интерфейса на узле '''MCM-SNIFFER''', на котором выполняется прослушка, например, enp7s
* MODE = enode

'''Примечание:''' вообще-то для работы МКИ параметр MODE должен иметь значение asutp, но работает пока только вот так.

После выполнения конфигурирования параметров системы непосредственный запуск компонентов ПАК «еNODE.МКИ» осуществляется из каталога /opt/e-node/deploy следующей командой:

enode <имя стека> start

==== Вариант 2: Установка непосредственно из репозитория Git ====

Получение последней версии инсталляционного пакета производится из Git-репозитория '''e-deploy''', находящегося по адресу '''<nowiki>http://192.168.2.61</nowiki>''', (нужно будет ввести соответствующие логин-пароль для доступа к репозиторию, а также выполнить переключение на ветку '''develop'''): <syntaxhighlight lang="sh">
git clone http://192.168.2.61/e-node/e-deploy.git
git switch develop

</syntaxhighlight>Далее следует авторизоваться под нужной учетной записью в Docker-репозитории Harbor:<syntaxhighlight lang="sh">
docker login registry.entcor
</syntaxhighlight>после чего нужно перейти в каталог '''e-deploy''' (в том каталоге, где выполнялся git clone) и выполнить следующую команду:<syntaxhighlight lang="sh">
./enode.sh init
</syntaxhighlight>Далее в том же каталоге следует создать/отредактировать файла '''.env''', в котором следует установить следующие параметры:

MONITOR_DATA_IF = <имя интерфейса на узле '''MCM-SNIFFER''', на котором выполняется прослушка, например, enp7s0>

MODE = enode

'''Примечание:''' вообще-то для работы МКИ параметр MODE должен иметь значение asutp, но работает пока только вот так.

Далее требуется выполнить загрузку и обновление контейнеров посредством запуска скрипта '''enode''' с параметром update:<syntaxhighlight lang="sh">
enode analytic update
enode common update
enode asutp update
</syntaxhighlight>

==== Запуск компонентов системы МКИ ====
После установки компонентов МКИ можно выполнить их запуск следующей командой: <syntaxhighlight lang="sh">
enode <имя стека> start
</syntaxhighlight>'''Примечание:''' названия нужных стеков можно посмотреть в каталоге '''stacks''' в '''e-deploy''' (имена стеков соответствуют именам подкаталогов). Как минимум должны быть запущены следующие стеки:<syntaxhighlight lang="sh">
enode analytic start
enode common start
enode asutp start

</syntaxhighlight>'''Примечание:''' стек '''analytic''' рекомендуется запускать перед стеком '''common''' из-за каких-то особенностей функционирования:

Проверка запуска сервисов производится обычным образом с помощью команды:<syntaxhighlight lang="sh">
docker ps
</syntaxhighlight>

==== Проверка информационного обмена по протоколу МЭК-60870-5-104 ====
Проверка информационного обмена по протоколу МЭК-60870-5-104 производится между узлами стенда '''MCM-NODE1''' и '''MCM-NODE2''' посредством программного обеспечения IEC Test, которое эмулирует передачу пакетов протокола МЭК-60870-5-104 поверх соединения Ethernet.

Для проверки работы протокола МЭК-60870-5-104 во внутренней сети обмена на одном из узлов ПО IEC Test запускается в режиме сервера с показанными ниже настройками:

TCP/IP Link Role - Server

IP Address - адрес внутреннего интерфейса для информационного обмена (в данном примере - 10.0.0.2)

Далее устанавливается канал обмена последовательным нажатием кнопок "Build String" и "Open Channel" (индикатор "1 channel" должен стать темно-зеленым).
[[Файл:IEC Test - 2.png|мини|794x794пкс|Настройки программы IEC Test для организации обмена между узлами стенда MCM-NODE1 и MCM-NODE2 по протоколу МЭК-60870-5-104 (серверная часть)|центр]]Соответственно, на другом узле ПО IEC Test запускается в режиме клиента с показанными ниже настройками:

TCP/IP Link Role - Client

IP Address - адрес сервера, находящегося во внутренней сети для информационного обмена (в данном примере - 10.0.0.2).

Далее устанавливается канал обмена последовательным нажатием кнопок "Build String" и "Open Channel" (индикатор "1 channel" должен стать темно-зеленым).

Для начала непосредственно информационного взаимодействия следует послать с клиента на сервер специальную команду посредством нажатия кнопки "Start DT" (индикатор "1 channel" должен стать светло-зеленым как показано на рисунке ниже). С этого момента канал обмена установлен и активирован, а между экземплярами ПО IEC Test могут передаваться пакеты протокола МЭК-60870-5-104.
[[Файл:IEC Test - 3.png|центр|мини|791x791пкс|Настройки программы IEC Test для организации обмена между узлами стенда MCM-NODE1 и MCM-NODE2 по протоколу МЭК-60870-5-104 (клиентская часть)]]Для создания трафика по протоколу МЭК-60870-5-104 между узлами '''MCM-NODE1''' и '''MCM-NODE2''' следует использовать специальный макрос, имитирующий последовательную передачу данных протокола МЭК-60870-5-104 между узлами. Для этого необходимо на любом из узлов в ПО IEC Test перейти во вкладку "870 Commander", нажатием кнопки "Загрузить" загрузить макрос "ДУ по циклу 5 сек.rtm" и выполнить его нажатием кнопки "Выполнить":
[[Файл:IEC Test - 4.png|альт=Выполнение макроса в ПО IEC Test для создания трафика по протоколу МЭК-60870-5-104|центр|мини|797x797пкс|Выполнение макроса в ПО IEC Test для создания трафика по протоколу МЭК-60870-5-104]]В случае правильно настроенных узлов стенда и экземпляров ПО IEC Test на принимающем узле во вкладке "870 Commander" в соответствующем окне можно будет увидеть информацию о принятых сообщениях, отправленных макросом с передающего узла, что свидетельствует о состоявшемся информационном обмене по протоколу МЭК-60870-5-104 между узлами.

'''Примечание:''' в случае, если система МКИ выполняет прослушивание на одном из интерфейсов, входящих во внутреннюю сеть информационного обмена, а также при правильном конфигурировании компонента Grafana, при подключении браузером по адресу сервера '''MCM-SNIFFER''' ('''<nowiki>http://192.168.2.142</nowiki>''') в соответствующих дашбордах должна появиться информация о перехваченных пакетах протокола МЭК-60870-5-104, создающих описанный выше трафик.

МКИ

2025-03-28T04:53:44Z

Dima: /* Установка компонентов системы МКИ */

= '''Система мониторинга качества измерений (МКИ)''' =

=== Схема тестового стенда ===
[[Файл:Стенд для МКИ (декабрь 2024).drawio.png|альт=Стенд для МКИ (декабрь 2024)|мини|978x978пкс|Стенд для МКИ (декабрь 2024)]]

=== Подключение и настойка оборудования ===
Подключение компонентов стенда производится в соответствии со схемой подключения. При этом для корректного выполнения дальнейших инструкций подключение устройств к физическим портам и сетевые настройки интерфейсов должны быть выполнены согласно табл. 1:

==== Таблица 1 - Параметры сетевых настроек устройств стенда ====
{| class="wikitable"
!Хост
!Порт
!Интерфейс
!IP
!Подключен к
устройство/порт
!Описание
|-
|MCM-SNIFFER
|Eth1
|enp5s0
|192.168.2.15/24
|L2 Switch
|Интерфейс управления для Sniffer
|-
|MCM-SNIFFER
|Eth2
|enp6s0
|<nowiki>-</nowiki>
|MCM-NODE1 / Eth2
|Участвует в L2 Bridge
|-
|MCM-SNIFFER
|Eth3
|enp7s0
| -
|MCM-NODE2 / Eth2
|Участвует в L2 Bridge
|-
|MCM-SNIFFER
|Eth4
|enp8s0
| -
|ZLAN / Eth
|Участвует в L2 Bridge
|-
|MCM-NODE1
|Eth1
|EXTERNAL
|192.168.2.156/24
|L2 Switch
|Интерфейс управления для Node1
|-
|MCM-NODE1
|Eth2
|INTERNAL
|10.0.0.1/24
|MCM-SNIFFER / Eth2
|Интерфейс обмена данными для Node1
|-
|MCM-NODE2
|Eth1
|EXTERNAL
|192.168.2.195/24
|L2 Switch
|Интерфейс управления для Node2
|-
|MCM-NODE2
|Eth2
|INTERNAL
|10.0.0.2/24
|MCM-SNIFFER / Eth3
|Интерфейс обмена данными для Node2
|-
|ZLAN
|Eth
| -
| -
|MCM-SNIFFER / Eth4
|Интерфейс обмена данными для ZLAN
|-
|ZLAN
|RS-485 #1
|ZLDEV0001
|10.0.0.241/24
|
|Подключение датчика с MODBUS-адресом 5
|-
|ZLAN
|RS-485 #2
|ZLDEV0002
|10.0.0.242/24
|
|Подключение датчика с MODBUS-адресом 6
|-
|ZLAN
|RS-485 #3
|ZLDEV0003
|10.0.0.243/24
|
|Подключение датчика с MODBUS-адресом 7
|}

=== Развертывание системы ===

==== Установка базовых систем ====
Установка ОС Windows на компьютерах '''MCM-NODE1''' и '''MCM-NODE2''' производится обычным образом, при этом соответствующим сетевым интерфейсам должны быть присвоены адреса согласно данным табл. 1, также для совместимости должны быть указаны следующие параметры настройки системы:
{| class="wikitable"
|+Таблица 2 - Параметры настройки узлов MCM-NODE1 и MCM-NODE2
!Параметр
!Значение
|-
|Имя компьютера
|MCM-NODE1/MCM-NODE2
|-
|Имя пользователя c правами локального администратора
|entcor
|-
|Пароль
|1
|}
Установка базовой системы Ubuntu Server 24.0x на компьютер '''MCM-SNIFFER''' производится обычным образом в режиме инсталляции по умолчанию, при этом при выборе параметров установки необходимо включить установку сервера OpenSSH, а также для совместимости следует указать следующие значения прочих параметров:
{| class="wikitable"
|+Таблица 3 - Параметры настройки узла MCM-SNIFFER
!Параметр
!Значение
|-
|Имя компьютера
|MCM-SNIFFER
|-
|Имя пользователя c правами root
|entcor
|-
|Пароль
|ng3-dcc20
|}
После установки системы необходимо установить обновления:<syntaxhighlight lang="sh">
sudo apt full-upgrade
</syntaxhighlight>
а также проверить доступ к серверу по SSH с компьютера администратора:<syntaxhighlight lang="sh">
ssh entcor@192.168.2.15 (текущий адрес сервера MCM-SNIFFER)
</syntaxhighlight>'''Примечание:''' для удобства работы с файлами настоятельно рекомендуется также первым делом вкатить Midnight Commander:<syntaxhighlight lang="sh">
sudo apt install mc
</syntaxhighlight>Также в дальнейшем целесообразно запускать Midnight Commander через '''sudo''':<syntaxhighlight lang="sh">
sudo mc
</syntaxhighlight>Это позволит, во-первых, невозбранно редактировать все необходимые файлы и, во-вторых, при скрытии окон Midnight Commander выполнять из-под него с командной строки команды в режиме root без необходимости париться с sudo для каждой отдельной команды.

==== Настройка сетевых интерфейсов ====
Для корректной работы сетевых интерфейсов и сохранения их параметров после перезагрузки сервера необходимо в каталоге '''/etc/netplan''' создать файл с расширением .yaml (например, '''01-network.yaml''') со следующим содержимым:<syntaxhighlight lang="yaml">
network:
version: 2
ethernets:
enp5s0:
dhcp4: false
addresses:
- 192.168.2.15/24
routes:
- to: default
via: 192.168.2.254
nameservers:
addresses: [192.168.2.60, 176.114.16.33]
enp6s0:
dhcp4: false
enp7s0:
dhcp4: false
enp8s0:
dhcp4: false
bridges:
docker0:
interfaces: [enp6s0, enp7s0, enp8s0]
</syntaxhighlight>'''Примечания:'''

# Для интерфейса '''enp5s0''' вместо 192.168.2.15/24 следует указать нужный статический адрес сервера, также при необходимости следует указать фактически используемые адреса шлюза и DNS (в '''via''' и '''nameservers''' соответственно).
# В файле конфигурации заранее определяется мост '''docker0''', который будет использоваться Docker'ом после его установки. Таким образом, интерфейсы '''enp6s0/enp7s0/enp8s0''' заранее подключаются к мосту '''docker0''', и, соответственно, в будущем будут доступны из Docker.
# Для удобства проще скопировать готовый файл '''01-network.yaml''' с компьютера администратора и положить его в '''/etc/netplan''' .
# Как показывает практика, существующий в '''/etc/netplan''' файл конфигурации по умолчанию '''50-cloud-init.yaml''' лучше переименовать во что-то типа '''50-cloud-init.yaml.bak,''' иначе у интерфейса '''enp5s0''' будет образовываться 2 адреса - статический из настроек в '''01-network.yaml''' и динамический, который будет дополнительно прилетать по DHCP и создавать путаницу. Вроде бы, должно лечиться установкой в файле '''50-cloud-init.yaml''' для интерфейса '''enp5s0''' параметра '''dchp4: false''', но по факту не помогает, поэтому лучше от греха подальше во избежание конфликтов держать в '''/etc/netplan''' только один файл '''01-network.yaml''' с настройками интерфейсов.
# Для применения настроек интерфейсов и сохранения настроек после перезагрузки сервера рекомендуется выполнение '''netplan try''' . Это позволит проверить конфигурацию перед применением и отловить возможные ошибки. Также рекомендуется в обязательном порядке выполнить контрольную перезагрузку сервера, чтобы убедиться, что настройки после нее восстанавливаются правильно.
# Для проверки работоспособности моста '''docker0''' перед настройкой интерфейсов следует запустить постоянный пинг (с параметром '''-t''') с '''MCM-NODE1''' (10.0.0.1) на '''MCM-NODE2''' (10.0.0.2) и наоборот и убедиться в том, что узлы недоступны друг для друга. После настройки конфигурации интерфейсов и выполнения '''netplan try''' следует проверить, что пинг с MCM-NODE1 (10.0.0.1) на MCM-NODE2 (10.0.0.2) в обе стороны проходит успешно, т.е. узлы общаются между собой напрямую через мост '''docker0'''.
==== Установка сертификата Entcor ====
С компьютера администратора следует скопировать файл сертификата '''entcor.crt''' на узел '''MCM-SNIFFER''' по следующему пути (необходимо использовать фактический IP-адрес сервера MCM-SNIFFER):<syntaxhighlight lang="sh">
scp entcor.crt entcor@192.168.2.23:/home/entcor
</syntaxhighlight>Затем на компьютере '''MCM-SNIFFER''' следует перенести сертификат в необходимый каталог и выполнить его обновление:<syntaxhighlight lang="sh">
sudo mv entcor.crt /usr/local/share/ca-certificates
sudo update-ca-certificates
</syntaxhighlight>'''Примечание:''' после обновления сертификатов необходимо выполнить перезагрузку компьютера '''MCM-SNIFFER'''.

==== Установка Docker ====
<syntaxhighlight lang="sh">
# Add Docker's official GPG key:

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Ссылка на руководство: https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository

==== Установка компонентов системы МКИ ====
Установка компонентов системы МКИ может осуществляться посредством получения последней версии инсталляционного пакета (предпочтительно), либо из репозитория Git (может применяться для целей отладки или быстрого накатывания патчей/фикса ошибок).

==== Сценарий 1: Установка непосредственно из репозитория Git ====
Получение последней версии инсталляционного пакета производится с FTP-сервера Jenkins. Для этого необходимо подключиться к нему с устройства МКИ по протоколу FTP, используя соответствующую пару логин-пароль, и выкачать оттуда файлы install.sh и latest.tar.gz.

Перед запуском инсталляционного скрипта install.sh необходимо установить для него права на выполнение посредством команды chmod:

chmod +x install.sh

Также для корректной работы стека common необходимо предварительно авторизоваться под нужной учетной записью в docker-репозитории Harbor:

docker login registry.entcor

Далее непосредственное развертывание контейнеров производится запуском на выполнение скрипта install.sh.

После завершения установки компонентов ПАК «еNODE.МКИ» следует выполнить переход в каталог /opt/e-node/deploy, куда выполнялось развертывание компонентов системы инсталляционным скриптом install.sh.

Находясь в указанном каталоге, необходимо выполнить конфигурирование ПАК «еNODE.МКИ» посредством редактирования файла .env, которое может быть выполнено с помощью любого текстового редактора (vim, nano, mc и т.п.) на усмотрение администратора ПАК «еNODE.МКИ», например, следующим образом:

sudo nano .env

В файле конфигурации .env необходимо указать следующие параметры, влияющие на функционирование ПАК «еNODE.МКИ»:

§ MONITOR_DATA_IF = <имя интерфейса на устройстве МКИ, на котором выполняется перехват трафика, например, eno1>

§ MODE = asutp

После выполнения конфигурирования параметров системы непосредственный запуск компонентов ПАК «еNODE.МКИ» осуществляется из каталога /opt/e-node/deploy следующей командой:

enode <имя стека> start

==== Сценарий 2: Установка непосредственно из репозитория Git ====

Получение последней версии инсталляционного пакета производится из Git-репозитория '''e-deploy''', находящегося по адресу '''<nowiki>http://192.168.2.61</nowiki>''', (нужно будет ввести соответствующие логин-пароль для доступа к репозиторию, а также выполнить переключение на ветку '''develop'''): <syntaxhighlight lang="sh">
git clone http://192.168.2.61/e-node/e-deploy.git
git switch develop

</syntaxhighlight>Далее следует авторизоваться под нужной учетной записью в Docker-репозитории Harbor:<syntaxhighlight lang="sh">
docker login registry.entcor
</syntaxhighlight>после чего нужно перейти в каталог '''e-deploy''' (в том каталоге, где выполнялся git clone) и выполнить следующую команду:<syntaxhighlight lang="sh">
./enode.sh init
</syntaxhighlight>Далее в том же каталоге следует создать/отредактировать файла '''.env''', в котором следует установить следующие параметры:

MONITOR_DATA_IF = <имя интерфейса на узле '''MCM-SNIFFER''', на котором выполняется прослушка, например, enp7s0>

MODE = enode

'''Примечание:''' вообще-то для работы МКИ параметр MODE должен иметь значение asutp, но работает пока только вот так.

Далее требуется выполнить загрузку и обновление контейнеров посредством запуска скрипта '''enode''' с параметром update:<syntaxhighlight lang="sh">
enode analytic update
enode common update
enode asutp update
</syntaxhighlight>

==== Запуск компонентов системы МКИ ====
После установки компонентов МКИ можно выполнить их запуск следующей командой: <syntaxhighlight lang="sh">
enode <имя стека> start
</syntaxhighlight>'''Примечание:''' названия нужных стеков можно посмотреть в каталоге '''stacks''' в '''e-deploy''' (имена стеков соответствуют именам подкаталогов). Как минимум должны быть запущены следующие стеки:<syntaxhighlight lang="sh">
enode analytic start
enode common start
enode asutp start

</syntaxhighlight>'''Примечание:''' стек '''analytic''' рекомендуется запускать перед стеком '''common''' из-за каких-то особенностей функционирования:

Проверка запуска сервисов производится обычным образом с помощью команды:<syntaxhighlight lang="sh">
docker ps
</syntaxhighlight>

==== Проверка информационного обмена по протоколу МЭК-60870-5-104 ====
Проверка информационного обмена по протоколу МЭК-60870-5-104 производится между узлами стенда '''MCM-NODE1''' и '''MCM-NODE2''' посредством программного обеспечения IEC Test, которое эмулирует передачу пакетов протокола МЭК-60870-5-104 поверх соединения Ethernet.

Для проверки работы протокола МЭК-60870-5-104 во внутренней сети обмена на одном из узлов ПО IEC Test запускается в режиме сервера с показанными ниже настройками:

TCP/IP Link Role - Server

IP Address - адрес внутреннего интерфейса для информационного обмена (в данном примере - 10.0.0.2)

Далее устанавливается канал обмена последовательным нажатием кнопок "Build String" и "Open Channel" (индикатор "1 channel" должен стать темно-зеленым).
[[Файл:IEC Test - 2.png|мини|794x794пкс|Настройки программы IEC Test для организации обмена между узлами стенда MCM-NODE1 и MCM-NODE2 по протоколу МЭК-60870-5-104 (серверная часть)|центр]]Соответственно, на другом узле ПО IEC Test запускается в режиме клиента с показанными ниже настройками:

TCP/IP Link Role - Client

IP Address - адрес сервера, находящегося во внутренней сети для информационного обмена (в данном примере - 10.0.0.2).

Далее устанавливается канал обмена последовательным нажатием кнопок "Build String" и "Open Channel" (индикатор "1 channel" должен стать темно-зеленым).

Для начала непосредственно информационного взаимодействия следует послать с клиента на сервер специальную команду посредством нажатия кнопки "Start DT" (индикатор "1 channel" должен стать светло-зеленым как показано на рисунке ниже). С этого момента канал обмена установлен и активирован, а между экземплярами ПО IEC Test могут передаваться пакеты протокола МЭК-60870-5-104.
[[Файл:IEC Test - 3.png|центр|мини|791x791пкс|Настройки программы IEC Test для организации обмена между узлами стенда MCM-NODE1 и MCM-NODE2 по протоколу МЭК-60870-5-104 (клиентская часть)]]Для создания трафика по протоколу МЭК-60870-5-104 между узлами '''MCM-NODE1''' и '''MCM-NODE2''' следует использовать специальный макрос, имитирующий последовательную передачу данных протокола МЭК-60870-5-104 между узлами. Для этого необходимо на любом из узлов в ПО IEC Test перейти во вкладку "870 Commander", нажатием кнопки "Загрузить" загрузить макрос "ДУ по циклу 5 сек.rtm" и выполнить его нажатием кнопки "Выполнить":
[[Файл:IEC Test - 4.png|альт=Выполнение макроса в ПО IEC Test для создания трафика по протоколу МЭК-60870-5-104|центр|мини|797x797пкс|Выполнение макроса в ПО IEC Test для создания трафика по протоколу МЭК-60870-5-104]]В случае правильно настроенных узлов стенда и экземпляров ПО IEC Test на принимающем узле во вкладке "870 Commander" в соответствующем окне можно будет увидеть информацию о принятых сообщениях, отправленных макросом с передающего узла, что свидетельствует о состоявшемся информационном обмене по протоколу МЭК-60870-5-104 между узлами.

'''Примечание:''' в случае, если система МКИ выполняет прослушивание на одном из интерфейсов, входящих во внутреннюю сеть информационного обмена, а также при правильном конфигурировании компонента Grafana, при подключении браузером по адресу сервера '''MCM-SNIFFER''' ('''<nowiki>http://192.168.2.142</nowiki>''') в соответствующих дашбордах должна появиться информация о перехваченных пакетах протокола МЭК-60870-5-104, создающих описанный выше трафик.

2025-02-10T06:40:33Z

Dima: /* Установка компонентов системы МКИ */

МКИ

2025-02-10T06:13:52Z

Dima: /* Установка компонентов системы МКИ */

МКИ

2025-02-10T05:56:34Z

Dima: /* Подключение интерфейсов к L2 Bridge для Docker */

МКИ

2025-02-10T05:56:19Z

Dima: /* Подключение интерфейсов к L2 Bridge для Docker */