VYOS-VPP - История изменений

Dima: /* 3. Настройка работы сетевых карт в режиме VFIO */

2025-06-17T01:49:02Z

3. Настройка работы сетевых карт в режиме VFIO

← Предыдущая версия		Версия от 01:49, 17 июня 2025
Строка 25:		Строка 25:
	После перезагрузки нужно убедиться, что режим IOMMU включен, для этого выполнить команду:<syntaxhighlight lang="sh">		После перезагрузки нужно убедиться, что режим IOMMU включен, для этого выполнить команду:<syntaxhighlight lang="sh">
	dmesg \| grep IOMMU		dmesg \| grep IOMMU
	</syntaxhighlight>Вывод должен быть примерно таким:		</syntaxhighlight>Вывод должен быть примерно таким:<blockquote>'''[ 0.046990] DMAR: IOMMU enabled'''

	'''[ 0.046990] DMAR: IOMMU enabled'''

	[ 0.109294] DMAR-IR: IOAPIC id 1 under DRHD base 0xfbffc000 IOMMU 1		[ 0.109294] DMAR-IR: IOAPIC id 1 under DRHD base 0xfbffc000 IOMMU 1
Строка 37:		Строка 35:
	[ 0.372779] DMAR: IOMMU feature dev_iotlb_support inconsistent		[ 0.372779] DMAR: IOMMU feature dev_iotlb_support inconsistent

	[ 0.386236] AMD-Vi: AMD IOMMUv2 functionality not available on this system - This is not a bug.		[ 0.386236] AMD-Vi: AMD IOMMUv2 functionality not available on this system - This is not a bug.</blockquote>

	=== 3. Настройка работы сетевых карт в режиме VFIO ===		=== 3. Настройка работы сетевых карт в режиме VFIO ===

Dima: /* = */

2025-06-17T01:48:14Z

Внесённые изменения

Dima в 01:41, 17 июня 2025

2025-06-17T01:41:01Z

← Предыдущая версия		Версия от 01:41, 17 июня 2025
Строка 135:		Строка 135:
	</syntaxhighlight>'''Примечания:'''		</syntaxhighlight>'''Примечания:'''

	# Необходимо убедиться, что все монтируемые каталоги, а также образ и файл env, указанные в команде лежат на своих местах.		# Необходимо убедиться, что все монтируемые каталоги, а также образ и файл env, указанные в команде, лежат на своих местах.
	# В случае ошибки запуска (может ругаться на то, что контейнер VPP уже существует) следует добавить в команду параметр '''--replace'''		# В случае ошибки запуска (может ругаться на то, что контейнер VPP уже существует) следует добавить в команду параметр '''--replace'''

Строка 143:		Строка 143:
	</syntaxhighlight>		</syntaxhighlight>

			Настраиваем контейнер:<syntaxhighlight lang="sh">
			sudo podman cp /home/vyos/vpp.conf vpp:/config/vpp.conf
			sudo podman restart vpp
			</syntaxhighlight>

			=== 5. Настройка интерфейсов внутри контейнера VPP: ===
			Заходим внутрь запущенного контейнера:<syntaxhighlight lang="sh">
			sudo podman exec -it vpp vppctl
			</syntaxhighlight>

	<nowiki>#########################################################################################</nowiki>		===
			<nowiki>#########################################################################################</nowiki> ===

	=== test web server (для проверки работы vyos) ===		=== test web server (для проверки работы vyos) ===

Dima в 01:37, 17 июня 2025

2025-06-17T01:37:22Z

@@ Строка 123: / Строка 123: @@
         Kernel modules: i40e</blockquote>
 <nowiki>#########################################################################################</nowiki>
@@ Строка 143: / Строка 163: @@
 sudo chattr +i /etc/containers/containers.conf
 ip netns add ngfw

Dima в 01:28, 17 июня 2025

2025-06-17T01:28:39Z

← Предыдущая версия		Версия от 01:28, 17 июня 2025
Строка 73:		Строка 73:
	lspci -k -v -s 0000:03:00.0		lspci -k -v -s 0000:03:00.0
	lspci -k -v -s 0000:03:00.1		lspci -k -v -s 0000:03:00.1
	</syntaxhighlight><blockquote>03:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)		</syntaxhighlight>Вывод должен быть примерно таким (обращаем внимание на текущий Kernel driver in use):<blockquote>03:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)

	Subsystem: Intel Corporation Ethernet Converged Network Adapter X710-2		Subsystem: Intel Corporation Ethernet Converged Network Adapter X710-2
Строка 89:		Строка 89:
	Capabilities: <access denied>		Capabilities: <access denied>

	Kernel driver in use: i40e		'''Kernel driver in use: i40e'''

	Kernel modules: i40e</blockquote><syntaxhighlight lang="sh">		Kernel modules: i40e</blockquote>Для обеих сетевух отвязываем их от текущего драйвера и привязываем к VFIO:<syntaxhighlight lang="sh">
	echo 0000:03:00.1 \| sudo tee /sys/bus/pci/devices/0000:03:00.1/driver/unbind		echo 0000:03:00.0 \| sudo tee /sys/bus/pci/devices/0000:03:00.0/driver/unbind

	# 2. Привязываем к vfio-pci		# 2. Привязываем к vfio-pci
	echo vfio-pci \| sudo tee /sys/bus/pci/devices/0000:03:00.1/driver_override		echo vfio-pci \| sudo tee /sys/bus/pci/devices/0000:03:00.0/driver_override
	echo 0000:03:00.1 \| sudo tee /sys/bus/pci/drivers/vfio-pci/bind		echo 0000:03:00.0 \| sudo tee /sys/bus/pci/drivers/vfio-pci/bind

	# 3. Проверяем		# 3. Проверяем
	lspci -k -s 03:00.1		lspci -k -s 03:00.0
	</syntaxhighlight>		</syntaxhighlight>

			Те же манипуляции делаем для 0000:03:00.1 (не забываем в путях к файлам настроек корректно прописать каталог устройства '''0000:03:00.1''').

			Убеждаемся, что для обеих сетевух теперь используется драйвер VFIO:<blockquote>03:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)

			Subsystem: Intel Corporation Ethernet Converged Network Adapter X710-2

			Physical Slot: 4

			Flags: fast devsel, IRQ 27, NUMA node 0, IOMMU group 28

			Memory at 383ffe800000 (64-bit, prefetchable) [size=8M]

			Memory at 383fff808000 (64-bit, prefetchable) [size=32K]

			Expansion ROM at fbd80000 [disabled] [size=512K]

			Capabilities: <access denied>

			'''Kernel driver in use: vfio-pci'''

			Kernel modules: i40e</blockquote>

	<nowiki>#########################################################################################</nowiki>		<nowiki>#########################################################################################</nowiki>

Dima в 01:19, 17 июня 2025

2025-06-17T01:19:53Z

@@ Строка 21: / Строка 21: @@
 '''Примечание:''' после перезагрузки файл '''/boot/grub/grub.cfg.d/vyos-versions''' перезаписывается, так что придется потом снова строку
-set boot_opts = ... перезаписывать, пока не придумается как ее там зафиксировать. В противном случае после следующей перезагрузки поддержка IOMMU опять слетит.
+"set boot_opts = ..." перезаписывать, пока не придумается как ее там зафиксировать. В противном случае после следующей перезагрузки поддержка IOMMU опять слетит.
 После перезагрузки нужно убедиться, что режим IOMMU включен, для этого выполнить команду:<syntaxhighlight lang="sh">
@@ Строка 41: / Строка 40: @@
 === 3. Настройка работы сетевых карт в режиме VFIO ===

Dima в 01:06, 17 июня 2025

2025-06-17T01:06:19Z

← Предыдущая версия		Версия от 01:06, 17 июня 2025
Строка 22:		Строка 22:

	set boot_opts = ... перезаписывать, пока не придумается как ее там зафиксировать. В противном случае после следующей перезагрузки поддержка IOMMU опять слетит.		set boot_opts = ... перезаписывать, пока не придумается как ее там зафиксировать. В противном случае после следующей перезагрузки поддержка IOMMU опять слетит.


			После перезагрузки нужно убедиться, что режим IOMMU включен, для этого выполнить команду:<syntaxhighlight lang="sh">
			dmesg \| grep IOMMU
			</syntaxhighlight>Вывод должен быть примерно таким:

			'''[ 0.046990] DMAR: IOMMU enabled'''

			[ 0.109294] DMAR-IR: IOAPIC id 1 under DRHD base 0xfbffc000 IOMMU 1

			[ 0.109297] DMAR-IR: IOAPIC id 2 under DRHD base 0xfbffc000 IOMMU 1

			[ 0.372778] DMAR: IOMMU feature sc_support inconsistent

			[ 0.372779] DMAR: IOMMU feature dev_iotlb_support inconsistent

			[ 0.386236] AMD-Vi: AMD IOMMUv2 functionality not available on this system - This is not a bug.

			=== 3. Настройка работы сетевых карт в режиме VFIO ===



	<nowiki>#########################################################################################</nowiki>		<nowiki>#########################################################################################</nowiki>

Dima в 01:00, 17 июня 2025

2025-06-17T01:00:55Z

← Предыдущая версия		Версия от 01:00, 17 июня 2025
Строка 1:		Строка 1:
			== Подготовка сервера с VYOS для работы с VPP ==

			=== 1. Настройки BIOS ===
			В BIOS включить настройку Intel VT-d (или как там она называется)

			'''Примечание:''' на всякий случай можно еще включить X2APIC = Enable (непонятно, влияет или нет - но лучше включить)

			=== 2. Настройки ядра VYOS ===
			В файле '''/boot/grub/grub.cfg.d/vyos-versions''' найти следующую строчку:

			set boot_opts="boot=live rootdelay=5 noautologin net.ifnames=0 biosdevname=0 vyos-union=/boot/VYOS-1.5-Rolling"

			и добавить в конец: " intel_iommu=on iommu=pt"

			т.е. полная строка должна быть:

			set boot_opts="boot=live rootdelay=5 noautologin net.ifnames=0 biosdevname=0 vyos-union=/boot/VYOS-1.5-Rolling intel_iommu=on iommu=pt"

			Далее выполнить перезагрузку.

			'''Примечание:''' после перезагрузки файл '''/boot/grub/grub.cfg.d/vyos-versions''' перезаписывается, так что придется потом снова строку

			set boot_opts = ... перезаписывать, пока не придумается как ее там зафиксировать. В противном случае после следующей перезагрузки поддержка IOMMU опять слетит.

	<nowiki>#########################################################################################</nowiki>		<nowiki>#########################################################################################</nowiki>

192.168.99.250 в 19:24, 5 июня 2025

2025-06-05T19:24:45Z

Внесённые изменения

Dima в 02:44, 5 июня 2025

2025-06-05T02:44:27Z

← Предыдущая версия		Версия от 02:44, 5 июня 2025
Строка 109:		Строка 109:
	=== для traefik нуже сервис podman api ===		=== для traefik нуже сервис podman api ===
	podman system service -t 0 unix:///run/user/1000/podman/podman.sock &		podman system service -t 0 unix:///run/user/1000/podman/podman.sock &


			vyos\|vyos

			sudo podman exec -it vpp vppctl

			show acl-plugin acl