Оглавление

УстановкаинастройкаProxmoxVE 2

Системныетребования 2

Установка 3

УстановкаготовогообразаISO 3

УстановканаDebian 6

Проверкаустановки 7

Начальнаянастройка 7

1. Загрузкаобразов 8

2. Созданиесети длявиртуальныхмашин 8

Bridge 9

NAT 11

Сетьмеждувиртуалками 12

Созданиевиртуальноймашины 13

Настройкавиртуальной машины 17

Полезныенастройки 17

Добавлениедискового накопителя 17

Добавлениесетевогоадаптера 18

Установкагостевогоагента 19

Удалениевиртуальной машины 20

ТюнингсервераPVE 21

Отключениепредупреждения оботсутствииподписки 21

Сертификаты 22

Созданиеновогопользователя 25

UbuntuиCentOS 25

Возможныеошибки 26

УСТАНОВКАИНАСТРОЙКАPROXMOXVE

ВданнойинструкциимыпошаговоразберемспособыустановкиProxmoxVE,базовуюнастройкуисозданиевиртуальноймашины. Proxmox основан на Debian — поэтому установку будем выполнятьнаданныйдистрибутивLinux.ВданнойинструкцииработаведетсянаProxmoxверсии6.

Системныетребования

Требованияразделенынаминимальныеирекомендованные:

	Минимальные	Рекомендованные
Процессор	64bitсподдержкойтехнологиивиртуализацииIntelVTилиAMD-V
Память	1 Гб	2Гбдлясистемы+длявиртуальныхмашин. Дополнительно,еслииспользуетсяхранилищеCephилиZFS,1Гбнанаждый ТБ данных.
Накопитель	HDD	SSDилиNVMe
Сеть	Сетевойадаптер	Минимум,2сетевыхадаптерана10Гбит/сек.

Поддержка виртуализации Intel VT или AMD-V может быть отключенанаматеринскойплате.ДляпроверкизаходимвБИОС-находимразделнастройки процессора (как правило, в пункте менюAdvanced) - проверяем,что технология виртуализации (Intel VT, AMD-V, Virtualization Technology,VMX)включена(Enabled).Еслимыхотимпротестироватьплатформуиустанавливаемеенавиртуальнуюмашину,товеенастройках включаемподдержкутехнологиивиртуализации.Например,вVMwareESX6внастройке виртуальной машины на вкладкеVirtual HardwareраскрываемCPUиставимгалочкуExposehardwareassistedvirtualizationtotheguestOS:

Установка

ЕстьдвавариантаустановкиProxmoxVE—использоватьготовыйобразили установканаDebian.Мы рассмотримоба.

УстановкаготовогообразаISO

1. ПереходимнастраницузагрузкиProxmoxофициальногосайта.Загружаемдистрибутив,например,ProxmoxVE6.1:

2. Если установка выполняется на виртуальную машину, монтируемобраз.Еслинет—создаемустановочнуюфлешку,например,спомощьюWinSetupFromUsbилизагрузочныйдискспомощьюInfraRecorder.

3. ЗагружаемсерверсустановочногоISO—мыувидимокноприветствияProxmox— выбираемпунктменюInstallProxmoxVE:

4. Принимаемлицензионноесоглашения,кликнувпоIagree.

5. Выбираемдиск,накоторыйбудетустановленасистема:

• принеобходимости,кликаемпоOptionsизадаемнастройкифайловойсистемыиразмерараздела.

6. Пишемстрану,временнуюзону,языкраскладкиклавиатурыпоумолчанию:

7. Вводим дважды пароль, который будет использоваться дляпользователяroot:

8. Прописываемсетевыенастройки:

• где:

• Management Interface: сетевой интерфейс для управлениясервером виртуальныхмашин.

• Hostname(FQDN):имяхостадлясервера.

• IPAddress:IP-адреснашегосервера.

• Netmask:маскаподсетидлясервера.

• Gateway:шлюзпоумолчанию.

• DNSServer:серверDNS.

9. Вокне«Summary»проверяемвведенныеданныеикликаемпоInstall.Начнетсяпроцесс установки,которыйзайметне более 10минут.

10. Послеустановкимыдолжныувидеть«InstallationSuccessful»—перезагружаемсервер,кликнувпокнопкеReboot.

Послепереходимкпроверкеустановки.

УстановканаDebian

ЕслимырешилиустановитьProxmoxнаужеустановленныйDebian,выполняемследующую инструкцию.

При установке среды виртуализации меняется ядро Linux. Это можетпривести к потери работоспособности уже установленных сервисов. Такимобразом, установку Proxmox следует выполнять на чистый сервер, а не тот,который ужеиспользуетсядлякаких-либо задач.

1. ИмясерверадолжноразрешатьсяпоегоIP-адресу.ДляэтоголибодобавляемА-записьвDNS,либонастраиваемнасерверефайлhosts:

nano/etc/hosts

...и добавляем:

192.168.1.55proxmox.dmosk.local proxmox

• где 192.168.1.55 —IP-адрес нашего сервера; proxmox —имя

сервера;dmosk.local—нашдомен,еслииспользуется.

2. Добавляем репозитории, которые будем устанавливать дляустановкиProxmoxPEи дополнительныхкомпонентов:

deb http://mirror.yandex.ru/debian/ buster	main	non-free	contrib
deb-src http://mirror.yandex.ru/debian/ buster main non-free debhttp://download.proxmox.com/debian/pvebusterpve-no-subscription			contrib

Чтобымымоглиработатьсрепозиториемproxmoxдобавляемвсистемуцифровуюподпись:

wgethttp://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg-O

/etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg

Обновляемсписокпакетов:

aptupdate

3. УстанавливаемProxmoxPEикомпоненты:

aptinstallproxmox-ve open-iscsi

• гдеproxmox-ve—собственно,самгипервизор;open-iscsi—iSCSI-клиентдляподключенияiSCSI-target-ов.

4. Перезагружаемсервер:

systemctlreboot

Проверкаустановки

В браузере открываем панель управления системой виртуализации поадресуhttps://<IP-адрессервера>:8006.Воткрывшемсяокневыбираемязык,вводимлогини парольотпользователяroot:

Должнооткрытьсяокноуправления.Начальнаянастройка

Чтобы начать использовать Proxmox исоздать первую виртуальнуюмашину,внесемнебольшиенастройкииподготовимгипервизоркработе.

1. Загрузкаобразов

КликаемпоДатацентр-идваждыпоstorage:

• мы можем создать отдельное хранилище для образов ISO. Для этогопереходимвразделДатацентр-Хранилище-Создать-Каталог.

ПереходимвразделСодержимоеикликаемпоЗагрузить:

ВоткрывшемсяокневыбираемISO-образсистемы,которыйбудемустанавливать в качестве гостевой и кликаем поЗагрузить. Ждем окончаниякопированияфайланасервер.

2. Созданиесетидлявиртуальныхмашин

Мырассмотримпримерысоздания2-хрежимовсети—BridgeиNAT.

НезависимоотспособаустановкиProxmox,необходимоподключитьсяк хоступо SSHиустановитьпакетifupdown2командой:

aptinstallifupdown2

• ifupdown2—утилитадляконфигурациисетевогоинтерфейса(посути,аналогifupdown,написанный на языкеPython).

...впротивномслучае,припопыткеприменитьсетевыенастройкимыполучим ошибкуyouneedifupdown2 toreloadnetworking (500).

Bridge

Сеть,работающая в данном режиме позволяетвиртуальной машиневидеть локальную сеть, как будто это отдельно стоящее устройство. Данныйрежимлучшевсегоподойдетдлясерверов,стоящихвлокальнойсетикомпании.

РаботатьсрежимомBridgeнужнооченьосторожно.Любоенеправильное действие и удаленный доступ к серверу будет потерян. Еслиработыведутсянаудаленномсервере,рекомендуетсясначалапотренироватьсянакакой-нибудьлокальной машине.

Также стоит отметить, что при установке PVE из установочного ISO-образа,одинBridgeужебудетсоздан.

Для создания бриджа в панели управления кликаем по нашему серверуProxmox - переходим в разделСистема-Сеть- обратите внимание, чтобы всистеменебылоbridge-интерфейсов:

...иначе,создаватьегонеобязательно.

Открываемнастройкисетевогоинтерфейса,черезкоторыйбудетработатьнашмостиудаляемшлюз:

• если мы не сделаем этого, то при настройке Bridge мы получимошибкуParameter verification failed. (400). gateway: Default gateway alreadyexistson interface'ens160'.

НажимаемСоздатьивыбираемLinuxBridge:

В открывшемся окне заполняем поляIPv4/CIDR,Шлюз (IPv4),Портысетевогомоста:

• в данном примере мы задаем IP-адрес, на котором будет работатьProxmox (чтобы ничего не перепутать, можно задать IP-адрес физическогоинтерфейса, который будет задействован под Bridge); маска указывается внотацииCIDRивнашемпримереэто24или255.255.255.0;вкачествефизическогоинтерфейса наш bridgeбудет использоватьens160.

...нажимаемСоздать.

КликаемпоApplyConfiguration,чтобы применитьсетевыенастройки:

Подтверждаемдействия.

NAT

Данный режим сети активно применяется в случае аренды сервера, гдеколичествоIP-адресовлимитировано.Вданномслучае,всевиртуальныемашиныбудутнаходистьсязаNAT,вкачествекотороговыступаетсамProxmox.

Саминтерфейсмыделаемизпанелиуправления.Ночтобывиртуальныемашины могли выходить в Интернет через сеть NAT, необходимо на самомхостевключитьредиректимаскарадинг.

Созданиеновогоbridge-интерфеса

Итак,кликаемпонашемусерверуProxmox-переходимвразделСистема-Сеть-нажимаемСоздатьивыбираемLinuxBridge:

Оставляем имяvmbr1или пишем любое другое, прописываем IP-адресс маской сети,вкоторой будутнаходитьсясерверы заNAT:

НажимаемСоздать.Применяемнастройки:

Сетьнастроена.

Настройкаядраибрандмауэра

ПодключаемсяксерверупоSSH.Открываемнаредактированиефайлнастройки ядра:

nano/etc/sysctl.d/99-sysctl.conf

...идобавляемразрешениенаредирект:

net.ipv4.ip_forward=1

Послеприменяемнастройки:

sysctl-p/etc/sysctl.d/99-sysctl.conf

Добавляемправиловбрандмауэр:

iptables-tnat-IPOSTROUTING-s'192.168.122.0/24'-ovmbr0-jMASQUERADE

• в данном примере мы создали правило для маскарадинга всех пакетовиз подсети192.168.122.0/24и для исходящего интерфейсаvmbr0. Обратитевнимание, что если у нас будет другая подсеть и исходящий интерфейс длясети Интернет,тонужно будетзадатьдругиезначения.

Ставимутилитудлясохраненияправилiptables:

...исохраняемправилавпроцессеустановкииликомандой:

netfilter-persistentsave

НашNATнастроен.

Сетьмеждувиртуалками

Даннаясеть—частныйслучайNATбезвыходавИнтернет.Мыдолжнысоздатьбриджсотдельнойподсетьюбезшлюза.Придобавлениивиртуальным машинам данного сетевого адаптера мы сможем настроить ихвзаимодействиеповнутренней сети.

Создаем бридж,какделалиэторанее:

Настраиваем новый интерфейс - задаем имя или оставляем тот, чтопредложитсистема,атакжеуказываемIP-адрес:

Создаеминтерфейс.Готово—присозданииилиредактированиивиртуалок, мы можем указывать с качестве интерфейса созданный бридж (вданномпримере,vmbr2)дляизоляцииихвотдельнуюподсеть192.168.150.0/24.

Созданиевиртуальноймашины

ВоткрывшемсяокнеснизусразуставимгалочкуРасширенный:

Задаем имя виртуальной машине и ставим галочку Запуск при загрузке(еслихотим,чтобывиртуалказапускаласьавтоматическиссерверомPVE):

• в данном примере мы задали имяFS. При желании, также можноизменитьVM ID, но он проставляется автоматически и имеет правильноезначение.

ВыбираемзагруженныйнамиISO-образ,скоторогобудемставитьоперационнуюсистему,задаемтипгостевойоперационнойсистемыиееверсию:

• вданномпримеремыбудемустанавливатьLinuxUbuntu.Средисписка операционных систем также доступны Microsoft Windows, Solaris иOther.

НавкладкеСистемаможнооставитьвсезначенияпоумолчанию:

• в некоторых случаях, необходимо выбрать другую видеокарту (приустановке систем с GUI),атакжеособыйвариантБИОС.

Задаемразмержесткогодиска:

• 16ГбдляUbuntuдостаточно,однако,длянашихзадачрасчетдолженбытьиндивидуальнымдлякаждойсоздаваемой виртуальноймашины.

Мыможемзадатьколичествопроцессоровиядер:

• вданномпримеремысоздаемвиртуалкус2процессорами,каждыйизкоторый с 2 ядрами, итого, 4. Для ненагруженных систем можно оставитьзначениепоумолчанию.

Выделяемпамять:

• нашаUbuntuбудетработатьс2Гбоперативнойпамяти.

Выбираемсозданныйнамибридж—либодляполученияпрямогоадресаизсети,либодляNAT:

• вданномпримере,мыуказалиvmbr0дляподключенияксетинапрямую.

Ставимгалочку,чтобывиртуальнаямашинасразузапустиласьпослесоздания:

...инажимаемГотово.Ждемокончанияпроцессаипереходимкконсоли:

Мы должны увидеть загрузку с ISO-образа.Настройка виртуальной машины

Послесозданиявиртуальноймашинынамможетпонадобитьсяее

изменить.Рассмотримпроцесснастройкинапримереизменениянекоторыхпараметром,атакжедобавлениядискаисетевогоадаптера.

Полезныенастройки

Дляначала,переходимквиртуальноймашине-Параметры:

Чащевсегомогутпонадобитьсяследующиенастройки:

• Имя—имявиртуальноймашины.

• Запускпризагрузке—длясерверовданныйпараметрдолженбытьактивирован.

• Порядокзагрузки—позволяетопределить,скакогоустройствадолжназапуститьсявиртуалкав первуюочередь.

Дляизмененияпараметра,простокликаемпонему дважды,меняемзначениеинажимаемOK.

Добавлениедисковогонакопителя

ПереходимвподразделОборудование-кликаемпоДобавитьивыбираемЖесткийдиск:

ВоткрывшемсяокнезадаемразмердискаинажимаемOK.

ДляувеличенияразмераимеющегосядискаустанавливаемнанегокурсовикликаемпоИзменитьразмер диска:

Воткрывшемсяокнезадаемобъем,накоторыйнужноувеличитьдисковоепространство.

Добавлениесетевогоадаптера

ПереходимвподразделОборудование-кликаемпоДобавитьивыбираемСетевоеустройство:

Как при создании ВМ, выбираем тип сетевого адаптера (бридж или нат)и нажимаемДобавить.

Установкагостевогоагента

Обязательнаяпроцедурадляповышенияпроизводительностиивозможностейработысвиртуальноймашиной.Настройкавыполняетсякакнагипервизоре,такивсамойвиртуальноймашине.Рассмотримпримерустановки агентанабазесистемы Linux.

В гипервизоре переходим вПараметры, находим пунктQEMU GuestAgentикликаемпонему:

СтавимгалочкуUseQEMUGuestAgentинажимаемOK:

Для применения настройки нужно выключить и включить виртуальнуюмашину.

Теперьподключаемся квиртуальноймашине иустанавливаемутилиту.

ВзависимостиоттипаLinuxкомандыбудутотличаться.а)DEB-based:

б)RPM-based:

yuminstallqemu-guest-agent Установказавершена.

Длязапускасервисавыполняем:

systemctlenableqemu-guest-agent--now

ВсводкевиртуальноймашинымытеперьможемувидетьинформациюобIP-адресе,котораяполученаприпомощигостевого агента.

Подробнее процесс описан настраницеhttps://pve.proxmox.com/wiki/Qemu-guest-agent.

Удалениевиртуальноймашины

Дляудалениявиртуальноймашины,сначалаееотключаем—этоможносделатьизоперационнойсистемыилиизпанелиуправления,нажавнастрелкувниз рядомсВыключить-Остановка:

ПослекликаемпоДополнительно-Удалить:

В открывшемся окне мы должны подтвердить свои намерения удалитьвиртуальнуюмашину,вписав ееидентификатор:

• еслимыпоставимгалочкуPurge,товиртуальнаямашинабудетудалена полностьювместесвиртуальным диском.

Кликаем поУдалить— готово.ТюнингсервераPVE

Внесемнесколькоизменений,которыесделаютработусProxmoxVE

удобнее.

Отключениепредупрежденияоботсутствииподписки

Каждыйразпризаходевпанельуправлениямыбудемвидетьтакоепредупреждение:

Оноговоритнамотом,чтомыиспользуембесплатнуюверсиюпрограммного продукта. Чтобы сообщение нас не беспокоило, выполним 2действия:

1. Отключимплатныйрепозиторийдляполученияпакетовproxmox.

2. Отредактируемфайлjsдляотключенияданногосообщения.

Итак, вSSHоткрываемнаредактированиерепозиторийproxmox:

nano/etc/apt/sources.list.d/pve-enterprise.list Приводимегоквиду:

• мызакомментировалирепозиторийpve-enterpriseидобавилиpve-no-subscription.

** при большом желании, можно удалить файл репозитория сименемpve-enterprise.listисоздатьновый—комукакбудет удобнее.

Добавляемgpg-ключдлярепозитория:

Послеобновимсписокпакетов:

aptupdate

Последнее—редактируемфайл/usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js(передэтимего сохраняем):

• даннойкомандоймынаходимgetNoSubKeyHtmlвфайле/usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.jsи меняемнаgetNoSubKeyHtml

ЗакрываемокнобраузерасProxmox,еслионобылооткрытоизапускаемегоснова.Входимвсистему—сообщение недолжнопоявиться.

Сертификаты

Сервер PVE устанавливается с самоподписанным сертификатом. Этоозначает,чтоприподключениикпанелиуправлениямыбудемвидетьпредупреждениеотсистемыбезопасности.Чтобыбраузерпринималсертификат,ондолженсоответствоватьследующимтребованиям:

• Быть выдан доверенным центром сертификации илизарегистрированнымввашейлокальнойсети,например,локальныйADCS.

• Бытьдлядоменногоимени,покоторомумызаходимвпанельуправления.

• Иметьактуальныедатыначаладействияиокончания.

При этом, мы не должны заходить в панель управления по IP-адресу —впротивномслучае,независимоотсертификата,мывсе-равно,получимпредупреждение.

Итак,самсертификатможнокупить,запроситьбесплатноуLet'sEncryptилисоздатьсиспользованиемлокальногоцентрасертификации,например,поданнойинструкции.Послеунасесть,какминимум,дваспособазагрузитьего.

а)Установкасертификатаспомощьюграфическогоинтерфейса

Получив сертификат, открываем панель управления PVE и переходим ксерверу-Система-Сертификаты-кликаемпоЗагрузитьпользовательскийсертификат:

Воткрывшемсяокнезаполняемполядлязакрытогоиоткрытогоключей:

...инажимаемЗагрузить.Системапредупредит,чтозагрузитсясновымсертификатом — необходимо закрыть вкладку в браузере и открыть консольуправленияснова.Еслисертификат загруженправильный,мынеувидимпредупреждения.

б)Установкасертификатаизкоманднойстроки

ПослеразвертыванияProxmoxсоздается2файлавкаталоге/etc/pve/nodes/<имяноды>(например,/etc/pve/nodes/pve/)сименамиpve-ssl.keyиpve-ssl.pem.Ихнужно заменить.

Сначаласоздадимихкопию:

mkdir-p/backup/proxmox/ssl

cp/etc/pve/nodes/pve/pve-ssl.*/backup/proxmox/ssl/

Предположим, что мы получили сертификаты с помощью Let's Encryptи они находятся по пути/etc/letsencrypt/live/pve.dmosk.ru. Тогда копируемнужны ключи:

cp/etc/letsencrypt/live/pve.dmosk.ru/fullchain.pem/etc/pve/nodes/pve/pve-ssl.pem

cp /etc/letsencrypt/live/pve.dmosk.ru/privkey.pem /etc/pve/nodes/pve/pve-ssl.key

Перезапускаемсервисы:

systemctlrestartpvestatdpvedaemonpve-clustercorosync

Созданиеновогопользователя

ПриустановкеPVEсоздаетсяпользовательroot.Рассмотримпроцессдобавленияещеодного черезкоманднуюстроку.

ПодключаемсяпоSSHилиоткрываемконсольизпанелиуправления.

Создаемпользователявсистеме:

useradduser

• гдеuser—имясоздаваемогопользователя.

ПослесоздаемновогопользователявProxmox:

pveumuseradduser@pam

• вданномпримеремысоздалипользователяuserвобластиpam.

Задаемпароль:

pveumpasswduser@pam

Задаем роль для созданного пользователя, например,административную:

pveumaclmod/-useruser@pam-roleAdministrator

• весьсписок ролейможнопосмотретьвпанелиадминистрированиявразделеДатацентр-Разрешения-Роли.

UbuntuиCentOS

Возможно, кому-то захочется установить Proxmox именно на Ubuntuили CentOS. К сожалению, разработчики остановились на Debian. Возможно,естьнеофициальныеобходныепутиустановкиProxmoxнадругиедистрибутивыLinux,однакотакойпутьнеявляетсяприемлемымдля

продуктивнойсреды.ДлянастройкавиртуализациинаUbuntuиCentOSпредлагаюинструкции:

1. УстановкаинастройкаKVMнаCentOS7

2. НастройкаKVMнаUbuntuServer

Возможныеошибки

Рассмотримнекоторыеошибки,скоторымистолкнулсяя.Falling back toafallbacklocale

ОшибкапоявляетсяприустановкегостевойутилитынакомпьютерсLinux,атакжевыполнениинекоторыхдругихкоманд.

Причина:этосвязаноснастройкамилокаливвашейсистеме.Скореевсего,средивариантовязыковыхнастроекнеперечисленen_US.UTF-8.

Решение:исходяизпричины,намнужноправильнонастроитьлокаль.

Этоможносделатьвинтерактивномрежимекомандой:

dpkg-reconfigurelocales

Послевыбираемнужныелокали,например:en_US.UTF-8иru_RU.UTF-

8.

Такжеможнопростоотредактироватьфайл:

vi/etc/locale.gen

Необходимоснятькомментарийсen_US.UTF-8:

Послевводим:

locale-gen

Настраиваемформатвременииопределяемязыкинтерфейса:

exportLC_TIME=ru_RU.utf8update-localeLANG=en_US.UTF-8

Гостеваяслужбапомеченакакmasked

Мыможемзаметить,чтослужбаqemu-guest-agentнезапускаетсясостатусомmasked:

Причина:в некоторых операционных системах (ястолкнулсявAstraLinux)по умолчаниюсервисqemu-guest-agent маскируется.

Решение:маскировкуможноснятьпростойкомандой:

systemctlunmaskqemu-guest-agent

Послеперечитываемконфигурациюdaemon-reload:

systemctldaemon-reload

Можноразрешитьзапусксервисаистартоватьего:

systemctlenableqemu-guest-agent--now