KVM — b14esh.com

KVM антидетект ВМ

Ссылки:

https://forum.level1techs.com/t/play-games-in-windows-on-linux-pci-passthrough-quick-guide/108981
https://www.reddit.com/r/linux_gaming/comments/6qn7sk/is_it_possible_to_hide_a_vm_from_being_detected/

1 2	https://forum.level1techs.com/t/play-games-in-windows-on-linux-pci-passthrough-quick-guide/108981 https://www.reddit.com/r/linux_gaming/comments/6qn7sk/is_it_possible_to_hide_a_vm_from_being_detected/

0) virsh edit VM_NAME

1) Удалить первую строку и заменить ее
<domain type='kvm' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>

2) Теперь пройдите до самого конца прямо перед закрывающим тегом домена ( </domain> ) и добавьте:
<qemu:commandline> <qemu:arg value='-cpu'/> <qemu:arg value='host,hv_time,kvm=off,hv_vendor_id=null'/> </qemu:commandline>

0) virsh edit VM_NAME

1) Удалить первую строку и заменить ее

2) Теперь пройдите до самого конца прямо перед закрывающим тегом домена ( </domain> ) и добавьте:

<qemu:commandline> <qemu:arg value='-cpu'/> <qemu:arg value='host,hv_time,kvm=off,hv_vendor_id=null'/> </qemu:commandline>

KVM + CentOS + libvirt

Ссылка:

https://www.dmosk.ru/miniinstruktions.php?mini=kvm-centos7

1	https://www.dmosk.ru/miniinstruktions.php?mini=kvm-centos7

Установка:

yum -y install epel-release - установка репазитория epel
yum -y install kvm libvirt qemu-kvm- установка kvm и libvirt
yum -y install bridge-utils - установка ПО для bridge
systemctl start libvirtd  - запустить libvirtd 
systemctl enable libvirtd - добавить libvirtd в автозагрузка

yum -y install epel-release - установка репазитория epel

yum -y install kvm libvirt qemu-kvm- установка kvm и libvirt

yum -y install bridge-utils - установка ПО для bridge

systemctl start libvirtd - запустить libvirtd

systemctl enable libvirtd - добавить libvirtd в автозагрузка

Проверка:

lsmod | grep kvm - проверка поддержки kvm
virsh sysinfo - проверка подключения к KVM

1 2	lsmod \| grep kvm - проверка поддержки kvm virsh sysinfo - проверка подключения к KVM

Хранилище:

fdisk -l - просмотрим список физических дисков на хост-сервер
fdisk /dev/sdd - редактируем таблицу разделов диска /dev/sdd ( n - new, p - primary, w - write применить)
mkfs.ext4 /dev/sdd1 - создаем файловую систему ext4 для диска /dev/sdd1 
mkdir /mnt/images  - создаем каталог images
chmod 700 /mnt/images - выставляем на него права
mount -t ext4 /dev/sdd1 /mnt/images
ls -la /mnt/images  -

fdisk -l - просмотрим список физических дисков на хост-сервер

fdisk /dev/sdd - редактируем таблицу разделов диска /dev/sdd ( n - new, p - primary, w - write применить)

mkfs.ext4 /dev/sdd1 - создаем файловую систему ext4 для диска /dev/sdd1

mkdir /mnt/images - создаем каталог images

chmod 700 /mnt/images - выставляем на него права

mount -t ext4 /dev/sdd1 /mnt/images

ls -la /mnt/images -

Sealinux:

yum provides /usr/sbin/semanage - ищем пакет содержащий программу semanage  ( policycoreutils-python-2.5-17.1.el7.x86_64 )
yum -y install policycoreutils-python - 
semanage fcontext -a -t virt_image_t /mnt/images -

yum provides /usr/sbin/semanage - ищем пакет содержащий программу semanage ( policycoreutils-python-2.5-17.1.el7.x86_64 )

yum -y install policycoreutils-python -

semanage fcontext -a -t virt_image_t /mnt/images -

Настройка сети

yum install bridge-utils - установка ПО для bridge
ip a - показать интерфейсы

vi /etc/sysconfig/network-scripts/ifcfg-XXX
-------------------------------------------
ONBOOT="yes"
TYPE="Ethernet"
BOOTPROTO="none"
DEVICE="XXX"
BRIDGE="br0"
--------------------------------------------


vi /etc/sysconfig/network-scripts/ifcfg-br0
--------------------------------------------
DEVICE="br0"
TYPE="Bridge"
ONBOOT="yes"
BOOTPROTO="static"
IPADDR="192.168.1.24"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
DNS1="8.8.8.8"
DNS2="77.88.8.8"
-----------------или-------------------------

DEVICE="br0"
TYPE="Bridge"
ONBOOT="yes"
BOOTPROTO="DHCP"

--------------------------------------------

systemctl restart network - применить изменения


vi /etc/sysctl.conf
-------------------
net.ipv4.ip_forward=1
-------------------
sysctl -p /etc/sysctl.conf - применяем настройки

systemctl restart libvirtd

yum install bridge-utils - установка ПО для bridge

ip a - показать интерфейсы

vi /etc/sysconfig/network-scripts/ifcfg-XXX

-------------------------------------------

ONBOOT="yes"

TYPE="Ethernet"

BOOTPROTO="none"

DEVICE="XXX"

BRIDGE="br0"

--------------------------------------------

vi /etc/sysconfig/network-scripts/ifcfg-br0

--------------------------------------------

DEVICE="br0"

TYPE="Bridge"

ONBOOT="yes"

BOOTPROTO="static"

IPADDR="192.168.1.24"

NETMASK="255.255.255.0"

GATEWAY="192.168.1.1"

DNS1="8.8.8.8"

DNS2="77.88.8.8"

-----------------или-------------------------

DEVICE="br0"

TYPE="Bridge"

ONBOOT="yes"

BOOTPROTO="DHCP"

--------------------------------------------

systemctl restart network - применить изменения

vi /etc/sysctl.conf

-------------------

net.ipv4.ip_forward=1

-------------------

sysctl -p /etc/sysctl.conf - применяем настройки

systemctl restart libvirtd

Создание виртуальной машины

virt-install --os-variant list - смотрим доступные варианты гостевых операционных систем

virt-install -n FirstTest \
--noautoconsole \
--network=bridge:br0 \
--ram 1024 --arch=x86_64 \
--vcpus=1 --cpu host --check-cpu \
--disk path=/kvm/images/FirstTest-disk1.img,size=16 \
--cdrom /kvm/iso/CentOS-7-x86_64-Minimal-1611.iso \
--graphics vnc,listen=0.0.0.0,password=my_password \
--os-type linux --os-variant=rhel7 --boot cdrom,hd,menu=on

 где:

FirstTest — имя создаваемой машины;
noautoconsole — после создания не подключается автоматически к консоли виртуальной машины;
network — тип сети (в нашем примере сетевой мост);
ram — объем оперативной памяти, который будет выделен;
vcpus — количество виртуальных процессоров;
disk — виртуальный диск: path — путь до диска; size — его объем;
cdrom — виртуальный привод с образом системы;
graphics — параметры подключения к виртуальной машины с помощью графической консоли (в данном примере используем vnc); listen — на какой адресе принимает запросы vnc (в нашем примере на всех); password — пароль для подключения при помощи vnc;
os-variant — гостевая операционная система (весь список мы получали командой virt-install --os-variant list, в данном примере устанавливаем Reв Hat 7 / CentOS 7).

virt-install --os-variant list - смотрим доступные варианты гостевых операционных систем

virt-install -n FirstTest \

--noautoconsole \

--network=bridge:br0 \

--ram 1024 --arch=x86_64 \

--vcpus=1 --cpu host --check-cpu \

--disk path=/kvm/images/FirstTest-disk1.img,size=16 \

--cdrom /kvm/iso/CentOS-7-x86_64-Minimal-1611.iso \

--graphics vnc,listen=0.0.0.0,password=my_password \

--os-type linux --os-variant=rhel7 --boot cdrom,hd,menu=on

где:

FirstTest — имя создаваемой машины;

noautoconsole — после создания не подключается автоматически к консоли виртуальной машины;

network — тип сети (в нашем примере сетевой мост);

ram — объем оперативной памяти, который будет выделен;

vcpus — количество виртуальных процессоров;

disk — виртуальный диск: path — путь до диска; size — его объем;

cdrom — виртуальный привод с образом системы;

graphics — параметры подключения к виртуальной машины с помощью графической консоли (в данном примере используем vnc); listen — на какой адресе принимает запросы vnc (в нашем примере на всех); password — пароль для подключения при помощи vnc;

os-variant — гостевая операционная система (весь список мы получали командой virt-install --os-variant list, в данном примере устанавливаем Reв Hat 7 / CentOS 7).

Разрешаем автостарт для созданной ВМ:

virsh autostart FirstTest

1	virsh autostart FirstTest

Подключение к виртуальной машине:

virsh vncdisplay FirstTest
--------------------------
:0 
Это значит, что нужно к 5900 прибавить 0. Если результат команды будет :1 — 5900 + 1 = 5901 и так далее.
--------------------------

firewall-cmd --permanent --add-port=5900-5905/tcp - открываем порт на брандмауэре

virsh vncdisplay FirstTest

--------------------------

Это значит, что нужно к 5900 прибавить 0. Если результат команды будет :1 — 5900 + 1 = 5901 и так далее.

--------------------------

firewall-cmd --permanent --add-port=5900-5905/tcp - открываем порт на брандмауэре

Базовые команды управления ВМ:

virsh list --all - получить список созданных машин
virsh start FirstTest - включить виртуальную машину * где FirstTest — имя созданной машины.
virsh shutdown FirstTest - выключить

virsh list --all - получить список созданных машин

virsh start FirstTest - включить виртуальную машину * где FirstTest — имя созданной машины.

virsh shutdown FirstTest - выключить

Управление через веб-интерфейс

0. Для его установки вводим команды:
yum install http://resources.ovirt.org/pub/yum-repo/ovirt-release41.rpm
yum install ovirt-engine

1. После разворачиваем и настраиваем портал:
engine-setup

* после запуска команды система задаст ряд вопросов, на все, кроме ввода пароля, можно ответить по умолчанию (просто нажать Enter).

После окончания установки в браузере вводим https://kvm/ovirt-engine/sso/, где kvm — имя сервера. 
В открывшемся окне вводим логин admin и пароль, который создали при выполнении команды engine-setup. 
После успешного входа можно управлять виртуальными машинами через веб-интерфейс.

0. Для его установки вводим команды:

yum install http://resources.ovirt.org/pub/yum-repo/ovirt-release41.rpm

yum install ovirt-engine

1. После разворачиваем и настраиваем портал:

engine-setup

* после запуска команды система задаст ряд вопросов, на все, кроме ввода пароля, можно ответить по умолчанию (просто нажать Enter).

После окончания установки в браузере вводим https://kvm/ovirt-engine/sso/, где kvm — имя сервера.

В открывшемся окне вводим логин admin и пароль, который создали при выполнении команды engine-setup.

После успешного входа можно управлять виртуальными машинами через веб-интерфейс.

esxi, qemu/kvm проброс видеокарт

Источники:

esxi:

https://www.reddit.com/r/homelab/comments/441w1z/help_needed_with_esxi_60_gtx_960_passthrough_and/  
https://forums.servethehome.com/index.php?threads/troubleshooting-gpu-passthrough-esxi-6-5.12631/
http://vmind.ru/2016/08/08/probros-videokarty-nvidia-v-vmware-esxi-6-0/comment-page-1/

https://www.reddit.com/r/homelab/comments/441w1z/help_needed_with_esxi_60_gtx_960_passthrough_and/

https://forums.servethehome.com/index.php?threads/troubleshooting-gpu-passthrough-esxi-6-5.12631/

http://vmind.ru/2016/08/08/probros-videokarty-nvidia-v-vmware-esxi-6-0/comment-page-1/

Powershell выполнение сторонних скриптов:

https://winnote.ru/security/160-windows-powershell.-vypolnenie-scenariev-otklyucheno-v-etoy-sisteme.html

1	https://winnote.ru/security/160-windows-powershell.-vypolnenie-scenariev-otklyucheno-v-etoy-sisteme.html

Патчи для nvidia:

(Вместо патча для qemu/kvm лутше использовать -cpu host,kvm=off или <hidden state='on'/>) 
https://github.com/sk1080/nvidia-kvm-patcher - патч для драйверов nvidia 
https://github.com/sk1080/nvidia-kvm-patcher/blob/master/README.md - инструкция установки

(Вместо патча для qemu/kvm лутше использовать -cpu host,kvm=off или <hidden state='on'/>)

https://github.com/sk1080/nvidia-kvm-patcher - патч для драйверов nvidia

https://github.com/sk1080/nvidia-kvm-patcher/blob/master/README.md - инструкция установки

qemu/kvm:

http://www.linux-kvm.org/page/HOWTO
http://libvirt.org/formatdomain.html
https://forums.linuxmint.com/viewtopic.php?f=231&t=229122
https://forums.linuxmint.com/viewtopic.php?t=212692
https://ycnrg.org/vga-passthrough-with-ovmf-vfio/
http://mirspo.blogspot.ru/2013/05/pci-passthrough-intel.html
http://linuxhub.ru/viewtopic.php?t=609
http://welinux.ru/post/7433/
https://www.howtoforge.com/using-kvm-on-ubuntu-gutsy-gibbon
https://linuxmint.com.ru/viewtopic.php?t=151
http://umvirt.ru/node/141
https://forum.sys-adm.in/?topic=4078.0
https://forum.sys-adm.in/index.php?PHPSESSID=mqhodn16eil9ddj6ut91tmfb41&board=8.0
https://wiki.debian.org/VGAPassthrough
https://habrahabr.ru/post/260791/
https://habrahabr.ru/post/211909/
https://habrahabr.ru/post/120717/
https://help.ubuntu.com/community/KVM/CreateGuests
https://losst.ru/ustanovka-kvm-ubuntu-16-04
http://itman.in/kvm-windows-xp-install/
https://www.suse.com/documentation/sles11/book_kvm/data/cha_qemu_running_devices.html
https://wiki.archlinux.org/index.php/QEMU
https://www.hippolab.ru/kvm-optimizaciya-raboty-s-pamyatyu-pri-pomoshchi-hugepages

http://www.linux-kvm.org/page/HOWTO

http://libvirt.org/formatdomain.html

https://forums.linuxmint.com/viewtopic.php?f=231&t=229122

https://forums.linuxmint.com/viewtopic.php?t=212692

https://ycnrg.org/vga-passthrough-with-ovmf-vfio/

http://mirspo.blogspot.ru/2013/05/pci-passthrough-intel.html

http://linuxhub.ru/viewtopic.php?t=609

http://welinux.ru/post/7433/

https://www.howtoforge.com/using-kvm-on-ubuntu-gutsy-gibbon

https://linuxmint.com.ru/viewtopic.php?t=151

http://umvirt.ru/node/141

https://forum.sys-adm.in/?topic=4078.0

https://forum.sys-adm.in/index.php?PHPSESSID=mqhodn16eil9ddj6ut91tmfb41&board=8.0

https://wiki.debian.org/VGAPassthrough

https://habrahabr.ru/post/260791/

https://habrahabr.ru/post/211909/

https://habrahabr.ru/post/120717/

https://help.ubuntu.com/community/KVM/CreateGuests

https://losst.ru/ustanovka-kvm-ubuntu-16-04

http://itman.in/kvm-windows-xp-install/

https://www.suse.com/documentation/sles11/book_kvm/data/cha_qemu_running_devices.html

https://wiki.archlinux.org/index.php/QEMU

https://www.hippolab.ru/kvm-optimizaciya-raboty-s-pamyatyu-pri-pomoshchi-hugepages

drivers virto:

https://fedoraproject.org/wiki/Windows_Virtio_Drivers
https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/latest-virtio/virtio-win.iso
https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/stable-virtio/virtio-win.iso

https://fedoraproject.org/wiki/Windows_Virtio_Drivers

https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/latest-virtio/virtio-win.iso

https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/stable-virtio/virtio-win.iso

esxi для работы NVIDIA

В файл вм *.vmx добавить :
_____________________________
SMBIOS.reflectHost = "TRUE" 
hypervisor.cpuid.v0 = FALSE"
pciHole.start = "1200"
pciHole.end = "2200"
____________________________

В конфиг esx
vi /etc/vmware/esx.conf

В файл вм *.vmx добавить :

_____________________________

SMBIOS.reflectHost = "TRUE"

hypervisor.cpuid.v0 = FALSE"

pciHole.start = "1200"

pciHole.end = "2200"

____________________________

В конфиг esx

vi /etc/vmware/esx.conf

Powershell выполнение сторонних скриптов

PowerShell имеет несколько режимов выполнения, которые определяют, какой тип кода разрешается выполнять. 
Существует 5 различных режимов выполнения:
 
■ Ограниченный (Restricted): Значение по умолчанию. 
Блокируется выполнение любых скриптов и разрешается работа интерактивных команд.
 
■ Все подписанные (All Signed): Разрешено выполнение скриптов, имеющих цифровую подпись.
 
■ Удаленные подписанные (Remote Signed):
Локальные скрипты работают без подписи. Все скачанные скрипты должны иметь цифровую подпись.

 ■ Неограниченный (Unrestricted): Разрешено выполнение любых скриптов. 
При запуске не подписанного скрипта, который был загружен из Интернета, программа может потребовать подтверждение.

 ■ Обходной (Bypass): Ничего не блокируется, никакие предупреждения и запросы не появляются.

По умолчанию для PowerShell используется режим «Ограниченный». В этом режиме, 
PowerShell работает как интерактивная оболочка. Если вы ранее не настраивали PowerShell, 
то вместо работы скрипта вы увидите сообщение об ошибке, написанное красным шрифтом как на скриншоте ниже.
Windows PowerShell. 
Выполнение сценариев отключено в этой системе
Самым безопасным способом решения этой проблемы является – изменение политики выполнения на неограниченную, 
запуск скрипта, и затем обратный возврат к ограниченной политике.
Set-ExecutionPolicy Unrestricted  -  изменения политики выполнения на неограниченную
Set-ExecutionPolicy Restricted - вернуть политику выполнения назад в ограниченный режим. Значение по умолчанию.
Set-ExecutionPolicy AllSigned - разрешено выполнение скриптов, имеющих цифровую подпись.
Set-ExecutionPolicy RemoteSigned - скрипты, подготовленные на локальном компьютере, можно запускать без ограничений, 
                                   скрипты загруженные из Интернета - только при наличии цифровой подписи.
Для выполнения выше представленных команд без подтверждения изменения, воспользуйтесь параметром
 -Force, например выполните команду:
Set-ExecutionPolicy Bypass -Force

PowerShell имеет несколько режимов выполнения, которые определяют, какой тип кода разрешается выполнять.

Существует 5 различных режимов выполнения:

■ Ограниченный (Restricted): Значение по умолчанию.

Блокируется выполнение любых скриптов и разрешается работа интерактивных команд.

■ Все подписанные (All Signed): Разрешено выполнение скриптов, имеющих цифровую подпись.

■ Удаленные подписанные (Remote Signed):

Локальные скрипты работают без подписи. Все скачанные скрипты должны иметь цифровую подпись.

■ Неограниченный (Unrestricted): Разрешено выполнение любых скриптов.

При запуске не подписанного скрипта, который был загружен из Интернета, программа может потребовать подтверждение.

■ Обходной (Bypass): Ничего не блокируется, никакие предупреждения и запросы не появляются.

По умолчанию для PowerShell используется режим «Ограниченный». В этом режиме,

PowerShell работает как интерактивная оболочка. Если вы ранее не настраивали PowerShell,

то вместо работы скрипта вы увидите сообщение об ошибке, написанное красным шрифтом как на скриншоте ниже.

Windows PowerShell.

Выполнение сценариев отключено в этой системе

Самым безопасным способом решения этой проблемы является – изменение политики выполнения на неограниченную,

запуск скрипта, и затем обратный возврат к ограниченной политике.

Set-ExecutionPolicy Unrestricted - изменения политики выполнения на неограниченную

Set-ExecutionPolicy Restricted - вернуть политику выполнения назад в ограниченный режим. Значение по умолчанию.

Set-ExecutionPolicy AllSigned - разрешено выполнение скриптов, имеющих цифровую подпись.

Set-ExecutionPolicy RemoteSigned - скрипты, подготовленные на локальном компьютере, можно запускать без ограничений,

скрипты загруженные из Интернета - только при наличии цифровой подписи.

Для выполнения выше представленных команд без подтверждения изменения, воспользуйтесь параметром

-Force, например выполните команду:

Set-ExecutionPolicy Bypass -Force

Инструкция для установки патча на инсталлятор nvidia:

!!!! для QEMU/KVM лучше использовать специальные опции
-cpu host,kvm=off или <hidden state='on'/>
1. Скачиваем драйвер nvidia. 
Запускаем установку и дожидаемся распаковки.
Выходим из установки драйвера.
C:/NVIDIA - тут распакованы драйверы. 
2. Устанавливаем  WDK/DDK на windows 
https://developer.microsoft.com/en-us/windows/hardware/download-kits-windows-hardware-development - WDK/DDK
4. Включить тестовый режим работы для windows
bcdedit.exe -set TESTSIGNING ON
5. Включаем powershell и выполняем скрипт
patcher.ps1 C:/NVIDIA/DisplayDriver/Version/Win10_64/International/Display.Driver
6. Ставим наточенный драйвер  (In C:/NVIDIA/DisplayDriver/Version)

!!!! для QEMU/KVM лучше использовать специальные опции

-cpu host,kvm=off или <hidden state='on'/>

1. Скачиваем драйвер nvidia.

Запускаем установку и дожидаемся распаковки.

Выходим из установки драйвера.

C:/NVIDIA - тут распакованы драйверы.

2. Устанавливаем WDK/DDK на windows

https://developer.microsoft.com/en-us/windows/hardware/download-kits-windows-hardware-development - WDK/DDK

4. Включить тестовый режим работы для windows

bcdedit.exe -set TESTSIGNING ON

5. Включаем powershell и выполняем скрипт

patcher.ps1 C:/NVIDIA/DisplayDriver/Version/Win10_64/International/Display.Driver

6. Ставим наточенный драйвер (In C:/NVIDIA/DisplayDriver/Version)

KVM QENU опции запуска для NVIDIA
борьба с ошибкой 43

_______________________________

KVM:
-cpu host,kvm=off

_______________________________

Alternate Workaround (recent libvirt + qemu)
<domain>
   ...
        <features>
            ...
            <kvm>
                <hidden state='on'/>
            </kvm>
            ...
            <hyperv>
                ...
                <vendor_id state='on' value='whatever'/>
            </hyperv>
            ...
        </features>
    ...
</domain>
_______________________________

_______________________________

KVM:

-cpu host,kvm=off

_______________________________

Alternate Workaround (recent libvirt + qemu)

...

...

<kvm>

</kvm>

...

...

<vendor_id state='on' value='whatever'/>

</hyperv>

...

</features>

...

</domain>

_______________________________

Включаем поддержку IOMMU в ядре

0)Для этого в файле /etc/default/grub меняю строку
GRUB_CMDLINE_LINUX="" 
на
GRUB_CMDLINE_LINUX="intel_iommu=on" 
или вот так и заодно отключить драйвер nouveau (nvidia)
GRUB_CMDLINE_LINUX_DEFAULT="modprobe.blacklist=nouveau quiet intel_iommu=on"
1)Обновляем загрузчик grub
update-grub 
2) После перезагрузки проверяем
dmesg | grep -i -e iommu -e dmar

0)Для этого в файле /etc/default/grub меняю строку

GRUB_CMDLINE_LINUX=""

на

GRUB_CMDLINE_LINUX="intel_iommu=on"

или вот так и заодно отключить драйвер nouveau (nvidia)

GRUB_CMDLINE_LINUX_DEFAULT="modprobe.blacklist=nouveau quiet intel_iommu=on"

1)Обновляем загрузчик grub

update-grub

2) После перезагрузки проверяем

dmesg | grep -i -e iommu -e dmar

Добавление устройсва в blacklist
отключение драйвера устройства

0) lspci -vvn - выведет список устройств
lspci -vvn | grep nvidia - для NVIDIA
1) редактируем файл 
nano /etc/modprobe.d/blacklist.conf
2) добавим строку
blacklist snd-hda-intel 
blacklist nouveau
blacklist radeon
blacklist amdgpu
3) выполним команду
update-initramfs -u

0) lspci -vvn - выведет список устройств

lspci -vvn | grep nvidia - для NVIDIA

1) редактируем файл

nano /etc/modprobe.d/blacklist.conf

2) добавим строку

blacklist snd-hda-intel

blacklist nouveau

blacklist radeon

blacklist amdgpu

3) выполним команду

update-initramfs -u

Поиск устройств

lspci | grep VGA
lspci -nn | grep 02:00.
lspci -vv | grep -i flreset+
lspci -vv | less 
lspci -k -s 00:1b
find /sys/kernel/iommu_groups/ -type l
for a in /sys/kernel/iommu_groups/*; do find $a -type l; done
lsusb

lspci | grep VGA

lspci -nn | grep 02:00.

lspci -vv | grep -i flreset+

lspci -vv | less

lspci -k -s 00:1b

find /sys/kernel/iommu_groups/ -type l

for a in /sys/kernel/iommu_groups/*; do find $a -type l; done

lsusb

KVM — добавить жесткий диск в виртуальную машину

    <disk type='block' device='disk'>
      <driver name='qemu' type='raw' cache='none'/>
      <source dev='/dev/sde'/>
      <target dev='vdc' bus='virtio'/>
    </disk>

</disk>

hugepages и swap

Предположим нам нужно запустить виртуальную машину, 
отдав ей 4 гигабайта. 4 гигабайта = 4096 мегабайт.
4096 мегабайт / 2 мегабайта на страницу (размер одной hugepage) = 2048 страниц.
0) Получаем информацию:
cat /proc/meminfo - получаем информацию о настройках памяти
grep "Hugepagesize:" /proc/meminfo - получаем информацию о настройках HUGEPAGES
hugeadm --explain - получаем информацию о настройках HUGEPAGES
2) Проверяем включено ли HUGEPAGES
nano /etc/default/qemu-kvm
---------------
KVM_HUGEPAGES=1
---------------
2.1) Проверяем смонтировано ли  специальное устройство 
mount | grep huge - должны увидеть примерно следующие (( hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M) ))
3) Настраиваем hugepages
nano /etc/sysctl.conf
---/etc/sysctl.conf---
vm.swappiness=0
vm.vfs_cache_pressure = 1000
vm.swappiness = 0
vm.nr_hugepages = 1024
kernel.shmmax = 2147483648
vm.hugetlb_shm_group = 0
vm.min_free_kbytes = 11264
---------------------
sysctl -p - применяем изменения без перезагрузки 
---------------------
Команды hugeadm
hugeadm --explain
hugeadm --pool-list
hugeadm --set-recommended-shmmax
hugeadm --pool-pages-min 2M:128M
hugeadm --pool-pages-max 2M:4500M
hugeadm --set-recommended-shmmax
hugeadm --set-recommended-min_free_kbytes

Предположим нам нужно запустить виртуальную машину,

отдав ей 4 гигабайта. 4 гигабайта = 4096 мегабайт.

4096 мегабайт / 2 мегабайта на страницу (размер одной hugepage) = 2048 страниц.

0) Получаем информацию:

cat /proc/meminfo - получаем информацию о настройках памяти

grep "Hugepagesize:" /proc/meminfo - получаем информацию о настройках HUGEPAGES

hugeadm --explain - получаем информацию о настройках HUGEPAGES

2) Проверяем включено ли HUGEPAGES

nano /etc/default/qemu-kvm

---------------

KVM_HUGEPAGES=1

---------------

2.1) Проверяем смонтировано ли специальное устройство

mount | grep huge - должны увидеть примерно следующие (( hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M) ))

3) Настраиваем hugepages

nano /etc/sysctl.conf

---/etc/sysctl.conf---

vm.swappiness=0

vm.vfs_cache_pressure = 1000

vm.swappiness = 0

vm.nr_hugepages = 1024

kernel.shmmax = 2147483648

vm.hugetlb_shm_group = 0

vm.min_free_kbytes = 11264

---------------------

sysctl -p - применяем изменения без перезагрузки

---------------------

Команды hugeadm

hugeadm --explain

hugeadm --pool-list

hugeadm --set-recommended-shmmax

hugeadm --pool-pages-min 2M:128M

hugeadm --pool-pages-max 2M:4500M

hugeadm --set-recommended-shmmax

hugeadm --set-recommended-min_free_kbytes

Настройка сети:

brctl show - посмотреть доступные  бриджи
brctl addif br5 eno1 - добавить сетевую карту eno1 в br5

включаем forward,proxy_arp и отключаем ipv6:
sysctl net.ipv4.conf.all.forwarding=1
sysctl net.ipv4.conf.all.proxy_arp=1
sysctl net.ipv6.conf.all.disable_ipv6=1
sysctl net.ipv6.conf.default.disable_ipv6=1
sysctl net.ipv6.conf.lo.disable_ipv6=1
применяем изменения без перезагрузки
sysctl -p 

nano /etc/network/interfaces - редактируем конфиг сети 
_____________________________ 
auto lo
iface lo inet loopback

auto eno1
iface eno1 inet manual
dns-nameserver 192.168.15.1
dns-nameserver 8.8.8.8

auto br5
iface br5 inet static
address 192.168.15.253
broadcast 192.168.15.255
netmask 255.255.255.0
gateway 192.168.15.1
bridge_ports eno1
bridge_stp off
____________________________

/etc/init.d/networking restart - перезапуск сети

brctl show - посмотреть доступные бриджи

brctl addif br5 eno1 - добавить сетевую карту eno1 в br5

включаем forward,proxy_arp и отключаем ipv6:

sysctl net.ipv4.conf.all.forwarding=1

sysctl net.ipv4.conf.all.proxy_arp=1

sysctl net.ipv6.conf.all.disable_ipv6=1

sysctl net.ipv6.conf.default.disable_ipv6=1

sysctl net.ipv6.conf.lo.disable_ipv6=1

применяем изменения без перезагрузки

sysctl -p

nano /etc/network/interfaces - редактируем конфиг сети

_____________________________

auto lo

iface lo inet loopback

auto eno1

iface eno1 inet manual

dns-nameserver 192.168.15.1

dns-nameserver 8.8.8.8

auto br5

iface br5 inet static

address 192.168.15.253

broadcast 192.168.15.255

netmask 255.255.255.0

gateway 192.168.15.1

bridge_ports eno1

bridge_stp off

____________________________

/etc/init.d/networking restart - перезапуск сети

Установка KVM на linuxmint 18

0.Проверка системы
egrep -q '^flags.*(svm|vmx)' /proc/cpuinfo && echo virtualization extensions available
egrep '(vmx|svm)' /proc/cpuinfo
kvm-ok
dmesg | grep -i -e iommu -e dmar 
cat /proc/cpuinfo | grep svm
dmesg | grep AMD-Vi
lsmod | grep kvm
lsmod | grep vfio
dmesg | grep vfio
dmesg | grep VFIO
lspci -k | grep -i -A 3 vga
dmesg | grep -i vfio


1. Редактируем загрузчик
Добавляем поддержку для IOMMU (для АМД указать amd_iommu=on)
GRUB_CMDLINE_LINUX_DEFAULT="modprobe.blacklist=nouveau quiet intel_iommu=on"
update-grub 

2. Включаем vfio (нужно для успешного проброса видеокарт и т.д.)
nano /etc/initramfs-tools/modules
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
vhost-net

Применим: 
update-initramfs -u

Добавим видяшку:
nano /etc/modprobe.d/local.conf
options vfio-pci ids=10de:1185,10de:0e0a

3. Установка kvm
apt-get install qemu-kvm qemu  virt-viewer libvirt-bin ovmf  seabios qemu-utils hugepages bridge-utils python-virtinst libosinfo-bin

Для управления вм из GUI можно поставить:
apt-get install virt-manager
apt-get install gir1.2-spice-client-gtk-3.0 gir1.2-spice-client-gtk-2.0
apt-get install spice-client-gtk
apt-get install spice-vdagent

4. Создание виртуального жесткий диск для ВМ
Создадим образ диска размером 25GB.
qemu-img create mint-sarah.img 25G

Другим вариантом является создание образа диска в дефолтном 
для Qemu формате ‘qcow2’ используя следующую команду:
qemu-img create -f qcow2 mint-sarah.img 25G - создать диск на 25G
qemu-img create -f qcow2 hdd.img 10G - создать диск на 10G

Создадим образ диска размером 50GB.
fallocate -l 50G /media/user/win.img

Создать пустой диск 4GB:
dd if=/dev/zero of=disk01.img bs=1G count=4

5. Запуск ВМ 
0)Запуск ВМ QEMU
для 32-х битной системы:
qemu-system-i386 -hda mint-sarah.img -boot d -cdrom /home/chocobo/linuxmint-18-cinnamon-32-bit.iso -m 1024

для 64-х битной системы:
qemu-system-x86_64 -hda mint-sarah.img -boot d -cdrom /home/chocobo/linuxmint-18-cinnamon-64-bit.iso -m 1024

Таким образом мы запускаем ВМ с виртуальным HDD и cd-rom в котором смонтирован образ диска, 
а также 1Gb оперативной памяти на борту

После установки - загрузить VM в дальнейшем можно будет так:
qemu -hda mint-sarah.img -m 640

1) Запуск ВМ KVM
kvm -hda disk01.img -cdrom os.iso -m 512 -boot d -vnc IP:1
kvm -hda disk01.img -m 512 -boot c -net nic,vlan=0,macaddr=00:16:3e:00:00:01 -net tap -nographic -daemonize
kvm -hda disk01.img -m 512 -boot c -net nic,vlan=0,macaddr=00:16:3e:00:00:01,model=rtl8139 -net tap -nographic -daemonize
kvm -m 512 -cdrom /media/Files/ISO/grml32_2011.12.iso
kvm --no-acpi -m 512 -cdrom /media/Files/ISO/grml32_2011.12.iso -soundhw ac97
kvm --no-acpi -m 512 -cdrom /media/Files/ISO/grml32_2011.12.iso -soundhw ac97 -hda hdd.img
kvm --no-acpi -m 512 -cdrom /media/Files/ISO/grml32_2011.12.iso -soundhw ac97 -hda hdd.img -boot d (загрузка с диска hdd.img)

2)  Запуск/настройка  ВМ virsh
Файлы конфигураций:
по умолчанию конфигурации storage хранятся тут /etc/libvirt/storage/
по умолчанию есть default.xml — хранилище на файловой системе в /var/lib/libvirt/images
Все конфигурации виртуальных машин хранятся в /etc/libvirt/qemu/ 


Встроенная помощь по командам:
virsh -c qemu:///system help

Посмотреть все пулы:
virsh pool-list --all

Добавляем свое qemu-test-storage:
*-as создает хранилище аналогичное дефолту, т.е. по конфигурации такое же как в default.xml
virsh pool-define-as qemu-test-storage dir --target /home/username/qemu-test-storage/

По умолчанию пул не запущен, стартуем:
virsh pool-start qemu-test-storage

Добавляем созданный пул в автостарт:
virsh pool-autostart qemu-test-storage

Список ВМ:
virsh list -all 

Создание ВМ:
virt-install --connect qemu:///system --arch=x86_64 -n vm4 -r 2048 --vcpus=1 --disk path=/dev/vg0/lv4 -c /mnt/Iso/win_7_professional_amd64.iso --vnc --noautoconsole --os-type windows --os-variant win7 --network=bridge:br0

Создание ВМ:
virt-install --connect qemu:///system --arch=x86_64 -n vm7 -r 2048 --vcpus=1 --disk path=/dev/vg0/lv7,device=disk,bus=virtio -c /mnt/Iso/win_7_professional_amd64.iso --vnc --noautoconsole --os-type windows --os-variant win7 --network=bridge:br0 --disk path=/mnt/Iso/virtio-win-1.1.11-0.iso,device=cdrom,perms=ro

Клонирование настроек vsrv1 в vsrv2: 
virt-clone -o vsrv1 -n vsrv2 -f vsrv2.img --connect=qemu:///system

Редактирование/настройка ВМ:
virsh -c qemu:///system edit vm7

Посмотреть статус установленных ВМ:
virsh -c qemu:///system list --all

Запустить ВМ vsrv1:
virsh -c qemu:///system start vsrv1

Послать команду завершения работы ВМ:
virsh -c qemu:///system shutdown vsrv1

Принудительно завершить работу ВМ:
virsh -c qemu:///system destroy vsrv1

Удалить ВМ:
virsh -c qemu:///system undefine vsrv1

Список сетей:
virsh net-list --all

Узнать параметры подключения к ВМ:
virsh vncdisplay name_VM

Подключится к ВМ:
virt-viewer name_VM

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

0.Проверка системы

egrep -q '^flags.*(svm|vmx)' /proc/cpuinfo && echo virtualization extensions available

egrep '(vmx|svm)' /proc/cpuinfo

kvm-ok

dmesg | grep -i -e iommu -e dmar

cat /proc/cpuinfo | grep svm

dmesg | grep AMD-Vi

lsmod | grep kvm

lsmod | grep vfio

dmesg | grep vfio

dmesg | grep VFIO

lspci -k | grep -i -A 3 vga

dmesg | grep -i vfio

1. Редактируем загрузчик

Добавляем поддержку для IOMMU (для АМД указать amd_iommu=on)

GRUB_CMDLINE_LINUX_DEFAULT="modprobe.blacklist=nouveau quiet intel_iommu=on"

update-grub

2. Включаем vfio (нужно для успешного проброса видеокарт и т.д.)

nano /etc/initramfs-tools/modules

vfio

vfio_iommu_type1

vfio_pci

vfio_virqfd

vhost-net

Применим:

update-initramfs -u

Добавим видяшку:

nano /etc/modprobe.d/local.conf

options vfio-pci ids=10de:1185,10de:0e0a

3. Установка kvm

apt-get install qemu-kvm qemu virt-viewer libvirt-bin ovmf seabios qemu-utils hugepages bridge-utils python-virtinst libosinfo-bin

Для управления вм из GUI можно поставить:

apt-get install virt-manager

apt-get install gir1.2-spice-client-gtk-3.0 gir1.2-spice-client-gtk-2.0

apt-get install spice-client-gtk

apt-get install spice-vdagent

4. Создание виртуального жесткий диск для ВМ

Создадим образ диска размером 25GB.

qemu-img create mint-sarah.img 25G

Другим вариантом является создание образа диска в дефолтном

для Qemu формате ‘qcow2’ используя следующую команду:

qemu-img create -f qcow2 mint-sarah.img 25G - создать диск на 25G

qemu-img create -f qcow2 hdd.img 10G - создать диск на 10G

Создадим образ диска размером 50GB.

fallocate -l 50G /media/user/win.img

Создать пустой диск 4GB:

dd if=/dev/zero of=disk01.img bs=1G count=4

5. Запуск ВМ

0)Запуск ВМ QEMU

для 32-х битной системы:

qemu-system-i386 -hda mint-sarah.img -boot d -cdrom /home/chocobo/linuxmint-18-cinnamon-32-bit.iso -m 1024

для 64-х битной системы:

qemu-system-x86_64 -hda mint-sarah.img -boot d -cdrom /home/chocobo/linuxmint-18-cinnamon-64-bit.iso -m 1024

Таким образом мы запускаем ВМ с виртуальным HDD и cd-rom в котором смонтирован образ диска,

а также 1Gb оперативной памяти на борту

После установки - загрузить VM в дальнейшем можно будет так:

qemu -hda mint-sarah.img -m 640

1) Запуск ВМ KVM

kvm -hda disk01.img -cdrom os.iso -m 512 -boot d -vnc IP:1

kvm -hda disk01.img -m 512 -boot c -net nic,vlan=0,macaddr=00:16:3e:00:00:01 -net tap -nographic -daemonize

kvm -hda disk01.img -m 512 -boot c -net nic,vlan=0,macaddr=00:16:3e:00:00:01,model=rtl8139 -net tap -nographic -daemonize

kvm -m 512 -cdrom /media/Files/ISO/grml32_2011.12.iso

kvm --no-acpi -m 512 -cdrom /media/Files/ISO/grml32_2011.12.iso -soundhw ac97

kvm --no-acpi -m 512 -cdrom /media/Files/ISO/grml32_2011.12.iso -soundhw ac97 -hda hdd.img

kvm --no-acpi -m 512 -cdrom /media/Files/ISO/grml32_2011.12.iso -soundhw ac97 -hda hdd.img -boot d (загрузка с диска hdd.img)

2) Запуск/настройка ВМ virsh

Файлы конфигураций:

по умолчанию конфигурации storage хранятся тут /etc/libvirt/storage/

по умолчанию есть default.xml — хранилище на файловой системе в /var/lib/libvirt/images

Все конфигурации виртуальных машин хранятся в /etc/libvirt/qemu/

Встроенная помощь по командам:

virsh -c qemu:///system help

Посмотреть все пулы:

virsh pool-list --all

Добавляем свое qemu-test-storage:

*-as создает хранилище аналогичное дефолту, т.е. по конфигурации такое же как в default.xml

virsh pool-define-as qemu-test-storage dir --target /home/username/qemu-test-storage/

По умолчанию пул не запущен, стартуем:

virsh pool-start qemu-test-storage

Добавляем созданный пул в автостарт:

virsh pool-autostart qemu-test-storage

Список ВМ:

virsh list -all

Создание ВМ:

virt-install --connect qemu:///system --arch=x86_64 -n vm4 -r 2048 --vcpus=1 --disk path=/dev/vg0/lv4 -c /mnt/Iso/win_7_professional_amd64.iso --vnc --noautoconsole --os-type windows --os-variant win7 --network=bridge:br0

Создание ВМ:

virt-install --connect qemu:///system --arch=x86_64 -n vm7 -r 2048 --vcpus=1 --disk path=/dev/vg0/lv7,device=disk,bus=virtio -c /mnt/Iso/win_7_professional_amd64.iso --vnc --noautoconsole --os-type windows --os-variant win7 --network=bridge:br0 --disk path=/mnt/Iso/virtio-win-1.1.11-0.iso,device=cdrom,perms=ro

Клонирование настроек vsrv1 в vsrv2:

virt-clone -o vsrv1 -n vsrv2 -f vsrv2.img --connect=qemu:///system

Редактирование/настройка ВМ:

virsh -c qemu:///system edit vm7

Посмотреть статус установленных ВМ:

virsh -c qemu:///system list --all

Запустить ВМ vsrv1:

virsh -c qemu:///system start vsrv1

Послать команду завершения работы ВМ:

virsh -c qemu:///system shutdown vsrv1

Принудительно завершить работу ВМ:

virsh -c qemu:///system destroy vsrv1

Удалить ВМ:

virsh -c qemu:///system undefine vsrv1

Список сетей:

virsh net-list --all

Узнать параметры подключения к ВМ:

virsh vncdisplay name_VM

Подключится к ВМ:

virt-viewer name_VM

Добавление пользователя в группу libvirtd :

gpasswd -a ПОЛЬЗОВАТЕЛЬ libvirtd

1	gpasswd -a ПОЛЬЗОВАТЕЛЬ libvirtd

Варианты устанавливаемых систем:

osinfo-query os | less

1	osinfo-query os \| less

Создания ВМ:

virt-install -n vsrv1 -r 384 -f vsrv1.img -s 10 -c ubuntu-9.04-server-amd64.iso --accelerate --os-type=linux --os-variant=generic26 -v --vnc -w bridge:br0

где:
-n vsrv1 — имя ВМ;
-r 384 — выделяемый объем ОЗУ для нее;
-f vsrv1.img — файл, являющийся виртуальный жестким диском для гостевой ОС;
-s 10 — объем этого диска в гигабайтах;
-c ubuntu-9.04-server-amd64.iso — образ cd дистрибутива гостевой ОС, подключаемый как виртуальный cdrom;
--accelerate --os-type=linux --os-variant=generic26 -v — ускоряем, оптимизируем ВМ для конкретной гостевой ОС и задействуем аппаратные возможности виртуализации;
--vnc — запускаем для ВМ vnc-сервер;
-w bridge:br0 — указываем использовать сетевой мост.

virt-install -n vsrv1 -r 384 -f vsrv1.img -s 10 -c ubuntu-9.04-server-amd64.iso --accelerate --os-type=linux --os-variant=generic26 -v --vnc -w bridge:br0

где:

-n vsrv1 — имя ВМ;

-r 384 — выделяемый объем ОЗУ для нее;

-f vsrv1.img — файл, являющийся виртуальный жестким диском для гостевой ОС;

-s 10 — объем этого диска в гигабайтах;

-c ubuntu-9.04-server-amd64.iso — образ cd дистрибутива гостевой ОС, подключаемый как виртуальный cdrom;

--accelerate --os-type=linux --os-variant=generic26 -v — ускоряем, оптимизируем ВМ для конкретной гостевой ОС и задействуем аппаратные возможности виртуализации;

--vnc — запускаем для ВМ vnc-сервер;

-w bridge:br0 — указываем использовать сетевой мост.

Создания ВМ:

virt-install --virt-type=kvm --name centos7 --ram 2048 --vcpus=2 --os-variant=rhel7 --hvm --cdrom=/var/lib/libvirt/boot/CentOS-7-x86_64-DVD-1511.iso --network=bridge=br0,model=virtio --graphics vnc 
--disk path=/var/lib/libvirt/images/centos7.qcow2,size=40,bus=virtio,format=qcow2

где:
sudo virt-install - создание ВМ;
--virt-type=kvm - тип виртуализации, в нашем случае kvm;
--name centos7 - имя новой машины;
--ram 2048 - количество памяти в мегабайтах;
--vcpus=2  - количество ядер процессора;
--os-variant=rhel7 - тип операционной системы;
--hvm - вид контейнера ( Может быть PV или HVM)
--cdrom=/var/lib/libvirt/boot/CentOS-7-x86_64-DVD-1511.iso - установочный образ системы;
--network=bridge=br0,model=virtio - сетевой мост, который мы настроили ранее;
--graphics vnc - способ получения доступа к графическому интерфейсу ( у нас VNC);
--disk path=/var/lib/libvirt/images/centos7.qcow2,size=40,bus=virtio,format=qcow2 - адрес нового жесткого диска для этой виртуальной машины;

virt-install --virt-type=kvm --name centos7 --ram 2048 --vcpus=2 --os-variant=rhel7 --hvm --cdrom=/var/lib/libvirt/boot/CentOS-7-x86_64-DVD-1511.iso --network=bridge=br0,model=virtio --graphics vnc

--disk path=/var/lib/libvirt/images/centos7.qcow2,size=40,bus=virtio,format=qcow2

где:

sudo virt-install - создание ВМ;

--virt-type=kvm - тип виртуализации, в нашем случае kvm;

--name centos7 - имя новой машины;

--ram 2048 - количество памяти в мегабайтах;

--vcpus=2 - количество ядер процессора;

--os-variant=rhel7 - тип операционной системы;

--hvm - вид контейнера ( Может быть PV или HVM)

--cdrom=/var/lib/libvirt/boot/CentOS-7-x86_64-DVD-1511.iso - установочный образ системы;

--network=bridge=br0,model=virtio - сетевой мост, который мы настроили ранее;

--graphics vnc - способ получения доступа к графическому интерфейсу ( у нас VNC);

--disk path=/var/lib/libvirt/images/centos7.qcow2,size=40,bus=virtio,format=qcow2 - адрес нового жесткого диска для этой виртуальной машины;

Создания ВМ:

$ virt-install --connect qemu:///system -n debian_guest -r 512 --arch=i686 --vcpus=1 --os-type=linux --os-variant=debiansqueeze --disk debian-6.0.1a-i386-netinst.iso,device=cdrom --disk debian_guest.img,bus=virtio,size=2,sparse=false,format=raw --network=default,model=virtio --hvm --accelerate --vnc

Подробно разберём параметры, которые мы указали:

--connect qemu:///system URL, по которому мы подключаемся к KVM. Подключаться можно через ssh.
-n debian_guest Имя гостевой системы.
-r 512 Выделяемый объём оперативной памяти в мегабайтах.
--arch=i686 Архитектура гостевой операционной системы.
--vcpus=1 Количество виртуальных процессоров, доступных гостю.
--os-type=linux --os-variant=debianlenny Специфичные для данной операционной системы параметры.
--disk debian-6.0.1a-i386-netinst.iso,device=cdrom Загружаемся с диска, образ которого указали.
--disk debian_guest.img,bus=virtio,size=2,sparse=false,format=raw Создаём образ системы размером 2Гб, который сразу помещаем на диск (можно создать образ нулевого размера, но тогда возможна фрагментация, что получается несколько медленнее). Формат простой, можно сделать с dd файл. Драйвер диска virtio, использовать лучше virtio, чем ide: производительность их отличается если не на порядок, то в разы.
--network=default,model=virtio Сетевые настройки по умолчанию. В этом случае libvirt создаст мост, сделает dhcp сервер и выдаст через него адрес для доступа виртуальной машины.
--hvm Полная виртуализация — то есть, можно использовать собственные ядра.
--accelerate Работа через /dev/kvm.
--vnc Запускаем VNC, чтобы подключаться к текстовой консоли.

$ virt-install --connect qemu:///system -n debian_guest -r 512 --arch=i686 --vcpus=1 --os-type=linux --os-variant=debiansqueeze --disk debian-6.0.1a-i386-netinst.iso,device=cdrom --disk debian_guest.img,bus=virtio,size=2,sparse=false,format=raw --network=default,model=virtio --hvm --accelerate --vnc

Подробно разберём параметры, которые мы указали:

--connect qemu:///system URL, по которому мы подключаемся к KVM. Подключаться можно через ssh.

-n debian_guest Имя гостевой системы.

-r 512 Выделяемый объём оперативной памяти в мегабайтах.

--arch=i686 Архитектура гостевой операционной системы.

--vcpus=1 Количество виртуальных процессоров, доступных гостю.

--os-type=linux --os-variant=debianlenny Специфичные для данной операционной системы параметры.

--disk debian-6.0.1a-i386-netinst.iso,device=cdrom Загружаемся с диска, образ которого указали.

--disk debian_guest.img,bus=virtio,size=2,sparse=false,format=raw Создаём образ системы размером 2Гб, который сразу помещаем на диск (можно создать образ нулевого размера, но тогда возможна фрагментация, что получается несколько медленнее). Формат простой, можно сделать с dd файл. Драйвер диска virtio, использовать лучше virtio, чем ide: производительность их отличается если не на порядок, то в разы.

--network=default,model=virtio Сетевые настройки по умолчанию. В этом случае libvirt создаст мост, сделает dhcp сервер и выдаст через него адрес для доступа виртуальной машины.

--hvm Полная виртуализация — то есть, можно использовать собственные ядра.

--accelerate Работа через /dev/kvm.

--vnc Запускаем VNC, чтобы подключаться к текстовой консоли.

Редактирование конфига:

virsh edit name_VM - отредактировать ВМ name_VM (автопроверка конфига ВМ после редактирования)
nano /etc/libvirt/qemu/mywin.xml - (!!!автопроверки нету !!! используй virsh edit) открытие редактором ВМ mywin.xml 
xed /etc/libvirt/qemu/mywin.xml - (!!!автопроверки нету !!! используй virsh edit) открытие графическим  редактором ВМ mywin.xml

virsh edit name_VM - отредактировать ВМ name_VM (автопроверка конфига ВМ после редактирования)

nano /etc/libvirt/qemu/mywin.xml - (!!!автопроверки нету !!! используй virsh edit) открытие редактором ВМ mywin.xml

xed /etc/libvirt/qemu/mywin.xml - (!!!автопроверки нету !!! используй virsh edit) открытие графическим редактором ВМ mywin.xml

Пример конфига:

<domain type='kvm'>
  <name>mywin</name>
  <uuid>c2f9f250-1f0f-4d0e-abc0-2d276da16036</uuid>
  <memory unit='KiB'>12521472</memory>
  <currentMemory unit='KiB'>12521472</currentMemory>
  <vcpu placement='static'>8</vcpu>
  <os>
    <type arch='x86_64' machine='pc-q35-2.5'>hvm</type>
    <loader readonly='yes' type='pflash'>/usr/share/OVMF/OVMF_CODE.fd</loader>
    <nvram>/var/lib/libvirt/qemu/nvram/mywin_VARS.fd</nvram>
    <bootmenu enable='yes'/>
  </os>
  <features>
    <acpi/>
    <apic/>
    <kvm>
      <hidden state='on'/>
    </kvm>
  </features>
  <cpu mode='custom' match='exact'>
    <model fallback='allow'>Broadwell</model>
    <topology sockets='1' cores='4' threads='2'/>
  </cpu>
  <clock offset='localtime'>
    <timer name='rtc' tickpolicy='catchup'/>
    <timer name='pit' tickpolicy='delay'/>
    <timer name='hpet' present='no'/>
  </clock>
  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
  <on_crash>restart</on_crash>
  <pm>
    <suspend-to-mem enabled='no'/>
    <suspend-to-disk enabled='no'/>
  </pm>
  <devices>
    <emulator>/usr/bin/kvm-spice</emulator>
    <disk type='block' device='disk'>
      <driver name='qemu' type='raw' cache='none'/>
      <source dev='/dev/disk/by-id/ata-PLEXTOR_PX-128M6S_P02448110395'/>
      <target dev='sda' bus='sata'/>
      <boot order='2'/>
      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
    </disk>
    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw' cache='none' io='native'/>
      <source file='/mnt/datastore2/iso1/WinPE10_8_Sergei_Strelec_x86_x64_2017.01.31_Russian.iso'/>
      <target dev='sdc' bus='sata'/>
      <readonly/>
      <boot order='1'/>
      <address type='drive' controller='0' bus='0' target='0' unit='2'/>
    </disk>
    <disk type='file' device='disk'>
      <driver name='qemu' type='qcow2'/>
      <source file='/mnt/datastore3/image/mywin_win10.qcow2'/>
      <target dev='sdd' bus='sata'/>
      <address type='drive' controller='0' bus='0' target='0' unit='3'/>
 </disk>
    <disk type='block' device='disk'>
      <driver name='qemu' type='raw' cache='none'/>
      <source dev='/dev/disk/by-id/ata-Hitachi_HDS722020ALA330_JK11A8B9J8D3BF'/>
      <target dev='vdb' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x08' function='0x0'/>
    </disk>
    <controller type='sata' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x1f' function='0x2'/>
    </controller>
    <controller type='pci' index='0' model='pcie-root'/>
    <controller type='pci' index='1' model='dmi-to-pci-bridge'>
      <model name='i82801b11-bridge'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x1e' function='0x0'/>
    </controller>
    <controller type='pci' index='2' model='pci-bridge'>
      <model name='pci-bridge'/>
      <target chassisNr='2'/>
      <address type='pci' domain='0x0000' bus='0x01' slot='0x01' function='0x0'/>
    </controller>
    <controller type='virtio-serial' index='0'>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x03' function='0x0'/>
    </controller>
    <controller type='usb' index='0' model='nec-xhci'>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x02' function='0x0'/>
    </controller>
    <interface type='bridge'>
      <mac address='52:54:00:bd:4e:b6'/>
      <source bridge='br5'/>
      <model type='e1000'/>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x01' function='0x0'/>
    </interface>
    <hostdev mode='subsystem' type='pci' managed='yes'>
      <source>
        <address domain='0x0000' bus='0x02' slot='0x00' function='0x0'/>
      </source>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x05' function='0x0'/>
    </hostdev>
    <hostdev mode='subsystem' type='pci' managed='yes'>
      <source>
        <address domain='0x0000' bus='0x02' slot='0x00' function='0x1'/>
      </source>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x06' function='0x0'/>
    </hostdev>
    <hostdev mode='subsystem' type='usb' managed='yes'>
      <source>
        <vendor id='0x046d'/>
        <product id='0xc312'/>
      </source>
    </hostdev>
    <hostdev mode='subsystem' type='pci' managed='yes'>
      <source>
        <address domain='0x0000' bus='0x00' slot='0x1f' function='0x3'/>
      </source>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x07' function='0x0'/>
  </hostdev>
    <hostdev mode='subsystem' type='usb' managed='yes'>
      <source>
        <vendor id='0x09da'/>
        <product id='0x18af'/>
      </source>
    </hostdev>
    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x04' function='0x0'/>
    </memballoon>
  </devices>
</domain>

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

<name>mywin</name>

<os>

<loader readonly='yes' type='pflash'>/usr/share/OVMF/OVMF_CODE.fd</loader>

<nvram>/var/lib/libvirt/qemu/nvram/mywin_VARS.fd</nvram>

</os>

<acpi/>

<apic/>

<kvm>

</kvm>

</features>

<model fallback='allow'>Broadwell</model>

</cpu>

</clock>

<on_poweroff>destroy</on_poweroff>

<on_reboot>restart</on_reboot>

<on_crash>restart</on_crash>

<pm>

<suspend-to-mem enabled='no'/>

<suspend-to-disk enabled='no'/>

</pm>

<emulator>/usr/bin/kvm-spice</emulator>

</disk>

</disk>

</disk>

</disk>

</controller>

</controller>

</controller>

</controller>

</controller>

</interface>

</source>

</hostdev>

</source>

</hostdev>

</source>

</hostdev>

</source>

</hostdev>

</source>

</hostdev>

</memballoon>

</devices>

</domain>

KVM + debian + libvirt

Проверка возможности установки KVM:

egrep -c '(vmx|svm)' /proc/cpuinfo - проверка процессора 
egrep '(vmx|svm)' --color /proc/cpuinfo - проверка процессора 
egrep -q '^flags.*(svm|vmx)' /proc/cpuinfo && echo virtualization extensions available - проверка процессора 
kvm-ok - проверка процессора  
egrep -c ' lm ' /proc/cpuinfo - количество потоков
uname -m  - архитектура установленной системы
free -h - количество памяти
fdisk -l - вывести список разделов и дисков
df -h - показать занятое пространство
dmesg | grep -i -e iommu -e dmar 
cat /proc/cpuinfo | grep svm - проверка процессора 
dmesg | grep AMD-Vi - проверка процессора 
lsmod | grep kvm - проверка процессора 
lsmod | grep vfio - устройства vfio (проброс pci, etc..)
dmesg | grep vfio - устройства vfio (проброс pci, etc..)
dmesg | grep VFIO - устройства vfio (проброс pci, etc..)
dmesg | grep -i vfio  - устройства vfio (проброс pci, etc..)
lspci -k | grep -i -A 3 vga - показать видео карту

egrep -c '(vmx|svm)' /proc/cpuinfo - проверка процессора

egrep '(vmx|svm)' --color /proc/cpuinfo - проверка процессора

egrep -q '^flags.*(svm|vmx)' /proc/cpuinfo && echo virtualization extensions available - проверка процессора

kvm-ok - проверка процессора

egrep -c ' lm ' /proc/cpuinfo - количество потоков

uname -m - архитектура установленной системы

free -h - количество памяти

fdisk -l - вывести список разделов и дисков

df -h - показать занятое пространство

dmesg | grep -i -e iommu -e dmar

cat /proc/cpuinfo | grep svm - проверка процессора

dmesg | grep AMD-Vi - проверка процессора

lsmod | grep kvm - проверка процессора

lsmod | grep vfio - устройства vfio (проброс pci, etc..)

dmesg | grep vfio - устройства vfio (проброс pci, etc..)

dmesg | grep VFIO - устройства vfio (проброс pci, etc..)

dmesg | grep -i vfio - устройства vfio (проброс pci, etc..)

lspci -k | grep -i -A 3 vga - показать видео карту

Файлы:

/etc/libvirt/ - здесь в основном хранятся конфигурационные файлы
/etc/libvirt/qemu.conf - главный конфиг
/var/lib/libvirt/ - здесь будут хранится образы жестких дисков, мгновенные снимки системы и многое другое.
/var/lib/libvirt/qemu/snapshot/ - резервные копии файлов конфигураций снапшотов

/etc/libvirt/ - здесь в основном хранятся конфигурационные файлы

/etc/libvirt/qemu.conf - главный конфиг

/var/lib/libvirt/ - здесь будут хранится образы жестких дисков, мгновенные снимки системы и многое другое.

/var/lib/libvirt/qemu/snapshot/ - резервные копии файлов конфигураций снапшотов

Установка:

apt-get install cpu-checker - установить программу для проверки процессора
apt-get install qemu-kvm libvirt-bin bridge-utils - установка
apt-get install virt-manager - установка virt-manager
apt-get install libosinfo-bin - установить информацию об ос 

nano /etc/network/interfaces - конфиг сети

adduser user_name libvirt - добавить user_name в группу libvirtd
adduser user_name kvm - добавить user_name в группу kvm
sudo adduser `id -un` libvirtd - добавить себя в группу libvirtd
groups - группы
cat /etc/group - посмотреть составы групп
cat /etc/passwd - посмотреть пользователей

ls  /etc/libvirt/qemu/ - здесь находятся конфиги ВМ 
virsh --connect qemu:///system version - версия
virsh --connect qemu:///system list - 
virsh -c qemu:///system list - список ВМ
virsh list --all -  вывести список ВМ (вкл/выкл)
virsh pool-list --all - вывести список хранилищ
virsh list --all - вывести список всех виртуалок
virsh net-list --all - вывести список всех виртуальных сетей
virsh sysinfo - все о хосте (cpu,mem,etc..)
virsh capabilities - свойства хоста
dpkg -L ovmf - список каталогов ovmf (bios и т.д.)

apt-get install cpu-checker - установить программу для проверки процессора

apt-get install qemu-kvm libvirt-bin bridge-utils - установка

apt-get install virt-manager - установка virt-manager

apt-get install libosinfo-bin - установить информацию об ос

nano /etc/network/interfaces - конфиг сети

adduser user_name libvirt - добавить user_name в группу libvirtd

adduser user_name kvm - добавить user_name в группу kvm

sudo adduser `id -un` libvirtd - добавить себя в группу libvirtd

groups - группы

cat /etc/group - посмотреть составы групп

cat /etc/passwd - посмотреть пользователей

ls /etc/libvirt/qemu/ - здесь находятся конфиги ВМ

virsh --connect qemu:///system version - версия

virsh --connect qemu:///system list -

virsh -c qemu:///system list - список ВМ

virsh list --all - вывести список ВМ (вкл/выкл)

virsh pool-list --all - вывести список хранилищ

virsh list --all - вывести список всех виртуалок

virsh net-list --all - вывести список всех виртуальных сетей

virsh sysinfo - все о хосте (cpu,mem,etc..)

virsh capabilities - свойства хоста

dpkg -L ovmf - список каталогов ovmf (bios и т.д.)

Настройка сети static:

nano /etc/network/interfaces
----------------------------------------
auto lo
iface lo inet loopback

auto eno1
iface eno1 inet manual
dns-nameserver 192.168.15.1
dns-nameserver 8.8.8.8

auto br0
iface br0 inet static
address 192.168.15.253
broadcast 192.168.15.255
netmask 255.255.255.0
gateway 192.168.15.1
bridge_ports eno1
bridge_stp off
-------------------------------------

nano /etc/network/interfaces

----------------------------------------

auto lo

iface lo inet loopback

auto eno1

iface eno1 inet manual

dns-nameserver 192.168.15.1

dns-nameserver 8.8.8.8

auto br0

iface br0 inet static

address 192.168.15.253

broadcast 192.168.15.255

netmask 255.255.255.0

gateway 192.168.15.1

bridge_ports eno1

bridge_stp off

-------------------------------------

Настройка сети dhcp:

nano /etc/network/interfaces
----------------------------------------
auto lo
iface lo inet loopback

auto eno1
iface eno1 inet manual
dns-nameserver 192.168.15.1
dns-nameserver 8.8.8.8

auto br0
iface br0 inet dhcp
bridge_ports eno1
bridge_stp off
-------------------------------------

nano /etc/network/interfaces

----------------------------------------

auto lo

iface lo inet loopback

auto eno1

iface eno1 inet manual

dns-nameserver 192.168.15.1

dns-nameserver 8.8.8.8

auto br0

iface br0 inet dhcp

bridge_ports eno1

bridge_stp off

-------------------------------------

Применить настройки сети без перезагрузки:

/etc/init.d/networking restart - перезагрузка сети (пере читается конфигурация сети) 
systemctl stop NetworkManager.service - остановить сеть
systemctl start NetworkManager.service - запустить (пере читается конфигурация сети) 
systemctl restart networking - перезагрузка сети (пере читается конфигурация сети)

/etc/init.d/networking restart - перезагрузка сети (пере читается конфигурация сети)

systemctl stop NetworkManager.service - остановить сеть

systemctl start NetworkManager.service - запустить (пере читается конфигурация сети)

systemctl restart networking - перезагрузка сети (пере читается конфигурация сети)

Настройка bridge:

brctl show - посмотреть доступные  бриджи
brctl addif br0 eno1 - добавить сетевую карту eno1 в br0

1 2	brctl show - посмотреть доступные бриджи brctl addif br0 eno1 - добавить сетевую карту eno1 в br0

sysctl настройка

включаем forward,proxy_arp и отключаем ipv6:
sysctl net.ipv4.conf.all.forwarding=1
sysctl net.ipv4.conf.all.proxy_arp=1
sysctl net.ipv6.conf.all.disable_ipv6=1
sysctl net.ipv6.conf.default.disable_ipv6=1
sysctl net.ipv6.conf.lo.disable_ipv6=1

можно улучшить быстродействие соединения bridge (хз и так вроде норм 
sysctl net.bridge.bridge-nf-call-ip6tables = 0 
sysctl net.bridge.bridge-nf-call-iptables = 0 
sysctl net.bridge.bridge-nf-call-arptables = 0

nano /etc/sysctl.conf - файл sysctl
sysctl -p  - применяем изменения без перезагрузки

включаем forward,proxy_arp и отключаем ipv6:

sysctl net.ipv4.conf.all.forwarding=1

sysctl net.ipv4.conf.all.proxy_arp=1

sysctl net.ipv6.conf.all.disable_ipv6=1

sysctl net.ipv6.conf.default.disable_ipv6=1

sysctl net.ipv6.conf.lo.disable_ipv6=1

можно улучшить быстродействие соединения bridge (хз и так вроде норм

sysctl net.bridge.bridge-nf-call-ip6tables = 0

sysctl net.bridge.bridge-nf-call-iptables = 0

sysctl net.bridge.bridge-nf-call-arptables = 0

nano /etc/sysctl.conf - файл sysctl

sysctl -p - применяем изменения без перезагрузки

Сеть доп:

При настройки bridge+forward  сеть заработает
На хосте буду создаваться интерфейсы vnet. 
В гостях будет интернет.
Команды для виртуальных сетей:
virsh net-list --all - вывести список всех виртуальных сетей
virsh net-info Network_NAME - подробная информация об ВС Network_NAME
virsh net-destroy default - остановить сеть
virsh net-start default - включить сеть
netstat -nap | grep kvm - определение номер порта VNC для виртуальной машины

При настройки bridge+forward сеть заработает

На хосте буду создаваться интерфейсы vnet.

В гостях будет интернет.

Команды для виртуальных сетей:

virsh net-list --all - вывести список всех виртуальных сетей

virsh net-info Network_NAME - подробная информация об ВС Network_NAME

virsh net-destroy default - остановить сеть

virsh net-start default - включить сеть

netstat -nap | grep kvm - определение номер порта VNC для виртуальной машины

Сеть виртуальная. команды:

virsh  net-list --all - список виртуальных  сетей 
virsh  net-edit default - редактирование сети по умолчанию

1 2	virsh net-list --all - список виртуальных сетей virsh net-edit default - редактирование сети по умолчанию

Отключение сети default:

ip link - посмотреть все линки
virsh net-destroy default - выключить сеть default
virsh net-autostart --disable default - отключение автозагрузки сети default

ip link - посмотреть все линки

virsh net-destroy default - выключить сеть default

virsh net-autostart --disable default - отключение автозагрузки сети default

Включение сети default:

virsh  net-list --all - показать все сети 
virsh net-autostart default - включение автозагрузки сети default

1 2	virsh net-list --all - показать все сети virsh net-autostart default - включение автозагрузки сети default

Отключаем firewalld

systemctl stop firewalld
systemctl disable firewalld
rm '/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service'
rm '/etc/systemd/system/basic.target.wants/firewalld.service'

systemctl stop firewalld

systemctl disable firewalld

rm '/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service'

rm '/etc/systemd/system/basic.target.wants/firewalld.service'

iptables:

----------------------------------------------
iptables -L -n -v - показать все правила (посмотреть текущие правила)
iptables -n -t nat -L - настройки firewall nat
iptables -n -L -v --line-numbers - для просмотра правил с номером строки
iptables -L INPUT -n -v - для просмотра INPUT правил
iptables -L OUTPUT -n -v --line-numbers - для просмотра OUTPUT правил
--------------------------------------------- 
Чтобы отчистить правила iptables его собственными средствами введите:
iptables -F
iptables -X
iptables -t nat -F
iptables -t nat -X
iptables -t mangle -F
iptables -t mangle -X
iptables -P INPUT ACCEPT
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT
---------------------------------------------
 F: Удаление всех правил (flushing).
 X: Удаление цепочки
 t <таблица>: Выбрать таблицу и удалить правила.
 P: Установить политику по умолчанию (например DROP, REJECT или ACCEPT).
---------------------------------------------

----------------------------------------------

iptables -L -n -v - показать все правила (посмотреть текущие правила)

iptables -n -t nat -L - настройки firewall nat

iptables -n -L -v --line-numbers - для просмотра правил с номером строки

iptables -L INPUT -n -v - для просмотра INPUT правил

iptables -L OUTPUT -n -v --line-numbers - для просмотра OUTPUT правил

---------------------------------------------

Чтобы отчистить правила iptables его собственными средствами введите:

iptables -F

iptables -X

iptables -t nat -F

iptables -t nat -X

iptables -t mangle -F

iptables -t mangle -X

iptables -P INPUT ACCEPT

iptables -P OUTPUT ACCEPT

iptables -P FORWARD ACCEPT

---------------------------------------------

F: Удаление всех правил (flushing).

X: Удаление цепочки

t <таблица>: Выбрать таблицу и удалить правила.

P: Установить политику по умолчанию (например DROP, REJECT или ACCEPT).

---------------------------------------------

Задаем нужный ip для гостя:

Виртуальная сетевая карта:

на хосте:
tunctl -b -u username -t debian_guest - создадим виртуальную сетевую карту и поднимем устройство
ifconfig debian_guest 0.0.0.0 up - включим сетевушку
ip route add 10.10.10.100 dev debian_guest - cсоздадим маршрут на нужное нам устройство с нужного IP-адреса

virsh edit VM_name - редактировать настройки ВМ
---------------------------------------------
<interface type='ethernet'>
    <mac address='52:54:00:ef:40:1d'/>
    <ip address='10.10.10.100'/>
    <target dev='debian_guest'/>
    <model type='virtio'/>
</interface>
---------------------------------------------

Настройки на госте 
ifconfig eth0 10.10.10.100 netmask 255.255.255.0 - задаем ip
route add default gw 10.10.10.10 - задаем маршрут

на хосте:

tunctl -b -u username -t debian_guest - создадим виртуальную сетевую карту и поднимем устройство

ifconfig debian_guest 0.0.0.0 up - включим сетевушку

ip route add 10.10.10.100 dev debian_guest - cсоздадим маршрут на нужное нам устройство с нужного IP-адреса

virsh edit VM_name - редактировать настройки ВМ

---------------------------------------------

</interface>

---------------------------------------------

Настройки на госте

ifconfig eth0 10.10.10.100 netmask 255.255.255.0 - задаем ip

route add default gw 10.10.10.10 - задаем маршрут

vlan:

<network>
  <name>ovs-net</name>
  <forward mode='bridge'/>
  <bridge name='ovsbr0'/>
  <virtualport type='openvswitch'>
    <parameters interfaceid='09b11c53-8b5c-4eeb-8f00-d84eaa0aaa4f'/>
  </virtualport>
  <vlan trunk='yes'>
    <tag id='42' nativeMode='untagged'/>
    <tag id='47'/>
  </vlan>
  <portgroup name='dontpanic'>
    <vlan>
      <tag id='42'/>
    </vlan>
  </portgroup>
</network>

</virtualport>

</vlan>

<vlan>

</vlan>

</portgroup>

</network>

console:

Я получил ошибку, когда пытался запустить консоль своей виртуальной машины:
$ virsh console alice
error: internal error: cannot find character device <null>
Эта ошибка возникает потому, что вы не определили устройство консоли в XML-файле виртуальной машины. 
Добавьте приведенные ниже строки в раздел "device" XML-файла.
<console type='pty'>
  <target port='0'/>
</console>

Я получил ошибку, когда пытался запустить консоль своей виртуальной машины:

$ virsh console alice

error: internal error: cannot find character device <null>

Эта ошибка возникает потому, что вы не определили устройство консоли в XML-файле виртуальной машины.

Добавьте приведенные ниже строки в раздел "device" XML-файла.

</console>

VNC:

---------------------------------------------
Проверяем вкл VNC:
virsh dumpxml debian8 | grep vnc
видим <graphics type='vnc' port='5904' autoport='yes' listen='127.0.0.1'>
---------------------------------------------
Так выглядит настройка:
<graphics type='vnc' port='5914' autoport='no' listen='0.0.0.0' passwd='some.password.here'>
<listen type='address' address='0.0.0.0'/>
</graphics>
---------------------------------------------
virsh vncdisplay VMName_1 - узнаем порт VNC(для подключения используем внешний VNC клиент)
где VMName_1 — имя ВМ, :3 — номер по порядку порта, начиная с 5900, 
то есть подключаться надо на порт 5903, 
но в программе UltraVNC сработает и так 10.110.10.15:3 
---------------------------------------------

---------------------------------------------

Проверяем вкл VNC:

virsh dumpxml debian8 | grep vnc

видим <graphics type='vnc' port='5904' autoport='yes' listen='127.0.0.1'>

---------------------------------------------

Так выглядит настройка:

</graphics>

---------------------------------------------

virsh vncdisplay VMName_1 - узнаем порт VNC(для подключения используем внешний VNC клиент)

где VMName_1 — имя ВМ, :3 — номер по порядку порта, начиная с 5900,

то есть подключаться надо на порт 5903,

но в программе UltraVNC сработает и так 10.110.10.15:3

---------------------------------------------

Хранилища команды:

virsh pool-list - вывести список хранилищ
mkdir -p /mnt/temp1/datastore1 - создать каталог /mnt/temp1/datastore1 (параметр -p создаст каталог temp1 если его нету)
virsh pool-define-as Имя_пула тип - - - - "/путь"  - создать пул хранилища Имя_пула
virsh pool-define-as storage dir - - - - "/mnt/temp1/datastore1"   - создать пул хранилища storage
virsh pool-build Имя_хранилища - собираем хранилище Имя_хранилища
virsh pool-build storage - собираем хранилище storage
virsh pool-start storage - включаем хранилище storage
virsh pool-autostart storage - включаем авто включение хранилище storage 
virsh pool-info storage - информация о хранилище (емкость и свободное место)
virsh pool-destroy storage - отключить хранилище с именем storage
virsh pool-delete storage - удалить хранилище
virsh pool-undefine storage - удалить определение(настройки) хранилища

virsh pool-list - вывести список хранилищ

mkdir -p /mnt/temp1/datastore1 - создать каталог /mnt/temp1/datastore1 (параметр -p создаст каталог temp1 если его нету)

virsh pool-define-as Имя_пула тип - - - - "/путь" - создать пул хранилища Имя_пула

virsh pool-define-as storage dir - - - - "/mnt/temp1/datastore1" - создать пул хранилища storage

virsh pool-build Имя_хранилища - собираем хранилище Имя_хранилища

virsh pool-build storage - собираем хранилище storage

virsh pool-start storage - включаем хранилище storage

virsh pool-autostart storage - включаем авто включение хранилище storage

virsh pool-info storage - информация о хранилище (емкость и свободное место)

virsh pool-destroy storage - отключить хранилище с именем storage

virsh pool-delete storage - удалить хранилище

virsh pool-undefine storage - удалить определение(настройки) хранилища

Создание хранилища:

0) virsh pool-define-as datastore1 dir - - - - "/mnt/datastore1" - обозначаем хранилище  datastore1
1) virsh pool-build datastore1 - собираем хранилище  datastore1
2) virsh pool-start datastore1 - запускаем хранилище  datastore1
3) virsh pool-autostart datastore1 - включаем авто загрузку хранилища   datastore1

0) virsh pool-define-as datastore1 dir - - - - "/mnt/datastore1" - обозначаем хранилище datastore1

1) virsh pool-build datastore1 - собираем хранилище datastore1

2) virsh pool-start datastore1 - запускаем хранилище datastore1

3) virsh pool-autostart datastore1 - включаем авто загрузку хранилища datastore1

Создание хранилища(:

0) virsh - входим в virsh
1) pool-create-as iso1 dir - - - - "/mnt/datastore2/iso1/" - создаем настройки для хранилища (XML-конфигурация пула)
2) pool-refresh iso1 - собираем хранилище
ошибка: Не удалось собрать пул iso1
ошибка: Запрошена недопустимая операция: пул «iso1» уже активен
3) pool-refresh iso1 - перечитываем конфигурацию для хранилища iso1
4) virsh pool-autostart iso1 - включаем авто включение хранилища iso1

0) virsh - входим в virsh

1) pool-create-as iso1 dir - - - - "/mnt/datastore2/iso1/" - создаем настройки для хранилища (XML-конфигурация пула)

2) pool-refresh iso1 - собираем хранилище

ошибка: Не удалось собрать пул iso1

ошибка: Запрошена недопустимая операция: пул «iso1» уже активен

3) pool-refresh iso1 - перечитываем конфигурацию для хранилища iso1

4) virsh pool-autostart iso1 - включаем авто включение хранилища iso1

Отключение хранилища:

0) virsh pool-stop datastore1 - остановка хранилища
1) virsh pool-autostart  --disable datastore1 - отключаем  авто включение хранилища
2) virsh pool-undefine datastore - удалить определение(настройки) хранилища (убирается из автозагрузки)
!!! файлы должны остаться

0) virsh pool-stop datastore1 - остановка хранилища

1) virsh pool-autostart --disable datastore1 - отключаем авто включение хранилища

2) virsh pool-undefine datastore - удалить определение(настройки) хранилища (убирается из автозагрузки)

!!! файлы должны остаться

Установочные файлы:

wget https://mirrors.kernel.org/centos/7.2.1511/isos/x86_64/CentOS-7-x86_64-DVD-1511.iso - CentOS 7.x
wget ftp://ftp.freebsd.org/pub/FreeBSD/releases/amd64/amd64/ISO-IMAGES/10.3/FreeBSD-10.3-RELEASE-amd64-disc1.iso - FreeBSD 10
wget ftp://ftp.freebsd.org/pub/FreeBSD/releases/amd64/amd64/ISO-IMAGES/11.0/FreeBSD-11.0-RELEASE-amd64-disc1.iso - FreeBSD 11
wget http://mirror.esc7.net/pub/OpenBSD/5.9/amd64/install59.iso - OPENBSD 5.9
wget https://mirrors.kernel.org/debian-cd/current/amd64/iso-dvd/debian-8.5.0-amd64-DVD-1.iso - DEBIAN 8.X
wget https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.1.0-amd64-netinst.iso - DEBIAN 9.x

wget https://mirrors.kernel.org/centos/7.2.1511/isos/x86_64/CentOS-7-x86_64-DVD-1511.iso - CentOS 7.x

wget ftp://ftp.freebsd.org/pub/FreeBSD/releases/amd64/amd64/ISO-IMAGES/10.3/FreeBSD-10.3-RELEASE-amd64-disc1.iso - FreeBSD 10

wget ftp://ftp.freebsd.org/pub/FreeBSD/releases/amd64/amd64/ISO-IMAGES/11.0/FreeBSD-11.0-RELEASE-amd64-disc1.iso - FreeBSD 11

wget http://mirror.esc7.net/pub/OpenBSD/5.9/amd64/install59.iso - OPENBSD 5.9

wget https://mirrors.kernel.org/debian-cd/current/amd64/iso-dvd/debian-8.5.0-amd64-DVD-1.iso - DEBIAN 8.X

wget https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.1.0-amd64-netinst.iso - DEBIAN 9.x

Подключаем диск гостю:

!!! рекомендуется диск подключать по его UUID
!!! использую путь /dev/disk/by-id/UUID_DISK
fdisk -l - показать все диски и разметку
lshw -class disk -class storage - показать все устройства хранения
blkid - программа показывает UUID дисков и разделов
ls -l /dev/disk/by-id/ - показывает UUID дисков и разделов
ls -l /dev/disk/by-id/ |grep sdb - показывает UUID диска/разделов  sdb

Физический  диск virtio:
---------------------------------------------
    <disk type='block' device='disk'> - подключаем блочное устройство
      <driver name='qemu' type='raw' cache='none'/> - драйвер,тип данных, кеш
      <source dev='/dev/sdc'/> - источник (наш диск)
      <target dev='vdb' bus='virtio'/> - "буква" диска и шина
      <address type='pci' domain='0x0000' bus='0x02' slot='0x08' function='0x0'/> - контролер
    </disk>
---------------------------------------------
Физический диск virtio:
---------------------------------------------
<disk type='block' device='disk'>
      <driver name='qemu' type='raw' cache='none'/>
      <source dev='/dev/disk/by-id/ata-PLEXTOR_PX-128M6S_P02448110395'/>
      <target dev='sda' bus='sata'/>
      <boot order='2'/>
      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
    </disk>

---------------------------------------------
Физический диск virtio:
---------------------------------------------
 <disk type='block' device='disk'>
      <driver name='qemu' type='raw' cache='none'/>
      <source dev='/dev/disk/by-id/ata-Hitachi_HDS722020ALA330_JK11A8B9J8D3BF'/>
      <target dev='vdb' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x08' function='0x0'/>
    </disk>
---------------------------------------------

Виртуальный диск virtio:
---------------------------------------------
 <disk type='file' device='disk'>
      <driver name='qemu' type='qcow2'/>
      <source file='/mnt/datastore2/backup/mywin-backup1.qcow2'/>
      <target dev='vdc' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x02' slot='0x0a' function='0x0'/>
    </disk>


контроллер virtio:
---------------------------------------------
---------------------------------------------

диск sata:
---------------------------------------------
---------------------------------------------


контролер sata:
---------------------------------------------
    <controller type='sata' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x1f' function='0x2'/>
    </controller>

---------------------------------------------

!!! рекомендуется диск подключать по его UUID

!!! использую путь /dev/disk/by-id/UUID_DISK

fdisk -l - показать все диски и разметку

lshw -class disk -class storage - показать все устройства хранения

blkid - программа показывает UUID дисков и разделов

ls -l /dev/disk/by-id/ - показывает UUID дисков и разделов

ls -l /dev/disk/by-id/ |grep sdb - показывает UUID диска/разделов sdb

Физический диск virtio:

---------------------------------------------

<disk type='block' device='disk'> - подключаем блочное устройство

<driver name='qemu' type='raw' cache='none'/> - драйвер,тип данных, кеш

<source dev='/dev/sdc'/> - источник (наш диск)

<target dev='vdb' bus='virtio'/> - "буква" диска и шина

<address type='pci' domain='0x0000' bus='0x02' slot='0x08' function='0x0'/> - контролер

</disk>

---------------------------------------------

Физический диск virtio:

---------------------------------------------

</disk>

---------------------------------------------

Физический диск virtio:

---------------------------------------------

</disk>

---------------------------------------------

Виртуальный диск virtio:

---------------------------------------------

</disk>

контроллер virtio:

---------------------------------------------

диск sata:

---------------------------------------------

контролер sata:

---------------------------------------------

</controller>

---------------------------------------------

Управление VM:

osinfo-query os - список поддерживаемых ос 
virsh list --all - показать все доступные ВМ
virsh start VM_name - запустить ВМ
virsh reboot VM_name - перезагрузка VM
virsh shutdown VM_NAME - выключить ВМ (нажать кнопку выкл)
virsh destroy VM_name - выключить насильно ВМ (как вытащить вилку из розетки)
virsh undefine VM_name - удалить ВМ
virsh autostart VM_name - включить автозагрузку для ВМ
virsh autostart --disable VM_name - отключить автозагрузку ВМ
virsh edit VM_name - отредактировать настройки ВМ

osinfo-query os - список поддерживаемых ос

virsh list --all - показать все доступные ВМ

virsh start VM_name - запустить ВМ

virsh reboot VM_name - перезагрузка VM

virsh shutdown VM_NAME - выключить ВМ (нажать кнопку выкл)

virsh destroy VM_name - выключить насильно ВМ (как вытащить вилку из розетки)

virsh undefine VM_name - удалить ВМ

virsh autostart VM_name - включить автозагрузку для ВМ

virsh autostart --disable VM_name - отключить автозагрузку ВМ

virsh edit VM_name - отредактировать настройки ВМ

Клонирование ВМ:

virt-clone --help - клонирует существующую виртуалку и изменяет host-sensitive данные, например, mac address
virt-clone -o VM_name -n vm_name_clone --file /mnt/tmp/vm_name_clone.img

1 2	virt-clone --help - клонирует существующую виртуалку и изменяет host-sensitive данные, например, mac address virt-clone -o VM_name -n vm_name_clone --file /mnt/tmp/vm_name_clone.img

Изменение диска:

qemu-img resize /mnt/datastore/name_disk.img -2G - уменьшить размер диска
qemu-img resize /mnt/datastore/name_disk.img +2G - увеличить размер диска
qemu-img info /mnt/datastore/name_disk.img - информация о диске

qemu-img resize /mnt/datastore/name_disk.img -2G - уменьшить размер диска

qemu-img resize /mnt/datastore/name_disk.img +2G - увеличить размер диска

qemu-img info /mnt/datastore/name_disk.img - информация о диске

Еще команды для диска:

qemu-img create -f qcow2 /home/dev/images/alice.img 5G - создание диска qcow2
qemu-img create -o preallocation=metadata -f qcow2 name_disk.qcow2 20G - создание диска qcow2
kvm-img convert -O qcow2 zimbra-000001.vmdk zimbra.qcow2 - конвертация

qemu-img create -f qcow2 /home/dev/images/alice.img 5G - создание диска qcow2

qemu-img create -o preallocation=metadata -f qcow2 name_disk.qcow2 20G - создание диска qcow2

kvm-img convert -O qcow2 zimbra-000001.vmdk zimbra.qcow2 - конвертация

Команды изменение привода ( CD-ROM DVD ISO):

change-media guest01 vdd --eject - извлечение образа
change-media guest01 vdd /pool/disc.iso - вставка нового образа:
Общий формат команды:
change-media <domain> <path> [<source>] [--eject] [--insert] [--update] [--current] [--live] [--config] [--force]

change-media guest01 vdd --eject - извлечение образа

change-media guest01 vdd /pool/disc.iso - вставка нового образа:

Общий формат команды:

change-media <domain> <path> [<source>] [--eject] [--insert] [--update] [--current] [--live] [--config] [--force]

Снапшоты:

 snapshot-create-as VM_name - создать снимок для VM_name
virsh snapshot-list VM_name - просмотреть снимки 
virsh snapshot-revert VM_name 1360593244 - восстановить из снимка
virsh snapshot-delete VM_name 1360593244 - удалить снимок

snapshot-create-as VM_name - создать снимок для VM_name

virsh snapshot-list VM_name - просмотреть снимки

virsh snapshot-revert VM_name 1360593244 - восстановить из снимка

virsh snapshot-delete VM_name 1360593244 - удалить снимок

Время хоста:

!!!! аппаратные часы идут по UTC !!!
nano /etc/syscomfig/clock - воспринимает только одно значение UTC - это UTC=no или UTC=false, 
                            а его наличие UTC=yes или UTC=true или как таковое отсутствие (это по дефолту) 
                            подразумевает что аппаратные часы выставлены как положено (в UTC)
hwclock -w --localtime - установить время
dpkg-reconfigure tzdata - изменить временную зону
dpkg-reconfigure locales - настроить локали (язык)
dpkg-reconfigure console-data - настройки раскладки клавиатуры

!!!! аппаратные часы идут по UTC !!!

nano /etc/syscomfig/clock - воспринимает только одно значение UTC - это UTC=no или UTC=false,

а его наличие UTC=yes или UTC=true или как таковое отсутствие (это по дефолту)

подразумевает что аппаратные часы выставлены как положено (в UTC)

hwclock -w --localtime - установить время

dpkg-reconfigure tzdata - изменить временную зону

dpkg-reconfigure locales - настроить локали (язык)

dpkg-reconfigure console-data - настройки раскладки клавиатуры

Время гостя:

virsh list -all - список ВМ
virsh dumpxml instance-xxxx | grep clock
virsh edit VM_name - редактирование файла конфигурации
virsh domtime $name_vm --now - синхронизировать время гостя с хоста
----------------------------------------
<clock offset='localtime'>
    <timer name='rtc' tickpolicy='catchup'/>
    <timer name='pit' tickpolicy='delay'/>
    <timer name='hpet' present='no'/>
    <timer name='hypervclock' present='yes'/>
  </clock>
----------------------------------------

virsh list -all - список ВМ

virsh dumpxml instance-xxxx | grep clock

virsh edit VM_name - редактирование файла конфигурации

virsh domtime $name_vm --now - синхронизировать время гостя с хоста

----------------------------------------

</clock>

----------------------------------------

NTP — сервер времени:

nano /etc/default/ntp
nano /etc/default/ntpdate

1 2	nano /etc/default/ntp nano /etc/default/ntpdate

Миграция ВМ:

virsh migrate --live vm_NAME qemu+ssh://host2.com/system - миграция
virsh qemu+ssh://host2.com/system list - проверка результата

1 2	virsh migrate --live vm_NAME qemu+ssh://host2.com/system - миграция virsh qemu+ssh://host2.com/system list - проверка результата

Backup VM с остановкой:

0) virsh list --all - узнаем имена всех машин
1) virsh dumpxml имя_машины > имя_машины.xml - сохраняем конфигурацию VM
2) virsh shutdown имя_машины - останавливаем нужную виртуальную машину
3) Сжимаем файл имя_машины.img при помощи Lzop. 
lzop -c -1
4) Запускаем виртуальную машину
virsh start имя_машины
5) Копируем файл имя_машины.img.lzo любым удобным образом на сервер бекапов.

0) virsh list --all - узнаем имена всех машин

1) virsh dumpxml имя_машины > имя_машины.xml - сохраняем конфигурацию VM

2) virsh shutdown имя_машины - останавливаем нужную виртуальную машину

3) Сжимаем файл имя_машины.img при помощи Lzop.

lzop -c -1

4) Запускаем виртуальную машину

virsh start имя_машины

5) Копируем файл имя_машины.img.lzo любым удобным образом на сервер бекапов.

Распаковка Lzo:

lzop -dc disk1.lzo > /new/path/disk1.img
lzop -dc disk1.lzo > /dev/vg_name/vm_disk1

1 2	lzop -dc disk1.lzo > /new/path/disk1.img lzop -dc disk1.lzo > /dev/vg_name/vm_disk1

Агент QEMU установка (Tools):

-------------------------------------------
Установка на госте:
# в Debian - apt-get install qemu-guest-agent
# в CentOS - yum install qemu-guest-agent
# В Windows - с диска virtio-win установить пакет qemu-ga из папки guest-agent
-------------------------------------------
Установка на хосте для гостя:
<channel type='unix'>
   <source mode='bind' path='/var/lib/libvirt/qemu/f16x86_64.agent'/>
   <target type='virtio' name='org.qemu.guest_agent.1'/>
</channel>
-------------------------------------------

-------------------------------------------

Установка на госте:

# в Debian - apt-get install qemu-guest-agent

# в CentOS - yum install qemu-guest-agent

# В Windows - с диска virtio-win установить пакет qemu-ga из папки guest-agent

-------------------------------------------

Установка на хосте для гостя:

</channel>

-------------------------------------------

Установка drivers windows:

0) Подключаем диск с драйверами
1) В диспетчере устройств -> устройство -> обновить драйвер -> папка с драйверами

1 2	0) Подключаем диск с драйверами 1) В диспетчере устройств -> устройство -> обновить драйвер -> папка с драйверами

Установка Balloon

0) Копируем balloon из virtio.iso в "c:/Program files/Balloon"
1) Запускаем CMD от Администратора 
2) Создаем каталог Balloon
cd "c:\Program Files\"
mkdir Balloon
3) Переходим в каталог c:\Program Files\Balloon
cd "c:\Program Files\Balloon"
4) Ставим BLNSVR.exe 
BLNSVR.exe -i

0) Копируем balloon из virtio.iso в "c:/Program files/Balloon"

1) Запускаем CMD от Администратора

2) Создаем каталог Balloon

cd "c:\Program Files\"

mkdir Balloon

3) Переходим в каталог c:\Program Files\Balloon

cd "c:\Program Files\Balloon"

4) Ставим BLNSVR.exe

BLNSVR.exe -i

Backup VM без остановки:

В клиенте устанавливаем Агент QEMU!
-------------------------------------------
Информация:
virsh domblklist vm-name -  узнаем имена дисков виртуальной машины
virsh list --all - вывести список всех виртуалок
vm-name	- имя виртуальной машины
backup-snapshot	- название снэпшота, может быть любым
vda -имя диска, для которого указываем адрес снепшота
/snapshot/vm-name-backup.qcow2	- путь и имя файла для снепшота
-------------------------------------------
На сервере:
0) virsh snapshot-create-as --domain vm-name backup-snapshot -diskspec vda,file=/snapshot/vm-name-backup.qcow2 --disk-only --atomic --quiesce --no-metadata - выполняем снимок виртуалки
1) pigz -c /virt/vm-name.qcow2 > /backup-vm/vm-name.qcow2.gz - архивируем основной файл виртуальной машины
2) virsh blockcommit vm-name vda --active --verbose --pivot - выполняем слияние снапшота + диск
3) rm /snapshot/vm-name-backup.qcow2 - удаляем снапшот
4) virsh dumpxml vm-name > /backup-vm/vm-name.xml - бэкапим настройки виртуалки

В клиенте устанавливаем Агент QEMU!

-------------------------------------------

Информация:

virsh domblklist vm-name - узнаем имена дисков виртуальной машины

virsh list --all - вывести список всех виртуалок

vm-name - имя виртуальной машины

backup-snapshot - название снэпшота, может быть любым

vda -имя диска, для которого указываем адрес снепшота

/snapshot/vm-name-backup.qcow2 - путь и имя файла для снепшота

-------------------------------------------

На сервере:

0) virsh snapshot-create-as --domain vm-name backup-snapshot -diskspec vda,file=/snapshot/vm-name-backup.qcow2 --disk-only --atomic --quiesce --no-metadata - выполняем снимок виртуалки

1) pigz -c /virt/vm-name.qcow2 > /backup-vm/vm-name.qcow2.gz - архивируем основной файл виртуальной машины

2) virsh blockcommit vm-name vda --active --verbose --pivot - выполняем слияние снапшота + диск

3) rm /snapshot/vm-name-backup.qcow2 - удаляем снапшот

4) virsh dumpxml vm-name > /backup-vm/vm-name.xml - бэкапим настройки виртуалки

Скрипт бэкапа:

#!/bin/bash

# Дата год-месяц-день
data=`date +%Y-%m-%d`
# Папка для бэкапов
backup_dir=/backup-vm
# Список работающих VM
vm_list=`virsh list | grep running | awk '{print $2}'`
# Список VM, заданных вручную, через пробел
#vm_list=(vm-1 vm-2)
# Лог файл
logfile="/var/log/kvmbackup.log"

# Использовать это условие, если список VM задается вручную
#for activevm in "${vm_list[@]}";
# Использовать это условие, если список работающих VM берется автоматически
for activevm in $vm_list
    do
        mkdir -p $backup_dir/$activevm
        # Записываем информацию в лог с секундами
        echo "`date +"%Y-%m-%d_%H-%M-%S"` Start backup $activevm" >> $logfile
        # Бэкапим конфигурацию
        virsh dumpxml $activevm > $backup_dir/$activevm/$activevm-$data.xml
        echo "`date +"%Y-%m-%d_%H-%M-%S"` Create snapshots $activevm" >> $logfile
        # Список дисков VM
        disk_list=`virsh domblklist $activevm | grep vd | awk '{print $1}'`
        # Адрес дисков VM
        disk_path=`virsh domblklist $activevm | grep vd | awk '{print $2}'`
        # Делаем снепшот диcков
        virsh snapshot-create-as --domain $activevm snapshot --disk-only --atomic --quiesce --no-metadata
        sleep 2
        for path in $disk_path
            do
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Create backup $activevm $path" >> $logfile
                # Вычленяем имя файла из пути
                filename=`basename $path`
                # Бэкапим диск
                pigz -c $path > $backup_dir/$activevm/$filename.gz
                sleep 2
            done
        for disk in $disk_list
            do
                # Определяем путь до снепшота
                snap_path=`virsh domblklist $activevm | grep $disk | awk '{print $2}'`
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Commit snapshot $activevm $snap_path" >> $logfile
                # Объединяем снепшот
                virsh blockcommit $activevm $disk --active --verbose --pivot
                sleep 2
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Delete snapshot $activevm $snap_path" >> $logfile
                # Удаляем снепшот
                rm $snap_path
            done
        echo "`date +"%Y-%m-%d_%H-%M-%S"` End backup $activevm" >> $logfile
    done

#!/bin/bash

# Дата год-месяц-день

data=`date +%Y-%m-%d`

# Папка для бэкапов

backup_dir=/backup-vm

# Список работающих VM

vm_list=`virsh list | grep running | awk '{print $2}'`

# Список VM, заданных вручную, через пробел

#vm_list=(vm-1 vm-2)

# Лог файл

logfile="/var/log/kvmbackup.log"

# Использовать это условие, если список VM задается вручную

#for activevm in "${vm_list[@]}";

# Использовать это условие, если список работающих VM берется автоматически

for activevm in $vm_list

mkdir -p $backup_dir/$activevm

# Записываем информацию в лог с секундами

echo "`date +"%Y-%m-%d_%H-%M-%S"` Start backup $activevm" >> $logfile

# Бэкапим конфигурацию

virsh dumpxml $activevm > $backup_dir/$activevm/$activevm-$data.xml

echo "`date +"%Y-%m-%d_%H-%M-%S"` Create snapshots $activevm" >> $logfile

# Список дисков VM

disk_list=`virsh domblklist $activevm | grep vd | awk '{print $1}'`

# Адрес дисков VM

disk_path=`virsh domblklist $activevm | grep vd | awk '{print $2}'`

# Делаем снепшот диcков

virsh snapshot-create-as --domain $activevm snapshot --disk-only --atomic --quiesce --no-metadata

sleep 2

for path in $disk_path

echo "`date +"%Y-%m-%d_%H-%M-%S"` Create backup $activevm $path" >> $logfile

# Вычленяем имя файла из пути

filename=`basename $path`

# Бэкапим диск

pigz -c $path > $backup_dir/$activevm/$filename.gz

sleep 2

done

for disk in $disk_list

# Определяем путь до снепшота

snap_path=`virsh domblklist $activevm | grep $disk | awk '{print $2}'`

echo "`date +"%Y-%m-%d_%H-%M-%S"` Commit snapshot $activevm $snap_path" >> $logfile

# Объединяем снепшот

virsh blockcommit $activevm $disk --active --verbose --pivot

sleep 2

echo "`date +"%Y-%m-%d_%H-%M-%S"` Delete snapshot $activevm $snap_path" >> $logfile

# Удаляем снепшот

rm $snap_path

done

echo "`date +"%Y-%m-%d_%H-%M-%S"` End backup $activevm" >> $logfile

done

Очистка папки с бэкапами:

Данная команда удалит все файлы старше 90 дней:
/usr/bin/find /backup-vm/*/ -type f -mtime +90 -exec rm -rf {} \;

1 2	Данная команда удалит все файлы старше 90 дней: /usr/bin/find /backup-vm/*/ -type f -mtime +90 -exec rm -rf {} \;

Установка и настройка ВМ:

!!! Перед выполнением этих команд убедитесь, что вы создали образ диска.
-------------------------------------------
virt-install \
--name debian8 \
--ram 1024 \
--disk path=./debian8.qcow2,size=8 \
--vcpus 1 \
--os-type linux \
--os-variant generic \
--network bridge=virbr0 \
--graphics none \
--console pty,target_type=serial \
--location 'http://ftp.nl.debian.org/debian/dists/jessie/main/installer-amd64/' \
--extra-args 'console=ttyS0,115200n8 serial
-------------------------------------------
virt-install \
--name centos7 \
--ram 1024 \
--disk path=./centos7.qcow2,size=8 \
--vcpus 1 \
--os-type linux \
--os-variant centos7 \
--network bridge=virbr0 \
--graphics none \
--console pty,target_type=serial \
--location 'http://mirror.i3d.net/pub/centos/7/os/x86_64/' \
--extra-args 'console=ttyS0,115200n8 serial'
-------------------------------------------
virt-install \
--name ubuntu1404 \
--ram 1024 \
--disk path=./ubuntu1404.qcow2,size=8 \
--vcpus 1 \
--os-type linux \
--os-variant generic \
--network bridge=virbr0 \
--graphics none \
--console pty,target_type=serial \
--location 'http://archive.ubuntu.com/ubuntu/dists/trusty/main/installer-amd64/' \
--extra-args 'console=ttyS0,115200n8 serial'
-------------------------------------------
wget http://ftp.freebsd.org/pub/FreeBSD/releases/ISO-IMAGES/10.1/FreeBSD-10.1-RELEASE-amd64-dvd1.iso
virt-install \
--name freebsd10 \
--ram 1024 \
--disk path=./freebsd10.qcow2,size=8 \
--vcpus 1 \
--os-type generic \
--os-variant generic \
--network bridge=virbr0 \
--graphics vnc,port=5999 \
--console pty,target_type=serial \
--cdrom ./FreeBSD-10.1-RELEASE-amd64-dvd1.iso \
-------------------------------------------

!!! Перед выполнением этих команд убедитесь, что вы создали образ диска.

-------------------------------------------

virt-install \

--name debian8 \

--ram 1024 \

--disk path=./debian8.qcow2,size=8 \

--vcpus 1 \

--os-type linux \

--os-variant generic \

--network bridge=virbr0 \

--graphics none \

--console pty,target_type=serial \

--location 'http://ftp.nl.debian.org/debian/dists/jessie/main/installer-amd64/' \

--extra-args 'console=ttyS0,115200n8 serial

-------------------------------------------

virt-install \

--name centos7 \

--ram 1024 \

--disk path=./centos7.qcow2,size=8 \

--vcpus 1 \

--os-type linux \

--os-variant centos7 \

--network bridge=virbr0 \

--graphics none \

--console pty,target_type=serial \

--location 'http://mirror.i3d.net/pub/centos/7/os/x86_64/' \

--extra-args 'console=ttyS0,115200n8 serial'

-------------------------------------------

virt-install \

--name ubuntu1404 \

--ram 1024 \

--disk path=./ubuntu1404.qcow2,size=8 \

--vcpus 1 \

--os-type linux \

--os-variant generic \

--network bridge=virbr0 \

--graphics none \

--console pty,target_type=serial \

--location 'http://archive.ubuntu.com/ubuntu/dists/trusty/main/installer-amd64/' \

--extra-args 'console=ttyS0,115200n8 serial'

-------------------------------------------

wget http://ftp.freebsd.org/pub/FreeBSD/releases/ISO-IMAGES/10.1/FreeBSD-10.1-RELEASE-amd64-dvd1.iso

virt-install \

--name freebsd10 \

--ram 1024 \

--disk path=./freebsd10.qcow2,size=8 \

--vcpus 1 \

--os-type generic \

--os-variant generic \

--network bridge=virbr0 \

--graphics vnc,port=5999 \

--console pty,target_type=serial \

--cdrom ./FreeBSD-10.1-RELEASE-amd64-dvd1.iso \

-------------------------------------------

Источники:

https://fedoraproject.org/wiki/Windows_Virtio_Drivers - драйверы для windows 
https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/stable-virtio/virtio-win.iso - драйверы для windows iso
http://goodigy.ru/kvm_na_ubuntu_server_14.04
http://goodigy.ru/ustanovka_mashin_virt-install
https://help.ubuntu.com/community/KVM/Networking
http://www.linux-kvm.org/page/Main_Page
http://xgu.ru/wiki/Linux_Bridge
https://habrahabr.ru/post/168791/
https://linux.die.net/man/1/virt-install
https://khashtamov.com/ru/kvm-setup-server/
https://davidyat.es/2016/09/08/gpu-passthrough/
https://ycnrg.org/vga-passthrough-with-ovmf-vfio/
http://libvirt.org/formatdomain.html#elementsTime
https://www.cyberciti.biz/faq/installing-kvm-on-ubuntu-16-04-lts-server/
https://serveradmin.ru/kvm-backup/
http://wiki.libvirt.org/page/Live-disk-backup-with-active-blockcommit
https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Virtualization_Deployment_and_Administration_Guide/chap-QEMU_Guest_Agent.html
http://rus-linux.net/MyLDP/vm/kvm-v-debian.html

https://fedoraproject.org/wiki/Windows_Virtio_Drivers - драйверы для windows

https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/stable-virtio/virtio-win.iso - драйверы для windows iso

http://goodigy.ru/kvm_na_ubuntu_server_14.04

http://goodigy.ru/ustanovka_mashin_virt-install

https://help.ubuntu.com/community/KVM/Networking

http://www.linux-kvm.org/page/Main_Page

http://xgu.ru/wiki/Linux_Bridge

https://habrahabr.ru/post/168791/

https://linux.die.net/man/1/virt-install

https://khashtamov.com/ru/kvm-setup-server/

https://davidyat.es/2016/09/08/gpu-passthrough/

https://ycnrg.org/vga-passthrough-with-ovmf-vfio/

http://libvirt.org/formatdomain.html#elementsTime

https://www.cyberciti.biz/faq/installing-kvm-on-ubuntu-16-04-lts-server/

https://serveradmin.ru/kvm-backup/

http://wiki.libvirt.org/page/Live-disk-backup-with-active-blockcommit

https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Virtualization_Deployment_and_Administration_Guide/chap-QEMU_Guest_Agent.html

http://rus-linux.net/MyLDP/vm/kvm-v-debian.html

KVM qcow2 to vhdx

источники:

https://blogs.msdn.microsoft.com/virtual_pc_guy/2015/06/22/handy-tool-for-converting-kvm-vmware-images-to-hyper-v/
https://cloudbase.it/qemu-img-windows/
http://jidckii.ru/%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D1%82%D0%B0%D1%86%D0%B8%D1%8F-%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2-vm-%D0%BF%D1%80%D0%B8-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D0%B8-qemu-img-%D0%B2-%D0%BB%D1%8E/

https://blogs.msdn.microsoft.com/virtual_pc_guy/2015/06/22/handy-tool-for-converting-kvm-vmware-images-to-hyper-v/

https://cloudbase.it/qemu-img-windows/

http://jidckii.ru/%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D1%82%D0%B0%D1%86%D0%B8%D1%8F-%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2-vm-%D0%BF%D1%80%D0%B8-%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D0%B8-qemu-img-%D0%B2-%D0%BB%D1%8E/

возможные форматы:

VMDK (VMware) — vmdk
QCOW2 (KVM, Xen) — qcow2
VHD (Hyper-V) — vpc
VHDX (Hyper-V) — vhdx
RAW —  raw
VDI (VirtualBox)  — vdi

VMDK (VMware) — vmdk

QCOW2 (KVM, Xen) — qcow2

VHD (Hyper-V) — vpc

VHDX (Hyper-V) — vhdx

RAW — raw

VDI (VirtualBox) — vdi

основные команды:

qemu-img convert -f qcow2 “SourceDisk.img” -O vhdx -o subformat=dynamic “Destination.vhdx” - конвертация qcow2 в vhdx
qemu-img.exe convert -f qcow2 "f:\old_disk1\dc.qcow2" -O vpc  g:\vhd\dc.vhd - конвертация  qcow2 в vhd
qemu-img.exe check source.qcow2 - проверка образа
qemu-img.exe info image.qcow2 - информация об образе

qemu-img convert -f qcow2 “SourceDisk.img” -O vhdx -o subformat=dynamic “Destination.vhdx” - конвертация qcow2 в vhdx

qemu-img.exe convert -f qcow2 "f:\old_disk1\dc.qcow2" -O vpc g:\vhd\dc.vhd - конвертация qcow2 в vhd

qemu-img.exe check source.qcow2 - проверка образа

qemu-img.exe info image.qcow2 - информация об образе

приступил :(

qemu-img.exe convert -f qcow2 "f:\old_disk1\dc.qcow2" -O vhdx -o subformat=dynamic g:\vhd\dc.vhdx
qemu-img.exe convert -f qcow2 "f:\old_disk1\linux.qcow2" -O vhdx -o subformat=dynamic g:\vhd\linux.vhdx
qemu-img.exe convert -f qcow2 "f:\old_disk1\mail.qcow2" -O vhdx -o subformat=dynamic g:\vhd\mail.vhdx
qemu-img.exe convert -f qcow2 "f:\old_disk1\sonya.qcow2" -O vhdx -o subformat=dynamic g:\vhd\sonya.vhdx
qemu-img.exe convert -f qcow2 "f:\old_disk1\terminal-datastore.qcow2" -O vhdx -o subformat=dynamic g:\vhd\terminal-datastore.vhdx

qemu-img.exe convert -f qcow2 "f:\old_disk1\dc.qcow2" -O vhdx -o subformat=dynamic g:\vhd\dc.vhdx

qemu-img.exe convert -f qcow2 "f:\old_disk1\linux.qcow2" -O vhdx -o subformat=dynamic g:\vhd\linux.vhdx

qemu-img.exe convert -f qcow2 "f:\old_disk1\mail.qcow2" -O vhdx -o subformat=dynamic g:\vhd\mail.vhdx

qemu-img.exe convert -f qcow2 "f:\old_disk1\sonya.qcow2" -O vhdx -o subformat=dynamic g:\vhd\sonya.vhdx

qemu-img.exe convert -f qcow2 "f:\old_disk1\terminal-datastore.qcow2" -O vhdx -o subformat=dynamic g:\vhd\terminal-datastore.vhdx

Облом с windows vhdx:)

В qemu-img версий 2.0 есть баг, из за которого при конвертации в vhdx не поддерживается динамический диск, по этому опция o subformat=dynamic работать не будет.
По этому, для поддержания динамического диска, нужно конвертировать его в vhd(vpc), и уже после в самом hyper-v преобразовывать в vhdx.

1 2	В qemu-img версий 2.0 есть баг, из за которого при конвертации в vhdx не поддерживается динамический диск, по этому опция o subformat=dynamic работать не будет. По этому, для поддержания динамического диска, нужно конвертировать его в vhd(vpc), и уже после в самом hyper-v преобразовывать в vhdx.

Продолжил :)

qemu-img.exe convert -f qcow2 "f:\old_disk1\dc.qcow2" -O vpc  g:\vhd\dc.vhd

1	qemu-img.exe convert -f qcow2 "f:\old_disk1\dc.qcow2" -O vpc g:\vhd\dc.vhd

облом 2 :(

Ну и снова облом =) все сконвертировалось. при запуске вм vhd 0xc03a001a
Средствами hyper-v преобразовал  vhdx ничего не получилось ошибка ...

1 2	Ну и снова облом =) все сконвертировалось. при запуске вм vhd 0xc03a001a Средствами hyper-v преобразовал vhdx ничего не получилось ошибка ...

получилось так (велосипедно):

0) qemu-img.exe convert -f qcow2 "f:\old_disk1\dc.qcow2" -O vpc  g:\vhd\dc.vhd - сконвертировал
1) в hyper-v создал пустой диск g:\vhd\dcz.vhd
2) с помощью Paragon2015  проверил а монтируются ли диски (все ок )
3) с помощью paragon2015 сделал клон с  g:\vhd\dc.vhd на g:\vhd\dcz.vhd
4) проверил виртуалка запустилась все работает
5) средствами hyper-v конвертировал vhdx

0) qemu-img.exe convert -f qcow2 "f:\old_disk1\dc.qcow2" -O vpc g:\vhd\dc.vhd - сконвертировал

1) в hyper-v создал пустой диск g:\vhd\dcz.vhd

2) с помощью Paragon2015 проверил а монтируются ли диски (все ок )

3) с помощью paragon2015 сделал клон с g:\vhd\dc.vhd на g:\vhd\dcz.vhd

4) проверил виртуалка запустилась все работает

5) средствами hyper-v конвертировал vhdx

ну а потом попробовал вот так:

имею 3 диска. 
на 1 клоны. 
на 2 я конвертирую vhd
на 3 я создаю vhdx с помощью hyper-v
Используя paragon делаю клон c vhd на vhdx

имею 3 диска.

на 1 клоны.

на 2 я конвертирую vhd

на 3 я создаю vhdx с помощью hyper-v

Используя paragon делаю клон c vhd на vhdx

!!!

Для linux нужно будет переписать загрузчик и fstab

1	Для linux нужно будет переписать загрузчик и fstab

Монтирование qcow2 \ mount qcow2

подключение диска и раздела:

modprobe nbd max_part=8 -  Enable NBD 
qemu-nbd --connect=/dev/nbd0 /mnt/name_obraz.qcow2 - подключение образа
fdisk /dev/nbd0 -l - показать партиции (разделы)
mount /dev/nbd0p1 /mnt/name_part/ - монтирование партиции (раздела)

modprobe nbd max_part=8 - Enable NBD

qemu-nbd --connect=/dev/nbd0 /mnt/name_obraz.qcow2 - подключение образа

fdisk /dev/nbd0 -l - показать партиции (разделы)

mount /dev/nbd0p1 /mnt/name_part/ - монтирование партиции (раздела)

отключение отключение раздела и диска:

umount /mnt/somepoint/ - отключение раздела 
qemu-nbd --disconnect /dev/nbd0 - отключение диска
rmmod nbd - отключение nbd

umount /mnt/somepoint/ - отключение раздела

qemu-nbd --disconnect /dev/nbd0 - отключение диска

rmmod nbd - отключение nbd

ошибка mount: special device /dev/nbd0p1 does not exist

partx -a /dev/nbd0 - исправление ошибки mount: special device /dev/nbd0p1 does not exist

1	partx -a /dev/nbd0 - исправление ошибки mount: special device /dev/nbd0p1 does not exist

Backup VM (QEMU, KVM, libvirt)

Backup VM без остановки:

В клиенте устанавливаем Агент QEMU!
-------------------------------------------
Информация:
virsh domblklist vm-name -  узнаем имена дисков виртуальной машины
virsh list --all - вывести список всех виртуалок
vm-name	- имя виртуальной машины
backup-snapshot	- название снэпшота, может быть любым
vda -имя диска, для которого указываем адрес снепшота
/snapshot/vm-name-backup.qcow2	- путь и имя файла для снепшота
-------------------------------------------
На сервере:
0) virsh snapshot-create-as --domain vm-name backup-snapshot -diskspec vda,file=/snapshot/vm-name-backup.qcow2 --disk-only --atomic --quiesce --no-metadata - выполняем снимок виртуалки
1) pigz -c /virt/vm-name.qcow2 > /backup-vm/vm-name.qcow2.gz - архивируем основной файл виртуалной машины
2) virsh blockcommit vm-name vda --active --verbose --pivot - выполняем слияние снапшота + диск
3) rm /snapshot/vm-name-backup.qcow2 - удаляем снапшот
4) virsh dumpxml vm-name > /backup-vm/vm-name.xml - бэкапим настройки виртуалки

В клиенте устанавливаем Агент QEMU!

-------------------------------------------

Информация:

virsh domblklist vm-name - узнаем имена дисков виртуальной машины

virsh list --all - вывести список всех виртуалок

vm-name - имя виртуальной машины

backup-snapshot - название снэпшота, может быть любым

vda -имя диска, для которого указываем адрес снепшота

/snapshot/vm-name-backup.qcow2 - путь и имя файла для снепшота

-------------------------------------------

На сервере:

1) pigz -c /virt/vm-name.qcow2 > /backup-vm/vm-name.qcow2.gz - архивируем основной файл виртуалной машины

2) virsh blockcommit vm-name vda --active --verbose --pivot - выполняем слияние снапшота + диск

3) rm /snapshot/vm-name-backup.qcow2 - удаляем снапшот

4) virsh dumpxml vm-name > /backup-vm/vm-name.xml - бэкапим настройки виртуалки

На госте:

0) Диск должен быть virtio
1) Должен быть установлен guest-agent ( канал org.qemu.guest_agent.0 )

1 2	0) Диск должен быть virtio 1) Должен быть установлен guest-agent ( канал org.qemu.guest_agent.0 )

Скрипт бэкапа:

#!/bin/bash

# Дата год-месяц-день
data=`date +%Y-%m-%d`
# Папка для бэкапов
backup_dir=/backup-vm
# Список работающих VM
vm_list=`virsh list | grep running | awk '{print $2}'`
# Список VM, заданных вручную, через пробел
#vm_list=(vm-1 vm-2)
# Лог файл
logfile="/var/log/kvmbackup.log"

# Использовать это условие, если список VM задается вручную
#for activevm in "${vm_list[@]}";
# Использовать это условие, если список работающих VM берется автоматически
for activevm in $vm_list
    do
        mkdir -p $backup_dir/$activevm
        # Записываем информацию в лог с секундами
        echo "`date +"%Y-%m-%d_%H-%M-%S"` Start backup $activevm" >> $logfile
        # Бэкапим конфигурацию
        virsh dumpxml $activevm > $backup_dir/$activevm/$activevm-$data.xml
        echo "`date +"%Y-%m-%d_%H-%M-%S"` Create snapshots $activevm" >> $logfile
        # Список дисков VM
        disk_list=`virsh domblklist $activevm | grep vd | awk '{print $1}'`
        # Адрес дисков VM
        disk_path=`virsh domblklist $activevm | grep vd | awk '{print $2}'`
        # Делаем снепшот диcков
        virsh snapshot-create-as --domain $activevm snapshot --disk-only --atomic --quiesce --no-metadata
        sleep 2
        for path in $disk_path
            do
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Create backup $activevm $path" >> $logfile
                # Вычленяем имя файла из пути
                filename=`basename $path`
                # Бэкапим диск
                pigz -c $path > $backup_dir/$activevm/$filename.gz
                sleep 2
            done
        for disk in $disk_list
            do
                # Определяем путь до снепшота
                snap_path=`virsh domblklist $activevm | grep $disk | awk '{print $2}'`
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Commit snapshot $activevm $snap_path" >> $logfile
                # Объединяем снепшот
                virsh blockcommit $activevm $disk --active --verbose --pivot
                sleep 2
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Delete snapshot $activevm $snap_path" >> $logfile
                # Удаляем снепшот
                rm $snap_path
            done
        echo "`date +"%Y-%m-%d_%H-%M-%S"` End backup $activevm" >> $logfile
    done

#!/bin/bash

# Дата год-месяц-день

data=`date +%Y-%m-%d`

# Папка для бэкапов

backup_dir=/backup-vm

# Список работающих VM

vm_list=`virsh list | grep running | awk '{print $2}'`

# Список VM, заданных вручную, через пробел

#vm_list=(vm-1 vm-2)

# Лог файл

logfile="/var/log/kvmbackup.log"

# Использовать это условие, если список VM задается вручную

#for activevm in "${vm_list[@]}";

# Использовать это условие, если список работающих VM берется автоматически

for activevm in $vm_list

mkdir -p $backup_dir/$activevm

# Записываем информацию в лог с секундами

echo "`date +"%Y-%m-%d_%H-%M-%S"` Start backup $activevm" >> $logfile

# Бэкапим конфигурацию

virsh dumpxml $activevm > $backup_dir/$activevm/$activevm-$data.xml

echo "`date +"%Y-%m-%d_%H-%M-%S"` Create snapshots $activevm" >> $logfile

# Список дисков VM

disk_list=`virsh domblklist $activevm | grep vd | awk '{print $1}'`

# Адрес дисков VM

disk_path=`virsh domblklist $activevm | grep vd | awk '{print $2}'`

# Делаем снепшот диcков

virsh snapshot-create-as --domain $activevm snapshot --disk-only --atomic --quiesce --no-metadata

sleep 2

for path in $disk_path

echo "`date +"%Y-%m-%d_%H-%M-%S"` Create backup $activevm $path" >> $logfile

# Вычленяем имя файла из пути

filename=`basename $path`

# Бэкапим диск

pigz -c $path > $backup_dir/$activevm/$filename.gz

sleep 2

done

for disk in $disk_list

# Определяем путь до снепшота

snap_path=`virsh domblklist $activevm | grep $disk | awk '{print $2}'`

echo "`date +"%Y-%m-%d_%H-%M-%S"` Commit snapshot $activevm $snap_path" >> $logfile

# Объединяем снепшот

virsh blockcommit $activevm $disk --active --verbose --pivot

sleep 2

echo "`date +"%Y-%m-%d_%H-%M-%S"` Delete snapshot $activevm $snap_path" >> $logfile

# Удаляем снепшот

rm $snap_path

done

echo "`date +"%Y-%m-%d_%H-%M-%S"` End backup $activevm" >> $logfile

done

Пример рабочий сервер:

#!/bin/bash
# Дата год-месяц-день
data=`date +%Y-%m-%d`
# Папка для бэкапов
backup_dir=/mnt/datastore1/backup_VM/

# Список работающих VM
#vm_list=`virsh list | grep running | awk '{print $2}'`
# Список VM, заданных вручную, через пробел
vm_list=(mail squid voice nginx mirtashop b14esh nagios linux)
#vm_list=(nagios)

# Лог файл
logfile="/var/log/kvmbackup.log"

# Использовать это условие, если список VM задается вручную
for activevm in "${vm_list[@]}";
# Использовать это условие, если список работающих VM берется автоматически
#for activevm in $vm_list
    do
        mkdir -p $backup_dir/$activevm
        # Записываем информацию в лог с секундами
        echo "`date +"%Y-%m-%d_%H-%M-%S"` Start backup $activevm" >> $logfile
        # Бэкапим конфигурацию
        virsh dumpxml $activevm > $backup_dir/$activevm/$activevm-$data.xml
        echo "`date +"%Y-%m-%d_%H-%M-%S"` Create snapshots $activevm" >> $logfile
        # Список дисков VM
        disk_list=`virsh domblklist $activevm | grep vd | awk '{print $1}'`
        # Адрес дисков VM
        disk_path=`virsh domblklist $activevm | grep vd | awk '{print $2}'`
        # Делаем снепшот диcков
        virsh snapshot-create-as --domain $activevm snapshot --disk-only --atomic --quiesce --no-metadata
        sleep 2
        for path in $disk_path
            do
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Create backup $activevm $path" >> $logfile
                # Вычленяем имя файла из пути
                filename=`basename $path`
                # Бэкапим диск
                pigz -c $path > $backup_dir/$activevm/$data.$filename.gz
                sleep 2
            done
        for disk in $disk_list
            do
                # Определяем путь до снепшота
                snap_path=`virsh domblklist $activevm | grep $disk | awk '{print $2}'`
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Commit snapshot $activevm $snap_path" >> $logfile
                # Объединяем снепшот
                virsh blockcommit $activevm $disk --active --verbose --pivot
                sleep 2
                echo "`date +"%Y-%m-%d_%H-%M-%S"` Delete snapshot $activevm $snap_path" >> $logfile
                # Удаляем снепшот
                rm $snap_path
            done
        echo "`date +"%Y-%m-%d_%H-%M-%S"` End backup $activevm" >> $logfile
    done

#!/bin/bash

# Дата год-месяц-день

data=`date +%Y-%m-%d`

# Папка для бэкапов

backup_dir=/mnt/datastore1/backup_VM/

# Список работающих VM

#vm_list=`virsh list | grep running | awk '{print $2}'`

# Список VM, заданных вручную, через пробел

vm_list=(mail squid voice nginx mirtashop b14esh nagios linux)

#vm_list=(nagios)

# Лог файл

logfile="/var/log/kvmbackup.log"

# Использовать это условие, если список VM задается вручную

for activevm in "${vm_list[@]}";

# Использовать это условие, если список работающих VM берется автоматически

#for activevm in $vm_list

mkdir -p $backup_dir/$activevm

# Записываем информацию в лог с секундами

echo "`date +"%Y-%m-%d_%H-%M-%S"` Start backup $activevm" >> $logfile

# Бэкапим конфигурацию

virsh dumpxml $activevm > $backup_dir/$activevm/$activevm-$data.xml

echo "`date +"%Y-%m-%d_%H-%M-%S"` Create snapshots $activevm" >> $logfile

# Список дисков VM

disk_list=`virsh domblklist $activevm | grep vd | awk '{print $1}'`

# Адрес дисков VM

disk_path=`virsh domblklist $activevm | grep vd | awk '{print $2}'`

# Делаем снепшот диcков

virsh snapshot-create-as --domain $activevm snapshot --disk-only --atomic --quiesce --no-metadata

sleep 2

for path in $disk_path

echo "`date +"%Y-%m-%d_%H-%M-%S"` Create backup $activevm $path" >> $logfile

# Вычленяем имя файла из пути

filename=`basename $path`

# Бэкапим диск

pigz -c $path > $backup_dir/$activevm/$data.$filename.gz

sleep 2

done

for disk in $disk_list

# Определяем путь до снепшота

snap_path=`virsh domblklist $activevm | grep $disk | awk '{print $2}'`

echo "`date +"%Y-%m-%d_%H-%M-%S"` Commit snapshot $activevm $snap_path" >> $logfile

# Объединяем снепшот

virsh blockcommit $activevm $disk --active --verbose --pivot

sleep 2

echo "`date +"%Y-%m-%d_%H-%M-%S"` Delete snapshot $activevm $snap_path" >> $logfile

# Удаляем снепшот

rm $snap_path

done

echo "`date +"%Y-%m-%d_%H-%M-%S"` End backup $activevm" >> $logfile

done

Очистка папки с бэкапами:

#!/bin/bash
#/mnt/datastore1/backup_VM
cd /mnt/datastore1/backup_VM
#b14esh
find /mnt/datastore1/backup_VM/b14esh  -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};
find /mnt/datastore1/backup_VM/b14esh  -name "*.xml" -mtime +30 |xargs /bin/rm -f {};
#mail
find /mnt/datastore1/backup_VM/mail  -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};
find /mnt/datastore1/backup_VM/mail  -name "*.xml" -mtime +30 |xargs /bin/rm -f {};
#mirtashop
find /mnt/datastore1/backup_VM/mirtashop  -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};
find /mnt/datastore1/backup_VM/mirtashop  -name "*.xml" -mtime +30 |xargs /bin/rm -f {};
#nginx
find /mnt/datastore1/backup_VM/nginx  -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};
find /mnt/datastore1/backup_VM/nginx  -name "*.xml" -mtime +30 |xargs /bin/rm -f {};
#squid
find /mnt/datastore1/backup_VM/squid  -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};
find /mnt/datastore1/backup_VM/squid  -name "*.xml" -mtime +30 |xargs /bin/rm -f {};
#voice
find /mnt/datastore1/backup_VM/voice  -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};
find /mnt/datastore1/backup_VM/voice  -name "*.xml" -mtime +30 |xargs /bin/rm -f {};
#nagios
find /mnt/datastore1/backup_VM/nagios  -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};
find /mnt/datastore1/backup_VM/nagios  -name "*.xml" -mtime +30 |xargs /bin/rm -f {};
#linux
find /mnt/datastore1/backup_VM/linux  -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};
find /mnt/datastore1/backup_VM/linux  -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

#!/bin/bash

#/mnt/datastore1/backup_VM

cd /mnt/datastore1/backup_VM

#b14esh

find /mnt/datastore1/backup_VM/b14esh -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};

find /mnt/datastore1/backup_VM/b14esh -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

#mail

find /mnt/datastore1/backup_VM/mail -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};

find /mnt/datastore1/backup_VM/mail -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

#mirtashop

find /mnt/datastore1/backup_VM/mirtashop -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};

find /mnt/datastore1/backup_VM/mirtashop -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

#nginx

find /mnt/datastore1/backup_VM/nginx -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};

find /mnt/datastore1/backup_VM/nginx -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

#squid

find /mnt/datastore1/backup_VM/squid -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};

find /mnt/datastore1/backup_VM/squid -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

#voice

find /mnt/datastore1/backup_VM/voice -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};

find /mnt/datastore1/backup_VM/voice -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

#nagios

find /mnt/datastore1/backup_VM/nagios -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};

find /mnt/datastore1/backup_VM/nagios -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

#linux

find /mnt/datastore1/backup_VM/linux -name "*.qcow2.gz" -mtime +30 |xargs /bin/rm -f {};

find /mnt/datastore1/backup_VM/linux -name "*.xml" -mtime +30 |xargs /bin/rm -f {};

KVM qemu-img

Изменение размера диска виртуальной машины:

qemu-img resize /path/to/disk +disk_sizeG - изменение размера диска виртуальной машины

/path/to/disk – путь до образа диска;
disk_size – числа, на который увеличивается или уменьшается (тогда – вместо +) размер диска;
G – единица измерения – гигабайт. Можно изменить размер диска на disk_size мегабайт – тогда M.

qemu-img resize /path/to/disk +disk_sizeG - изменение размера диска виртуальной машины

/path/to/disk – путь до образа диска;

disk_size – числа, на который увеличивается или уменьшается (тогда – вместо +) размер диска;

G – единица измерения – гигабайт. Можно изменить размер диска на disk_size мегабайт – тогда M.

Изменение диска:

qemu-img resize /mnt/datastore/name_disk.img -2G - уменьшить размер диска
qemu-img resize /mnt/datastore/name_disk.img +2G - увеличить размер диска
qemu-img info /mnt/datastore/name_disk.img - информация о диске

qemu-img resize /mnt/datastore/name_disk.img -2G - уменьшить размер диска

qemu-img resize /mnt/datastore/name_disk.img +2G - увеличить размер диска

qemu-img info /mnt/datastore/name_disk.img - информация о диске

Еще команды для диска:

qemu-img create -f qcow2 /home/dev/images/alice.img 5G - создание диска qcow2
qemu-img create -o preallocation=metadata -f qcow2 name_disk.qcow2 20G - создание диска qcow2
kvm-img convert -O qcow2 zimbra-000001.vmdk zimbra.qcow2 - конвертация

qemu-img create -f qcow2 /home/dev/images/alice.img 5G - создание диска qcow2

qemu-img create -o preallocation=metadata -f qcow2 name_disk.qcow2 20G - создание диска qcow2

kvm-img convert -O qcow2 zimbra-000001.vmdk zimbra.qcow2 - конвертация

KVM Проверка возможности установки

egrep -c '(vmx|svm)' /proc/cpuinfo - проверка процессора 
egrep '(vmx|svm)' --color /proc/cpuinfo - проверка процессора 
egrep -q '^flags.*(svm|vmx)' /proc/cpuinfo && echo virtualization extensions available - проверка процессора 
kvm-ok - проверка процессора  
egrep -c ' lm ' /proc/cpuinfo - количество потоков
uname -m  - архитектура установленной системы
free -h - количество памяти
fdisk -l - вывести список разделов и дисков
df -h - показать занятое пространство
dmesg | grep -i -e iommu -e dmar 
cat /proc/cpuinfo | grep svm - проверка процессора 
dmesg | grep AMD-Vi - проверка процессора 
lsmod | grep kvm - проверка процессора 
lsmod | grep vfio - устройства vfio (проброс pci, etc..)
dmesg | grep vfio - устройства vfio (проброс pci, etc..)
dmesg | grep VFIO - устройства vfio (проброс pci, etc..)
dmesg | grep -i vfio  - устройства vfio (проброс pci, etc..)
lspci -k | grep -i -A 3 vga - показать видео карту

egrep -c '(vmx|svm)' /proc/cpuinfo - проверка процессора

egrep '(vmx|svm)' --color /proc/cpuinfo - проверка процессора

egrep -q '^flags.*(svm|vmx)' /proc/cpuinfo && echo virtualization extensions available - проверка процессора

kvm-ok - проверка процессора

egrep -c ' lm ' /proc/cpuinfo - количество потоков

uname -m - архитектура установленной системы

free -h - количество памяти

fdisk -l - вывести список разделов и дисков

df -h - показать занятое пространство

dmesg | grep -i -e iommu -e dmar

cat /proc/cpuinfo | grep svm - проверка процессора

dmesg | grep AMD-Vi - проверка процессора

lsmod | grep kvm - проверка процессора

lsmod | grep vfio - устройства vfio (проброс pci, etc..)

dmesg | grep vfio - устройства vfio (проброс pci, etc..)

dmesg | grep VFIO - устройства vfio (проброс pci, etc..)

dmesg | grep -i vfio - устройства vfio (проброс pci, etc..)

lspci -k | grep -i -A 3 vga - показать видео карту

KVM Файлы

/etc/libvirt/ - здесь в основном хранятся конфигурационные файлы
/etc/libvirt/qemu.conf - главный конфиг
/var/lib/libvirt/ - здесь будут хранится образы жестких дисков, мгновенные снимки системы и многое другое.
/var/lib/libvirt/qemu/snapshot/ - резервные копии файлов конфигураций снапшотов

/etc/libvirt/ - здесь в основном хранятся конфигурационные файлы

/etc/libvirt/qemu.conf - главный конфиг

/var/lib/libvirt/ - здесь будут хранится образы жестких дисков, мгновенные снимки системы и многое другое.

/var/lib/libvirt/qemu/snapshot/ - резервные копии файлов конфигураций снапшотов

KVM tools \ virsh

apt-get install cpu-checker - установить программу для проверки процессора
apt-get install qemu-kvm libvirt-bin bridge-utils - установка
apt-get install virt-manager - установка virt-manager
apt-get install libosinfo-bin - установить информацию об ос 

nano /etc/network/interfaces - конфиг сети

adduser user_name libvirt - добавить user_name в группу libvirtd
adduser user_name kvm - добавить user_name в группу kvm
sudo adduser id -un libvirtd - добавить себя в группу libvirtd

groups - группы
cat /etc/group - посмотреть составы групп
cat /etc/passwd - посмотреть пользователей
ls  /etc/libvirt/qemu/ - здесь находятся конфиги ВМ 

virsh --connect qemu:///system version - версия
virsh --connect qemu:///system list - 
virsh -c qemu:///system list - список ВМ

virsh list --all -  вывести список ВМ (вкл/выкл)
virsh pool-list --all - вывести список хранилищ
virsh list --all - вывести список всех виртуалок
virsh net-list --all - вывести список всех виртульных сетей

virsh sysinfo - все о хосте (cpu,mem,etc..)

virsh capabilities - свойства хоста

osinfo-query os - список поддерживаемых ос 

virsh list --all - показать все доступные ВМ
virsh start VM_name - запустить ВМ
virsh reboot VM_name - перезагрузка VM
virsh shutdown VM_NAME - выключить ВМ (нажать кнопку выкл)
virsh destroy VM_name - выключить насильно ВМ (как вытащить вилку из розетки)
virsh undefine VM_name - удалить ВМ
virsh autostart VM_name - включить автозагрузку для ВМ
virsh autostart --disable VM_name - отключить автозагрузку ВМ
virsh edit VM_name - отредактировать настройки ВМ

dpkg -L ovmf - список каталогов ovmf (bios и т.д.)

apt-get install cpu-checker - установить программу для проверки процессора

apt-get install qemu-kvm libvirt-bin bridge-utils - установка

apt-get install virt-manager - установка virt-manager

apt-get install libosinfo-bin - установить информацию об ос

nano /etc/network/interfaces - конфиг сети

adduser user_name libvirt - добавить user_name в группу libvirtd

adduser user_name kvm - добавить user_name в группу kvm

sudo adduser id -un libvirtd - добавить себя в группу libvirtd

groups - группы

cat /etc/group - посмотреть составы групп

cat /etc/passwd - посмотреть пользователей

ls /etc/libvirt/qemu/ - здесь находятся конфиги ВМ

virsh --connect qemu:///system version - версия

virsh --connect qemu:///system list -

virsh -c qemu:///system list - список ВМ

virsh list --all - вывести список ВМ (вкл/выкл)

virsh pool-list --all - вывести список хранилищ

virsh list --all - вывести список всех виртуалок

virsh net-list --all - вывести список всех виртульных сетей

virsh sysinfo - все о хосте (cpu,mem,etc..)

virsh capabilities - свойства хоста

osinfo-query os - список поддерживаемых ос

virsh list --all - показать все доступные ВМ

virsh start VM_name - запустить ВМ

virsh reboot VM_name - перезагрузка VM

virsh shutdown VM_NAME - выключить ВМ (нажать кнопку выкл)

virsh destroy VM_name - выключить насильно ВМ (как вытащить вилку из розетки)

virsh undefine VM_name - удалить ВМ

virsh autostart VM_name - включить автозагрузку для ВМ

virsh autostart --disable VM_name - отключить автозагрузку ВМ

virsh edit VM_name - отредактировать настройки ВМ

dpkg -L ovmf - список каталогов ovmf (bios и т.д.)

Создание виртуальной машины

virt-install --os-variant list - смотрим доступные варианты гостевых операционных систем

virt-install -n FirstTest \
--noautoconsole \
--network=bridge:br0 \
--ram 1024 --arch=x86_64 \
--vcpus=1 --cpu host --check-cpu \
--disk path=/kvm/images/FirstTest-disk1.img,size=16 \
--cdrom /kvm/iso/CentOS-7-x86_64-Minimal-1611.iso \
--graphics vnc,listen=0.0.0.0,password=my_password \
--os-type linux --os-variant=rhel7 --boot cdrom,hd,menu=on

 где:

FirstTest — имя создаваемой машины;
noautoconsole — после создания не подключается автоматически к консоли виртуальной машины;
network — тип сети (в нашем примере сетевой мост);
ram — объем оперативной памяти, который будет выделен;
vcpus — количество виртуальных процессоров;
disk — виртуальный диск: path — путь до диска; size — его объем;
cdrom — виртуальный привод с образом системы;
graphics — параметры подключения к виртуальной машины с помощью графической консоли (в данном примере используем vnc); listen — на какой адресе принимает запросы vnc (в нашем примере на всех); password — пароль для подключения при помощи vnc;
os-variant — гостевая операционная система (весь список мы получали командой virt-install --os-variant list, в данном примере устанавливаем Reв Hat 7 / CentOS 7).

virt-install