Fórum Root.cz

Hlavní témata => Distribuce => Téma založeno: mojenervy 06. 12. 2018, 11:11:53

Název: Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 06. 12. 2018, 11:11:53
mám már průzkumných otázek z reálného provozu
- na jaké distribuci provozujete hypervizor KVM
- příkázovým řádkem nebo třeba Proxmox
- jak zálohujete hosty - online příp offline
- proč KVM
- jaký počet virtuálů

Mám rád věci jednoduché, napsal jsem si skripty - jen si s tím hraji, abych se udržoval.
Z Proxmoxu mám pocit, že když se něco po, tak se s tím nedomluvím - duchařina.

Název: Re:hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Michal2 06. 12. 2018, 11:55:11
Proxmox, zalohy pres ZFS snapshoty, kvm nam pri testech vyslo jako nejlepsi v pomeru cena/vykon (ale i tak kde to jde mame lxc, je nesrovnatelne lepsi), 10 serveru v prumeru 15 LXC kontejneru a 2 kvm virtualy na kazdem (jsou to dualxeon potvory s 256GB RAM).
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Jan Forman 06. 12. 2018, 12:57:15
Amazon AWS tvrdí, že to není špatné :) jinak zcela normální...
Řekl bych, že počet nasazení KVM radikálně převyšuje třeba VMWare o HyperV ani nemluvím.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Lazar 06. 12. 2018, 13:19:19
Loňská, ale docela zajímavá přednáška na téma masivně nasazeného KVM.
https://www.youtube.com/watch?v=i3kNI7hTF8g&list=PL5dg4Yr6xBidWjnzVPFO7xLtufNJZQ5mB
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 06. 12. 2018, 13:26:22
LXC mi zatím nestálo za to - asi přišel čas opět omrknout. 

KVM, jde mi o řešení záloh, obnovu ze zálohy atd - jestli to někdo provozuje čistě z příkazového řádku/skriptování.

můžu si s tím hrát, ale zkušenost z reálného provozu prostě nemám  ...tak se ptám.



Proxmox - jaké jste s tím zažili problémy?  / Cvičně si ho nahodím, to mi neuškodí
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: darebacik 06. 12. 2018, 13:55:46
btw co je podla vas lepsie, doinstalovat proxmox do debianu, alebo nainstalovat iso od proxmoxu ?
V iso od proxmoxu je toho asi aj nieco najviac, pretoze cista instalacia proxmoxu spotrebuje cca 700-800 MB ram, zatial co cisty debian stretch bral myslim 200MB.
Inak proxmox 5.x ma velmi pekne web gui a celkom aj funguje.

OT aky je rozdiel medzi snapshotom a backupom
Stopnem KVM (LXC) a spravim backup. Podla mna to nejakeho (napr. dd) urobi kopiu + zagzipuje (resp. co sa nastavi), ale nie je mi jasny snapshot.
Co som pochopil, tak snapshot zobere zo stroja snimok ram a niekde ho ulozi, alebo zapise niekde info a datach (cize metadata). Snapshot sa pouziva na kratkodobe ulozenie zalohy, len pokial sa na VM nieco vystraja a aby sa potom mohlo vratit spat k povodnej konstalacii.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 06. 12. 2018, 14:19:08
darebacik:

s pamětí za běhu
virsh snapshot-create-as --domain centos7 snap1 --diskspec vda,file=/export/images/sn1.qcow2
virsh snapshot-revert  --domain centos7 --snapshotname snap1 --running

jen disk za běhu
virsh snapshot-create-as --domain centos7 snap1 --diskspec vda,file=/export/images/sn1.qcow2 --disk-only --atomic
virsh blockcommit centos7 vda --active --pivot --verbose

pro obnovu
virsh snapshot-dumpxml dom name > snapshot.xml       
virsh snapshot-create dom snapshot.xml --redefine [--current]

vypsat disky třeba
virsh domblklist "$DOMAIN" --details | grep ^file | grep -v 'cdrom' | grep -v 'floppy' | awk -F ' ' '{$1=$2=$3=""; print $0}'  | sed -e 's


Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Lazar 06. 12. 2018, 15:24:41
Chápu to správně, že snapshot nemá tušení o konzistenci dat na úrovni FS/DB/..., po obnově ze snapshotu je tedy na místě recovery FS/DB/..?
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 06. 12. 2018, 16:20:25
je to jako vytahnout ze zásuvky - stejný stav.

Zálohování virtuálních strojů za chodu
https://forum.root.cz/index.php?topic=16290.0
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 06. 12. 2018, 16:27:24
on je tu ještě nějaký parametr  --quiesce

snapshot-create-as domain {[--print-xml] | [--no-metadata] [--halt] [--reuse-external]} [name] [description] [--disk-only [--quiesce]] [--atomic] [[--memspec memspec]] [--diskspec] diskspec]

nějaký neověřený blábol
 --quiesce will make sure that the qemu-ga agent will quiesce your guest filesystem first, and it includes some scripts for databases so you can lock them. You can also use hooks to unmount specific path before the snapshot. All in the same call. There is also the option to save the memory separately but I didn't use it.


na toho qemu-ga agenta se ještě mrknu.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: samalama 06. 12. 2018, 20:13:25
xen forever...
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: darebacik 06. 12. 2018, 21:08:05
je to jako vytahnout ze zásuvky - stejný stav.

Zálohování virtuálních strojů za chodu
https://forum.root.cz/index.php?topic=16290.0
Precital som si ten topic, ale niekto tam mal prilis vysoke ego a vystatoval sa, ze ako tomu niekto nemoze rozumiet. Ja si tiez nie som celkom isty ci rozumiem snapshotu. No zrejme  snapshots zabezpeci to, ze z VM, alebo kontajneru spravi konzistentny stav. VM dalej bezi, ale je ako by zmrazena. Prevedie sa backup a snapshot sa moze zahodit.
Zrejme nie som sam, ktory ma problem pochopit snapshot :)
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Vilith 06. 12. 2018, 21:23:49
Mas 2 rozdilne moznosti

1/ snapshot disku, kdy se to system ani nedozvi, jen se mu pozastavi zapisy, a DB se muze zlobit/rozbit protoze zapisy na disk nejsou zcela OK

2/ snapshot stroje s RAM - vse se uvede do kozistentniho stavu, vyprazdni se DB buffery a udela se snapshot. Pod vmWare/Oracle jsme na to meli definovanou sekvenci, ktera se pouzivala pri zalohovani
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 06. 12. 2018, 22:04:45
To se mi nezdá. Ten zápis jen na chvíli uhne jinam, než se udělá backup, změny se pak připíšou na původní disk. Pak se snap může smazat.
Databáze by řvala při obnově, nedopsané soubory taky. Ono je vhodné data vyzálohovat před snapshotem.

Parametr --quiesce a qemu-ga agent se údajně moc nepoužívá. Třeba účetnictví by to spolehlivě zabilo, i kdyby se nakrásně všechny soubory stihly dopsat, ale dalších by k záloze bůbec nedošlo. Přístupy to chce různé.

@Vilith to asi popisoval ze strany obnovy, co v té vykopírované záloze vlastně je. Za běhu se přimrazit může/nemusí - jsou tam nějaké parametry.

To je právě ta duchařina...
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Lazar 06. 12. 2018, 22:08:24
Zmražený IO stav je určitě okamžitý, ale těžko obecně konzistentní na vyšších vrstvách.

Pokud si to pamatuji spravne, tak u on-line backupu Oracle RDBMS jsou součástí zálohy kromě kopie obsahu datafiles/rawdevices také control files a archiv redologů vzniklých během doby/procesu zálohování. Ty se při obnově musí promítnout na obnovené datafiles/rawdevices (které jsou z logiky nekonzistentní, binárně se kopírují zatímco se v nich děje cokoli), aby se databáze obnovila konzistentní do požadovaného okamžiku (commitované transakce).
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: PCnity 06. 12. 2018, 22:10:18
U mna je to Ubuntu 18.04 + DRBD + Linstor nad ThinLVM
Snapshoty zatial neboli problem, pri masinach kde som paranoidny volame fsfreeze hook.
Live migracie, zalohy, vykon, stabilita, vsetko je perfektne.
Ovladanie je cli + nase helepry (bash a http)
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Vilith 06. 12. 2018, 22:14:21
Na Oraclu jsme pouzivali pre-backup a post-backup scripty na DB. Pak vse jelo v pohode...
Ale je to nekolik let zpatky, treba se to zmenilo
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 06. 12. 2018, 22:21:56
a Proxmox to má řešené jak?
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Vilith 06. 12. 2018, 22:28:53
V Proxmoxu zmrazim CPU a RAM, udelam snapshot disku a RAM, a rozjede se stroj znova.
Ve virtualce je nainstalovan quemu-agent - OS Linux, Windows, BSD

Na problemy jsem dosud nenarazil (Mysql a PostgreSQL, ne Oracle). Hook Scripts jdou take pouzivat
https://pve.proxmox.com/wiki/Backup_and_Restore
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 06. 12. 2018, 22:34:08
Dík.  Vidím, že se Proxmoxu nevyhnu - potřebuji si to osahat.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: MP 07. 12. 2018, 09:22:44
V Proxmoxu zmrazim CPU a RAM, udelam snapshot disku a RAM, a rozjede se stroj znova.
Ve virtualce je nainstalovan quemu-agent - OS Linux, Windows, BSD

Na problemy jsem dosud nenarazil (Mysql a PostgreSQL, ne Oracle). Hook Scripts jdou take pouzivat
https://pve.proxmox.com/wiki/Backup_and_Restore

Vazne to dela snapshot RAM? To se mi nechce verit. A i kdyby, rozjet neco takoveho mi zni desive (rozpadla spojeni apod). A zvlast u db...
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: darebacik 07. 12. 2018, 09:34:00
V Proxmoxu zmrazim CPU a RAM, udelam snapshot disku a RAM, a rozjede se stroj znova.
Ve virtualce je nainstalovan quemu-agent - OS Linux, Windows, BSD

Na problemy jsem dosud nenarazil (Mysql a PostgreSQL, ne Oracle). Hook Scripts jdou take pouzivat
https://pve.proxmox.com/wiki/Backup_and_Restore
Popis ako presne spravis konzist. zalohu VM (LXC) ci uz v gui, alebo cli
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Vilith 07. 12. 2018, 09:52:10
Snapshot RAM - Nevim, jak to dela, ale je to volba v GUI pri snapshotu
LXC nepouzivam, KVM mam radeji
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 10:08:05
snapshot ram jsem zkoušel

pokusy stylem
virsh snapshot-create-as --domain centos7 snap1 --diskspec vda,file=/export/images/sn1.qcow2
virsh snapshot-revert  --domain centos7 --snapshotname snap1 --running

Problém je ten, že ty systémy komunikují s okolím a když pak takový živý snapshot po havárii nahodíte, tak ty akce nedoběhnou.  Jsou věci, o které se musí postarat quemu-agent.

univerzální řešení není
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 10:09:08
jen pro představu - na jakém HW to provozujete?
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: darebacik 07. 12. 2018, 10:11:05

Snapshot RAM - Nevim, jak to dela, ale je to volba v GUI pri snapshotu
LXC nepouzivam, KVM mam radeji
Cize
Kód: [Vybrat]
VM --> Snapshots --> Take Snapshot a potom robis backup
Alebo ides rovno cez backup s modom snapshot ?
---
LXC debian stretch netinstall berie 13MB z ram  ;D
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Vilith 07. 12. 2018, 10:16:39
na jakém HW to provozujete?

Cokoli, kde je Debian stabilni - vcetne VirtualBoxu v ramci testovani :D

Limity - RAM, pocet threadu CPU, diskova kapacita
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: darebacik 07. 12. 2018, 10:17:45
jen pro představu - na jakém HW to provozujete?
Ja som uplny amater, doma a len sa s tym hrajem bez RAID na ext4 LVM
Takato sranda za par supov s DC zdrojom https://www.asrock.com/mb/Intel/Q1900DC-ITX/
8GB RAM
1x SSD
1X HDD 3.5
Nemam tam toho vela, nejake weby vhosty na LXC, dalsi LXC iptv retransmisia z DVB-T cez tvheadend.
Zatial 1x KVM openvpn
tot vsio, ale ak bude cas, tak nieco na tom este rozbehnem :)
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 10:25:38
a jak řešíte síť?   já mám pro každý extra bridge - pro komuninaci ven a něco mezi VM.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: MP 07. 12. 2018, 10:31:02
Snapshot RAM - Nevim, jak to dela, ale je to volba v GUI pri snapshotu
LXC nepouzivam, KVM mam radeji

Kde? Kdyz dam backup VM a vyberu snapshot, zadny vyber ohledne RAM tam neni - jak na urovni clusteru, tak na urovni VM. PVE5.3.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: MP 07. 12. 2018, 10:32:42
a jak řešíte síť?   já mám pro každý extra bridge - pro komuninaci ven a něco mezi VM.

Openvswitch. Zatim jsem nezjistil lepsi metodu, jak pracovat s vlanami, aniz bych musel rekonfigurovat kazdy PVE zvlast. Mozna by to fungovalo s vlan-aware, ale jeste jsem to neprozkoumal poradne.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: darebacik 07. 12. 2018, 10:40:43
a jak řešíte síť?   já mám pro každý extra bridge - pro komuninaci ven a něco mezi VM.
kazda VM a LXC ma virtual sietovku v bridge a dostava od fyzickeho dhcp adresu (vlany som ani ja neskusal)
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Vilith 07. 12. 2018, 13:18:39
Na kazdem LAN konektoru bridge (nekolik bridgu), VLANy jsou podporovane

https://i.imgur.com/bkY4iST.png
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: darebacik 07. 12. 2018, 14:15:40
Na kazdem LAN konektoru bridge (nekolik bridgu), VLANy jsou podporovane

https://i.imgur.com/bkY4iST.png
Ano sprav snimok, ale co s tym dalej ?
V literature sa uvadza, ze sa spravi obraz (obraz coho) ?
Snap ma velkost 0 (nula). Ved nula je nic. Pripada mi to ako keby ten snap bol odkaz (smernik) niekde v pamati a drzal si info (metadata) o datach na zalohu.
Nie je to nikde presne vysvetlene, alebo to moj centralny mozog nevie pochopit  ;D
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Vilith 07. 12. 2018, 14:31:53
Snapshot si "udela breakpoint" v RAM a obsahu disku a lze se k nemu kdykoli vratit
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 15:06:32
snap má velikost 0 nic, dokud se nezapíšou další data. Ber to jako dočasné úložiště, které slouží k tomu, aby se image mohl vykopírovat bokem. Potom se změny zapíšou na původní úložiště.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Daniel Kozak 07. 12. 2018, 15:12:35
Amazon AWS tvrdí, že to není špatné :) jinak zcela normální...
Řekl bych, že počet nasazení KVM radikálně převyšuje třeba VMWare o HyperV ani nemluvím.

Amazon AWS pouziva KVM? Tusim ze driv pouzivali Xen a ted pouzivaji neco vlastniho (castecne zalozeno na kvm)
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: MP 07. 12. 2018, 15:19:26
Na kazdem LAN konektoru bridge (nekolik bridgu), VLANy jsou podporovane

https://i.imgur.com/bkY4iST.png

Priklad konfigurace by nebyl? Stacil by mi 1 bridge + 1 interni port popr. vlan (cili zaklad, aby do VM stacilo zvolit bridge+vlan). Docela me to zajima, preci jen, openvswitch je sluzba "navic".
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: Vilith 07. 12. 2018, 15:24:41
https://wiki.hetzner.de/index.php/Proxmox_VE/en , u OVH je to trochu jinak.  Ale to souvisi s tim, jak ma kdo udelanou sit
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 15:52:55
# for KVM
# https://raymii.org/s/tutorials/KVM_with_bonding_and_VLAN_tagging_setup_on_Ubuntu_12.04.html
# https://forum.proxmox.com/threads/vlan-tagging-from-inside-kvm-guest-issues.16152/#post-83102
# http://www.ibm.com/support/knowledgecenter/linuxonibm/liaat/liaatkvmsecconfvlans.htm

sudo apt-get install -y vlan
sudo  sh -c 'grep -q 8021q /etc/modules || echo 8021q >> /etc/modules'
modprobe 8021q

VLAN=110
sudo vconfig add eth0 $VLAN

cat <<-EOF >> /etc/network/interfaces
auto eth0.$VLAN
iface eth0.$VLAN inet static
    vlan-raw-device eth0
    # address
    # netmask
EOF

sudo ip link set up eth0.$VLAN
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 16:06:10
https://serverfault.com/questions/841177/how-do-i-pass-vlan-traffic-over-a-bridge-to-kvm-vms
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 16:10:34
https://www.linux-kvm.org/page/Networking
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 16:22:47
http://manintheit.org/networking/vlan-creation-on-kvm1/
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: MP 07. 12. 2018, 16:44:49
# for KVM
# https://raymii.org/s/tutorials/KVM_with_bonding_and_VLAN_tagging_setup_on_Ubuntu_12.04.html
# https://forum.proxmox.com/threads/vlan-tagging-from-inside-kvm-guest-issues.16152/#post-83102
# http://www.ibm.com/support/knowledgecenter/linuxonibm/liaat/liaatkvmsecconfvlans.htm

sudo apt-get install -y vlan
sudo  sh -c 'grep -q 8021q /etc/modules || echo 8021q >> /etc/modules'
modprobe 8021q

VLAN=110
sudo vconfig add eth0 $VLAN

cat <<-EOF >> /etc/network/interfaces
auto eth0.$VLAN
iface eth0.$VLAN inet static
    vlan-raw-device eth0
    # address
    # netmask
EOF

sudo ip link set up eth0.$VLAN

Tohle presne je nesmysl, ktery me nezajima. Znamena totiz rekonfiguraci PVE pri kazdem pridani vlan. A protoze PVE nema konfiguraci site sdilenou mezi hosty, tak me zajima jen moznost jakou umoznuje openvswitch - pridam vlan na switchportu a pak uz jen nastavuju v konfiguraci VM.
Název: Re:Hypervizor KVM - jaké máte zkušenosti?
Přispěvatel: mojenervy 07. 12. 2018, 17:21:21
VLAN for Guest Networks
Proxmox VE supports this setup out of the box. You can specify the VLAN tag when you create a VM.
The VLAN tag is part of the guest network confinuration. The networking layer supports differnet modes to
implement VLANs, depending on the bridge configuration:

• VLAN awareness on the Linux bridge: In this case, each guest’s virtual network card is assigned to
a VLAN tag, which is transparently supported by the Linux bridge. Trunk mode is also possible, but that
makes the configuration in the guest necessary.


• "traditional" VLAN on the Linux bridge: In contrast to the VLAN awareness method, this method is not
transparent and creates a VLAN device with associated bridge for each VLAN. That is, if e.g. in our default
network, a guest VLAN 5 is used to create eno1.5 and vmbr0v5, which remains until rebooting.


• Open vSwitch VLAN: This mode uses the OVS VLAN feature.


• Guest configured VLAN: VLANs are assigned inside the guest. In this case, the setup is completely
done inside the guest and can not be influenced from the outside. The benefit is that you can use more
than one VLAN on a single virtual NIC.