Linux na Hyper-V (CentOS) - pomalá síť

[vana-hb]

Dobrý den,

Na několika Windows 2008 R2 sp1 serverech provozuji virtualizaci Hyper-V. Hlavně virtualizuji Windows7, ale máme několik instalací CentOS. Na všech instalacích pozoruji pomalou síť při kopírování souborů. Když přímo srovnávím s virtuálníma Windows7 tak tu samou věc ze stejnho zdroje kopíruji o víc než polovinu pomaleji. Pomalu to kopíruje na namontovaný disk ze serveru, pomalu to kopíruje na sambu na linuxu a pomalu to stahuje pomocí wget z apache serveru který je v LAN ... tak že to vypadá spíš na ovladače nebo nějaký hlubší problém ve virtualizaci. Když kopíruji na virtuální Windows tak dostávám odhadem 65MB a když na virtuální CentOS tak odhadem 35MB.

Máme CentOS 6.4 a 6.5, zkoušel jsem kompatbilní i ten rozšířený adaptér v Hyper-V a zkoušel jsem tam nahrát integrační sadu (i když v 6.4 a 6.5 by měla být obsažena). Testována 32 a 64bit verze.

Několik dní jsem trávil na internetu a hledal důvod proč to dělá, ale nic jsem nenašel. Vyapdá to, že jsem asi jediný na světě kterému to dělá na třech serverech zároveň.

Jakou máte prosím zkušenost s využitím síťě na Linuxu pod HyperV? ... jde mi o výkon při kopírování souborů. Předem Dík.

[Reklama]

[jivep]

mas k dispozici nejakou statistiku rychlosti prenosu ?

bezne pouzivam tutez kombinaci (dokonce prevazuji CentOSy od v 5.4 do 6.4 a konkretne pro sambu jsem si musel pohrat s jejim nastavenim.

[vana-hb]

Statistiku nemám. Ale když porovnávám stejnou situaci tak je výkon na CentOS třetinový maximálně poloviční co na windows pc.

Třeba dám příklad. V jedné firmě jsme chtěli starý samostatně stojící server s Windows2000 nahradit virtuálním CentOS na novém Windows2008 serveru. Když na ty 2000 a ten CentOS nahraji úplně stejná data a zkoušim se k tomu připojit ze stanic a sdílet tak Windows2000 dá průměrně 72MBps a na CentOS průměrně 30MBps (měřeno stopkama a Totalcommanderem). Řekl bych, i když to nemůžu vyloužit, že to nebude chyba samby protože když dám wget z toho datového centos a požaduji soubor z lokálního www serveru tak jsem na tom samém malém výkonu. A podotýkám, že stejný problém máme ve víc firmách na různých konfiguracích.

V konkrétním případě má CentOS přiděleno 1,5GB paměti se střední prioritou a 4 procesory bez limitu v řízení prostředků. V serveru je xeon e3-1220 a běží tam Windows server2008, virtuální centos (ten na data), virtuální centOS (jako lokální www server s apache bez zátěže), virtuální Windows7 (téměř bez zátěže) a KerioControll (to má svoje vyhražené síťovky).

Fakt nevim, docela mě to mrzí. Ani jeden z námi spravovaných několika set stanic a tak dvacítky serverů s windows ničim podobným netrpí a člověk chce prosazovat linux a hned taková facka.

[alfonz]

Zkoušel jste i odlišnou distribuci např. Debian nebo Ubuntu? Co říkají výstupy ethtool? a ip a?   lshw -class network?

[petrg]

nainstaluj si proxmox a openvz a uvidis rychlost vsechno je tak 2-3x rychlejsi nez na klasicke virtualizaci.
testovano oproti vmware esx a MS virtualizaci.
jinak kvm + potrebne ovladace funguje az 10Gbps teda teoreticky ale urcit vice nez 1Gbps
jedine co povazuji za problem openvz nema z logickeho hlediska snapshoty.

[Reklama]

[vana-hb]

K samotnému systému. Ona nabídka systémů je dost omezená http://technet.microsoft.com/library/cc794868(WS.10).aspx a chtěl jsem se držet rpm distribucí. CentOS jsem pokládal za dobrou volbu protože to je příživník Red Hat(u) a RH jako komerční řešení by měl mít integraci do Hyper-V dořešenou dobře. Ono to funguje, sám mám asi deset instalcí CentOS na Hyper-V které provozuji bez problému. Ale většinou je tam ftp, apache nebo i ta Samba ale s malou zátěží kdesi nikdo ničeho nevšiml. Udivuje mě, že jsem trávil celý víkend hledáním v google a jsem jediný na světě kterého všechny instalace zlobí.

A k virtualizaci bych řekl, že v mé situaci neni možné dělat takový průvan. Jednak hlavní administrátor umí jen Micorsoft a už to lepší nebude a já se svým rokem praxe na linuxu si taky moc nedovolim.

Taky jsou kódy:

Kód: [Vybrat]

[root@dserver ~]# clear; ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
    link/ether 00:15:5d:62:07:05 brd ff:ff:ff:ff:ff:ff
    inet 192.168.11.226/24 brd 192.168.11.255 scope global eth0
    inet6 fe80::215:5dff:fe62:705/64 scope link
       valid_lft forever preferred_lft forever

Kód: [Vybrat]

[root@dserver /]# more info
*-network
             description: Ethernet interface
             product: DECchip 21140 [FasterNet]
             vendor: Digital Equipment Corporation
             physical id: a
             bus info: pci@0000:00:0a.0
             logical name: eth0
             version: 20
             serial: 00:15:5d:62:07:05
             width: 32 bits
             clock: 33MHz
             capabilities: bus_master rom ethernet physical
             configuration: broadcast=yes driver=tulip driverversion=1.1.15 ip=192.168.11.226 latency=64 maxlatency=40 mingnt=20 multicast=yes
             resources: irq:9 ioport:ec00(size=128) memory:febff000-febfffff memory:febe0000-febeffff(prefetchable)

Kód: [Vybrat]

[root@dserver ~]# ethtool eth0
Settings for eth0:
No data available

[Sten]

nainstaluj si proxmox a openvz a uvidis rychlost vsechno je tak 2-3x rychlejsi nez na klasicke virtualizaci.
testovano oproti vmware esx a MS virtualizaci.
jinak kvm + potrebne ovladace funguje az 10Gbps teda teoreticky ale urcit vice nez 1Gbps
jedine co povazuji za problem openvz nema z logickeho hlediska snapshoty.

A nejde na tom spustit VPN nebo měnit nastavení jádra a nastavit firewall je noční můra.

Kód: [Vybrat]

[root@dserver /]# more info
*-network
             description: Ethernet interface
             product: DECchip 21140 [FasterNet]
             vendor: Digital Equipment Corporation
             physical id: a
             bus info: pci@0000:00:0a.0
             logical name: eth0
             version: 20
             serial: 00:15:5d:62:07:05
             width: 32 bits
             clock: 33MHz
             capabilities: bus_master rom ethernet physical
             configuration: broadcast=yes driver=tulip driverversion=1.1.15 ip=192.168.11.226 latency=64 maxlatency=40 mingnt=20 multicast=yes
             resources: irq:9 ioport:ec00(size=128) memory:febff000-febfffff memory:febe0000-febeffff(prefetchable)

Hmm, driver=tulip, tam nějak nefunguje paravirtualizace síťovky přes Linux Integration Services. Pokud je LIS nainstalovaný, mělo by stačit odebrat legacy network adapter a přidat network adapter.

[TomasP]

Zdravím, doporučil bych udělat upgrade Hyper-V serveru na 2012R2 kde je podpora Linuxu defaultně zabudovaná (MS byl v určitém čase největší přispěvatel do jádra, právě kvůli virtualizaci na Hyper-V).

[Pheella]

Zkus vypnout tu IPv6. Dost často to pomáhá 

[petrg]

K openvz VPN, pptp, ipsec vsechno funguje i pod openvz stačí jenom umět číst,
firewall trochu opluz ale používám pfsense pod kvm jako firewall

[Sten]

K openvz VPN, pptp, ipsec vsechno funguje i pod openvz stačí jenom umět číst,
firewall trochu opluz ale používám pfsense pod kvm jako firewall

A zkoušel jste to? Třeba ufw rozběhat v OpenVZ je porod. OpenVPN tam neběží bez toho, abyste dostal příslušné zařízení a capability net_admin, což je bezpečnostní riziko, protože ten kontejner pak může rozbít síť i na hostiteli. Navíc persistentní tunel nebo VPN s VENET tam nejde ani tak (je to i v tom návodu popsané).

[alfonz]

Ano můžu potvrdit, že zprovoznit ufw tak, aby zhruba fungovalo pod OpenVZ není nic jednoduchého. Problém, jsou
obecně jakékoliv infrastrukturní aplikace obvykle. I přesto ale OpenVZ je si myslím, docela dobré.

[vana-hb]

Tak sjem hlouho instaloval, přeinstalovával, upgradil a degradil a výsledek je na houby. Na našich serverech to bez hlubokého know-how asi nepojede

Poslední pokus co jsem dělal je, že jsem si do virtálního stroje nainstaloval čistou instalaci CentOS 6.5 32bit (nevim jestli záleží 32 vs 64) a tu jsem upgradoval pomocí LIS3.5. POužívám standartní Hyper-v LAN kartu (ne tu legacy). Výsledek katastofa. Windows7 virtuály i samotný virtualizační server stahují ze sítě kolem 100MBps a náš Linux kolem 30MBps ... . V linuxu stahuji tak že si mountem připojím síťový disk a na rychlost koukám v MC a ověřuji ji stopkama.

Takhle to vypadá:

Kód: [Vybrat]

Windows 2008 Server R2 sp1
CentOS 6.5 i386 s LIS 3.5

modinfo hv_vmbus
filename:       /lib/modules/2.6.32-431.el6.i686/kernel/drivers/hv/hv_vmbus.ko
version:        3.1
license:        GPL
srcversion:     3E7D7FE31577CC7E47EA89E
alias:          acpi*:VMBus:*
alias:          acpi*:VMBUS:*
depends:       
vermagic:       2.6.32-431.el6.i686 SMP mod_unload modversions 686

lsmod | grep hv
hv_netvsc              21061  0
hv_utils                7753  0
hv_storvsc              9362  2
hv_vmbus               25632  5 hv_netvsc,hv_utils,hid_hyperv,hyperv_fb,hv_storvsc

rpm -qa | grep microsoft
microsoft-hyper-v-rhel63.3.5-20131212.i686
kmod-microsoft-hyper-v-rhel63.3.5-20131212.i686

ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:15:5D:62:07:08 
          inet addr:192.168.11.5  Bcast:192.168.11.255  Mask:255.255.255.0
          inet6 addr: fe80::215:5dff:fe62:708/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:3471 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:367972 (359.3 KiB)  TX bytes:1063 (1.0 KiB)

lshw -class network
  *-network
       description: Ethernet interface
       physical id: 1
       logical name: eth0
       serial: 00:15:5d:62:07:08
       capabilities: ethernet physical
       configuration: broadcast=yes driver=hv_netvsc driverversion=3.1 firmware=N/A ip=192.168.11.5 link=yes multicast=yesPrvní zajímavost je, že to ukazuje verzi hv_vbbus 3.1 i když podle instalovaných balíčků by to měla být 3.5. Ale google říká, že upatné číslo verze je známá a pravděpodobně neopravitelná chyba protože dotazy kolem tohoto tématu sahaji do roku 2010 co jsem viděl.

A druhý problém od normálu je, že ještě před loginem do systému se mi občas objeví

Kód: [Vybrat]

"hv_vmbus probe failed for device vmbus_0_11 (-22)" což je novina protože mi to s LIS 3.4 nedělalo. Sranda je že to nevyskočí vždy. Síť se zná načtená tak je to snad něco nepodstatného.


Předem dík za jakoukoli radu co s tou sítí.

[jivep]

Zdravím, doporučil bych udělat upgrade Hyper-V serveru na 2012R2 kde je podpora Linuxu defaultně zabudovaná (MS byl v určitém čase největší přispěvatel do jádra, právě kvůli virtualizaci na Hyper-V).

a to vyresi problem s rychlosti site? Mate to nekde overeno?
Ted resim dva identicke problemy, oba svr Hyper-v 2012, na obou je CentOS 6.5 s LIS3.5, na jednom je rychlost 1MB/s, na druhem 60MB/s, mam podezreni na ovladace sitove karty pro Hyper-V 2012 a ne na chybu v linuxu. Po provereni dam vedet co zabralo.

[vana-hb]

Zdravím, doporučil bych udělat upgrade Hyper-V serveru na 2012R2 kde je podpora Linuxu defaultně zabudovaná (MS byl v určitém čase největší přispěvatel do jádra, právě kvůli virtualizaci na Hyper-V).

Hyper-V na 2008 i 2012 používá stejnou integrační sadu tak že z tohoto pohledu by tam nemusel být veký rozdíl. A druhá věc je, že integrace přímo v jádře je na konci esty to samé jako pozdější instalace z ISO ... je to tak?