46
Server / Re:iSCSI Multipathing v Proxmox
« kdy: 12. 04. 2023, 17:05:59 »Tezko rict, dovnitr nevidim. Ale sitovky se daji konfigurovat L2,L3, bonding, port groupy, etc, takze...Aby byl funkcni multipath, co je potreba?
[a dál dotaz na kombinace IP subnety vs. porty na storage boxu]
To je dobrá otázka. Podle mého záleží, co umí ten storage box.
Pokud to má uvnitř jedinou instanci firmwaru, která vidí ty své čtyři porty jako eth0...eth3, tak bez dalšího bych řekl, že nemá smysl dávat těm čtyřem rozhraním IP adresy z jediného společného subnetu. V tom případě totiž traffic směrem ven pojede nejspíš jediným rozhraním. Aspoň takto by se choval standardní Linux.
Jak se tu nedávno probíralo, i v tom Linuxu se dá zařídit, aby "odpovědi odcházely stejným rozhraním, odkud přišel dotaz" (per TCP spojení) - ale znamená to nějaké hraní s iptables, ten storage box by musel řešit connection tracking a nějaké navazující věci... odhadem by to mohlo být procesorově náročné a tedy nežádoucí. Nebo by na to výrobce musel mít nějaký svůj vlastní modul v kernelu - nemohu vyloučit, viděl jsem už různá zvěrstva.
Citace
Uměl by ten storage box proti switchi trunking / bonding? Toto buď pomocí LACP nebo i bez. Pokud ano uměl, můžou se dvě a více rozhraní chovat jako "failover group", možná dokonce s jakýmsi load balancingem, a tím pádem ten storage box může mít klidně jedinou společnou IP adresu.Umi. Ale v pripade bondingu bude prece vykon degradovany minimalne na urovni linky ne? Jedine spojeni pve(ip:port)->box(ip:port)?
Citace
Obecně by mělo fungovat, postavit to jako dvojhvězdu. Každý PVE box po jednom fousu do každé hvězdy, každý storage box taktéž (dva porty storage boxu by zůstaly "na ocet"). A na každou L2 hvězdu jiný L3 subnet.Nad temi boxy bude HA sluzba, takze ten mirror by nemel byt problem.
Grammar nazi poznámka: mít dva samostatné storage boxy připojené k jedinému hostiteli, a provozovat nad nimi nějaký (geograficky) rozprostřený mirror, to je terminologicky něco jiného, než multipath.
Multipath znamená, že máte jeden storage box (dokonce jeden LUN) vidět z jednoho hostitele dvěma nezávislými cestami. Za starých časů bych ke "sloučení do jednoho blokového zařízení" použil v Linuxu modul dm-multipath.
Citace
Ono v Linuxu jde ledacos poskládat "holýma rukama" na kterékoli distribuci, ale některé distribuce mají své vlastní specifické uživatelsky příjemné nástroje...
Mimochodem než geograficky rozprostřený mirror z blokových zařízení, zvážil bych možná spíš CEPH, pokud tomu jde naproti geografické rozmístění počítačů. A tahat storage traffic skrz L3 router by mi kdysi taky připadalo jako svatokrádež. Já vím - lepším switchům je už asi dvacet let dost jedno, jestli forwardují L2 nebo L3.
ceph jsme zvazovali, nakonec dostal prednost SAN. Co se tyce L3, vzdy peclive premyslime, zda roztahnute L2 ma smysl (konfiguracni schopnosti switche). Tohle je asi prvni pripad roztahnute L2 (replikace), ale iscsi zatim mame L3.
Tldr: zatim resim, jak vlastne nastavit site na PVE, aby spravna kombinace adresace/portu fungovala - je tam lacp, bridge atd...proste sdilena sitova konfigurace. A nez budu predelavat na subnet per sitovy port, tak zjistuji, zda nemam botu jinde. Prvotni predpoklad je, ze ten box ten multipath umi podle ocekavani - tzn. vice IP na pve a vice IP na boxu.
