Jednoduchši HA na Proxmox

[darebacik]

V homelab pouzivam Proxmox, kde mam niekolko KVM a LXC (web servery, rev,  proxy, vpn-ky, nextcloud, collabora, vaultwarden, proste bezne aplikacie k zivotu). Fungujem takto uz niekolko rokov (cca 10), ale neposuvam sa nejak dalej.

Zatial som nemal vacsi problem, raz za 3-4 roky vymenim HW (MB, RAM, SSD), aj ked ten predosli funguje, ale zacinal som na RAM 4GB, teraz 32GB.

Aj ked bezim na optickom pripojeni, tak vypadky sa mi zdaju celkom casto (cca 1x do mesiaca, niekedy aj na 30 minut). Napr. koniec novembra 2024 sa to po polnoci rozpojilo a na 98 pokus po 20 minutach sa to pripojilo

Kód: [Vybrat]

Nov 27 00:08:23 ppp 13330 [wan_link0] LCP: no reply to 2 echo request(s)
Nov 27 00:08:34 ppp 13330 [wan_link0] LCP: no reply to 3 echo request(s)
Nov 27 00:08:44 ppp 13330 [wan_link0] LCP: no reply to 4 echo request(s)
Nov 27 00:08:54 ppp 13330 [wan_link0] LCP: no reply to 5 echo request(s)
Nov 27 00:08:54 ppp 13330 [wan_link0] LCP: peer not responding to echo requests
Nov 27 00:08:54 ppp 13330 [wan_link0] LCP: state change Opened --> Stopping
Nov 27 00:08:54 ppp 13330 [wan_link0] Link: Leave bundle "wan"
Nov 27 00:08:54 ppp 13330 [wan] Bundle: Status update: up 0 links, total bandwidth 9600 bps
Nov 27 00:08:54 ppp 13330 [wan] IPCP: Close event
Nov 27 00:08:54 ppp 13330 [wan] IPCP: state change Opened --> Closing
Nov 27 00:08:54 ppp 13330 [wan] IPCP: SendTerminateReq #21
Nov 27 00:08:54 ppp 13330 [wan] IPCP: LayerDown
Nov 27 00:08:54 ppp 13330 [wan] IFACE: Removing IPv4 address from pppoe0 failed(IGNORING for now. This should be only for PPPoE friendly!): Can't assign requested address
Nov 27 00:08:54 ppp 13330 [wan] IFACE: Down event
Nov 27 00:08:54 ppp 13330 [wan] IFACE: Rename interface pppoe0 to pppoe0
Nov 27 00:08:54 ppp 13330 [wan] IFACE: Set description "WAN"
Nov 27 00:08:54 ppp 13330 [wan] IPCP: Down event
Nov 27 00:08:54 ppp 13330 [wan] IPCP: LayerFinish
Nov 27 00:08:54 ppp 13330 [wan] Bundle: No NCPs left. Closing links...
Nov 27 00:08:54 ppp 13330 [wan] IPCP: state change Closing --> Initial
Nov 27 00:08:54 ppp 13330 [wan] Bundle: Last link has gone, no links for bw-manage defined
Nov 27 00:08:54 ppp 13330 [wan_link0] LCP: SendTerminateReq #21
Nov 27 00:08:54 ppp 13330 [wan_link0] LCP: LayerDown
...
Nov 27 00:27:38 ppp 13330 [wan_link0] Link: reconnection attempt 98
Nov 27 00:27:38 ppp 13330 [wan_link0] PPPoE: Connecting to ''
Nov 27 00:27:38 ppp 13330 PPPoE: rec'd ACNAME "ke-pols-bras-1"
Nov 27 00:27:38 ppp 13330 [wan_link0] PPPoE: connection successful
Ak to je v noci, tak v pohode, nemam garantovanu linku a neprichadzam o ziadne zisky, ale ak nieco ISP robi, tak aspon nech dopredu informuje.

Chcel by som skusit HA a pouzit na to nejaky VPS. Samozrejeme do HA nemozem zapojit vsetky KVM/LXC, pretoze to ani nejde. Napr. v KVM mam aj pfSense, alebo nechcem poskytovat tretej strane VPN configy, alebo vaultwarden docker a apod.

Ale napr. niektore weby, rev. proxy by do HA mohli byt zapojene. Najskor mi ide o to, ked padne cely homelab (co sa mi nikdy nestalo) aby bolo online aspon to dolezite pokial to nahodim (zalohy KVM a LXC mam v bezpeci sifrovane na cloude).

Je v proxmx nejaka ficurka, ktora zjednodusuje pre adminov vytvorit HA, prip. ako riesit failover ? Napr. pojde mi aj o automatizovany prepis IP adries na DNS serveroch (cloudflare, noip a pod).

Poprosil by som o nakopnutie do coho ist a comu sa vyhybat. V HA som uplny novacik. Aj ked viem ze to z mojho pohladu nebude rentabilne, lebo za VPS musim zaplatit, ale chcem to aspon skusit.

[Reklama]

[hknmtt]

Musis si prenajat nejaky VPS na ktorom pobezi kopia(ako si spominal) a skryt to za proxynu, co je dalsie VPS, ale to moze byt nejaka mikroinstancia ktora jedine co robi je ze robi healtcheck  requesty na tvoje servery a podla toho prepne spojenie na zalozny server. Eventuelne to mozes osetrit na urovni dns a neriesit proxinu. Myslim ze by to mohlo zmaknut nejake geodns, ale neviem, ci je mozne nastavit primary-secondary na tom aby ti neroutoval na zalozny server ak hlavny bezi  lebo o tom geodns primarne nie je, ale je mozne ze nejaky provider ma taku funkcionalitu.

[RDa]

Je v proxmx nejaka ficurka, ktora zjednodusuje pre adminov vytvorit HA, prip. ako riesit failover ? Napr. pojde mi aj o automatizovany prepis IP adries na DNS serveroch (cloudflare, noip a pod).

A neni to trocha overkill na ty bezne minutove vypadky?

Pokud bych chtel prehazovat treba emaily, tak muzes mit externe sekundarni server a mit v DNS spravne priority - jenze pak taky musis poresit stejnou konfiguraci a preposlani/doruceni tech mailu domu prece.

Radeji bych doporucil najit poskytovatele, co nebude mit tak caste vypadky, nebo to vykryl sekundarnim ISP (za predpokladu, ze mas doma vyreseno zalohovane napajeni) a pro sve uzivatele nasadil nejakou VPN, ktera bude mit onen priority list s obemi verejnymi IP.

[darebacik]

Emaily nepotrebujem riesit. Mozno mi skor ide o to ak by sa to poruchalo po HW stranke (disky, ram, MB ...). To sa niekedy neda zohnat za 24 hod (vacsinou sa zle veci prihodia v piatok poobede). Aj ked nejaky HW by som nasiel v zasobach (kusky co mi ostali po vymene za novy HW), ale je to generacne stare, ale ako zaskok by to mozno stacilo.

V neposlednom rade chcem sa trocha naucit aj s HA, failover a pod.

[czechsys]

Proxmox resi HA (vm,lxc) na urovni samotnych proxmoxu, neresi HA samotnych sluzeb. To si uzivatel musi resit sam.

Samotne HA je jednoduche, staci si precit dokumentaci proxmoxu a naklikat to v gui.

[Reklama]

[darebacik]

Je pravda, ze som to este nestudoval, ale mozno budem musiet 
Mam taku predstavu, ze niektore LXC/KVM, ktore by som chcel dat na HA, tak kopiu tychto KVM/LXC dam na VPS (samozrejme musia byt pod inou  verejnou IPv4 adresou ako su  v homelabe)
Na VPS bude teda nejaky sledovac KVM/LXC v homelabe. Ak z homelabu nebude chodit odpoved, tak utomaticky prebera ulohu KVM/LXC na VPS. To znamena, ze velmi rychlo sa musi prepisat IP na DNS serveroch a to je asi vsetko.

Dalsia dolezita vec je synchronizacia. Ked urobim nejaku zmenu v KVM/LXC homelabe, aby sa to prejavilo tiez na VPS (prip. naopak).
Takto by som si predstavoval HA.

Co sa tyka uloziska, tak vlastne nemam ziadne. Uloziska su obsahom KVM/LXC (jedna sa o kapacity KVM/LXC do 1GB)

[jjrsk]

...To znamena, ze velmi rychlo sa musi prepisat IP na DNS serveroch a to je asi vsetko.
...

Coz jasne ukazuje, ze se tu nekdo snazi stavet atomovou elektrarnu, ale ani netusi, jak funguje splachovaci hajzlik ...

Tusis ty vubec jak (ne)funguje dns? Predstava, ze HA budes resit zmenou DNS ti nebude fungovat ani v LAN. Kazdej jeden klient si totiz drzi cache.

Co udelat muzes, je ze mas v DNS dve IPcka a kdyz nefunguje jedna, mel (to je treba zduraznit, to MEL) by klient zkusit dalsi. Coz ale nijak nesouvisi s proxmoxem. Protoze ti proste vsechny instance musi bezet zaroven, coz sebou pochopiltene prinasi dalsi radoste jako jsou databaze, zamky souboru, synchronizace ....

Proxmox ti umi zaridit, ze kdyz ti chcipne jedna instance, nastartuje vm na jiny, ale osobne by me celkem zajimalo, jak se to bude chovat v situaci, kdy prave DVE instance ztrati spojeni. Imo to nastartuje vse na obou ze?

[rmrf]

osobne by me celkem zajimalo, jak se to bude chovat v situaci, kdy prave DVE instance ztrati spojeni. Imo to nastartuje vse na obou ze?

Co mají taky chudáci dělat, když jeden o druhém neví... Proto by jich měl být lichý počet, aby mohly vytvořit hlasovací většinu.

[darebacik]

...To znamena, ze velmi rychlo sa musi prepisat IP na DNS serveroch a to je asi vsetko.
...

Coz jasne ukazuje, ze se tu nekdo snazi stavet atomovou elektrarnu, ale ani netusi, jak funguje splachovaci hajzlik ...

Tusis ty vubec jak (ne)funguje dns? Predstava, ze HA budes resit zmenou DNS ti nebude fungovat ani v LAN. Kazdej jeden klient si totiz drzi cache.

Co udelat muzes, je ze mas v DNS dve IPcka a kdyz nefunguje jedna, mel (to je treba zduraznit, to MEL) by klient zkusit dalsi. Coz ale nijak nesouvisi s proxmoxem. Protoze ti proste vsechny instance musi bezet zaroven, coz sebou pochopiltene prinasi dalsi radoste jako jsou databaze, zamky souboru, synchronizace ....

Proxmox ti umi zaridit, ze kdyz ti chcipne jedna instance, nastartuje vm na jiny, ale osobne by me celkem zajimalo, jak se to bude chovat v situaci, kdy prave DVE instance ztrati spojeni. Imo to nastartuje vse na obou ze?

Nie, niesom odbornik a v kazdom prispevku na to upozornujem. V homelabe fungujem s dynamickou verejnou IP a ta sa obcas na DNS serveroch prepisuje. Zatial som v tom problem nezaznamenal. Ak sa na DNS da k A zaznamu pridat dalsia IP, tak to by bolo fajn.

PS: atomovku uz dokoncujem, ale tomu plavaku v hajzly fakt nerozumiem, mozes mi to dovysvetlit ?

[jjrsk]

Co mají taky chudáci dělat, když jeden o druhém neví... Proto by jich měl být lichý počet, aby mohly vytvořit hlasovací většinu.

Sak ta sprava legranda zacne az v situaci, kdy tech hlasovacich vetsin vznikne vic .

Nie, niesom odbornik ...

= snazis se zrealizovat neco, co nepotrebujes, a o cem nemas ani zakladni predstavu jak by to vubec mohlo fungovat.

To neber tak ze je nejak spatne si hrat, ale to ze si chces hrat si mel napsat v prvnim postu.

A ano, DNS zvladne dokonce neomezeny pocet IP adres. Ovsem klienti typicky kdyz uz tak pouziji maximalne nekolik prvnich. Potazmo DNS muze klientum predkladat IPcka na zaklade nejakeho algoritmu (treba nahodne z nejake skupiny) atd. Ale to ti jednoduse nevyresi situaci, kdy klient pouzije "prvni" a na ostatni dlabe.

Ovsem ty by sis mel nedriv uvedomit, ze neexistuje nic jako "zapnu nekde nejake HA". Vzdycky resis nejaky konkretni typ vypadku konkretnim zpusobem. Treba virtualizace ti umi resit vypadek HW, ale neumi ti resit vypadek toho VM jako takoveho.

Nektere sluzby jsou jako odolne dokonce navrzene (treba prave dns), a proto tu odolnost spravci (treba ti z upc/vodafounu) rozbijeji (oba klientske dns jsou ve stejnem rozsahu jednoho AS). Jine (treba web) musis jako vypadkuodolne odzacatku napsat, protoze samo od sebe to s tim ze neco bude nefungovat proste nepocita.

[darebacik]

V prvom poste  som sice nepisal ze sa chcem nieco naucit, ale pisal som, ze chcem HA skusit. Moj homelab nie je ziadna produkcia a nadomnou nestoji ziadny sef, ktoremu sa zodpovedam. Ak sa rozhodnem, ze sa do niecoho pustim, tak sa do toho pustim a ak si poviem, ze kaslem na to tak to necham tak. Preto som zalozil tuto temu ci ma vie niekto nakopnut.

Nemyslim si, ze je v tom je nejaka extra veda. Vsetko uz je vymyslene, len to treba pozliepat, zfunkcnit a otestovat. Potreboval som len nakopnut a chcel som vediet ci su pre to nejake ficurky aby som nezliepal nieco zbytocne. Podla mna je HA dnes bezna vec.

[RDa]

Vetsinou se pod HA (pod klikatky pro HA) rozumi failover v ramci racku, kde mate redundantni nody, ktere muzete treba po jednom restartovat a poskytovana sluzba nespadne. Interconnect je zde 100% (treba prave kvuli zdvojenemu napajeni a zdvojenym sitim), a cele se to drzi v kazdem momente v konzistentnim stavu, bez nutnosti nejake explicitni synchronizace.

To, nad cim uvazujes ty, je spise geograficka distribuce sluzeb, a to se nasazuje trvale, neni to reseno stylem ze ted nejde uzel v zemi X tak presmerujeme provoz jinam. To distribuovany reseni funguje vsude, a pak to ma treba backend API na centralni uzel (ano, nektere veci jsou SPOF - treba "registrace uzivatele"). Pokud potrebujes jen pasivne distribuovat read-only obsah, tak muzes pohodlne nasadit repliky.

Imho cele nedorozumeni zde je z duvodu, ze si pod HA predstavujes neco jineho nez HA je, a pak k tomu pristupujes nespravnym smerem, kdyz nevis co mas hledat a snazis se ohnout neco urcene na neco jineho, k tomu co bys chtel ty.

[darebacik]

Tak v tom pripade beriem spät HA. Myslel som si, ze vysoka dostupnost sa uplatnuje aj v mojom pripade. Ja som mal na mysli prave to

nejde uzel v zemi X tak presmerujeme provoz jinam.

Riesia sa vobec taketo veci ?

[RDa]

Pokud mas nejake masove nasazeni (a la FB) tak se to neresi.

Pokud mas nejake kriticke systemy, tak ty se pripojuji na vicero uzlu podle priority listu - viz napr. distribuci balicku - pokud nejede preferovany mirror, package manager to stahne z jineho (konkretne zkusenost s gentoo/portage), stejne tak distribuce seznamu (portage tree) je rsync a ma to sekundarni adresu.

Ale pokud se bavime o klasickych sluzbach (web, ftp, git, atd), tam ti pomuze leda aplikacni proxy, ktere ti presmeruje provoz na preferovany a zrovna funckcni backend. Ale zde vse, co je pred touto proxy, musi byt pripojeno spolehlive (tj nemuzes to provozovat doma).

Mi prijde ze se snazis resit velice okrajovou podminku (selhani providera, selhani distribucni site EE), namisto toho, abys umistil sve zelezo na lepsi misto (do datacentra). Na takove pofiderni reseni holt sluzby neudelas s HA, kdyz je sami nejakym zpusobem neresi.

Plus napr. pokud chces resit neco jineho nez readonly obsah (ktery muzes syncovat jednosmerne), tak se u RW obsahu (cokoliv s db, git, atd) podelas z toho jak nastavit nejaky rozumny prepnuti. Musis brat do uvahy, ze na kazde sluzbe muzes mit aktivne pracujiciho usera (treba git push, db import) a padne ti ta lokace uprostred takovych opraci. Prepnes na zalozni - a tam co.. lidi budou zrazu o tyden zpet? a pak to prepnes zas, a zmeny se ztrati. Takze pro vetsinu sluzeb je lepsi hodit nedostupno/INOP/deny a opravit si svoji jedinou lokaci.

A ted se dostavame zpet k tomu, ze muzes resit HA a proxy, a nejaky lokalni cluster, ktery prezije castecny vypadky a rebooty - to je neco co resit muzes (a mel bys) - ale pouze v ramci jedne garantovane lokace (homelab), ne roztahane skrze internet. Ze ti vypadava ISP, je neco, co resi lepsi vyber, lepsi umisteni, lepsi smlouva - a treba SLA.

Alternativne muzes jit do dvou ISP, a tu aplikacni proxy (anebo pouze vpn+nat) si dat na VPS, aby vyuzivala zrovna funkcni cestu k tvemu homelab backendu.

[Zopper]

Vetsinou se pod HA (pod klikatky pro HA) rozumi failover v ramci racku, kde mate redundantni nody, ktere muzete treba po jednom restartovat a poskytovana sluzba nespadne.

Ne nutně v rámci racku, my to takhle máme na třech nodech ve třech různých racích, ale v rámci jednoho datacentra. Respektive mělo by to tak být, co přesně s tím dělá cloud provider je zahaleno lehkou rouškou tajemství.

...nejde uzel v zemi X tak presmerujeme provoz jinam... To distribuovany reseni funguje vsude, a pak to ma treba backend API na centralni uzel (ano, nektere veci jsou SPOF - treba "registrace uzivatele").

Jde mít i architekturu bez centrálního uzlu. Distribuované zápisy nebo shardovaná data. Ale záleží, o jaká data jde, jaký je poměr read/write, kolik lokalit je... Jo, když padne jedno datacentrum, tak jeho uživatelé mají smolíka, ale zbytek světa jede dál, jako by se nechumelilo. A kdyby měl být ten výpadek delší, tak se vytáhnou připravené krizové návody a v jiném datacentru nastartuje kopie toho padnutého ze záloh. Časově se tu bavíme o hodinách.