Agregace logů: pull v sítích s omezeními

[pakozdy]

zdravim

snazim sa riesit agregaciu logov - standardna situacia aj pouzite nastroje - fluetd, fluentbit, promtail, syslog,...
narazil som ale situaciu, ze zdroj logov je oddelenej sieti B. logy maju byt ulozene v sieti A (schema Lan-DMZ).
zo siete B nebudu k dispozicii ziadne prestupy.

trocha som narazil, lebo neviem najst rozumne informacie aku takyto scenar stahovania/pull logov v danych nastrojoch alebo vseobecne riesit.
po precitani dokumentacie sa mi zda ze nemaju nejaku rozumnu podporu pre takuto situaciu.

jedno z rieseni je v sieti B smerovat vystup do suboru a obsah cez siet streamovat do siete A. Tam pouzit Tail podporu v standardnych nastrojoch.
ale obavam sa relativne velkej rezie - rotacia logov, obnova spojeni, znackovanie zaznamov atd.

ako taketo situacie riesite u vas, v produkcii pripadne vo v dospelych logovacich systemoch ?
nezda sa mi ze som jediny ktory musi riesit takuto situaciu :-)

vdaka za akekolvek posunutie k rozumnemu rieseniu.

[Reklama]

[_Tomáš_]

standardní přenos logů mezi oddělenými sítěmi je přes sdílený disk. Pokud potřebuješ pull, je lepší logy vystavit na nfs/smb/sftp a z log aggregation serveru si je pullovat stažením, sftp je v tomhle případě asi nejjednodušší.

Jinak sběr logů většinou inklinuje k push metodě, ať už vystavený nějaký syslog, messaging server, elastic či brána a forward logů s malou lokální cache rovnou na sem.

Ve velkých distribuovaných sítích není vhodné logy dávat ze všech míst na jedno, ale udělat vždy u každého segmentu sítě vlastní forward collector a ten to pak buď sám persistuje nebo posílá dál. Ve splunku lze např. poměrně snadno řešit delegaci dotazů a synchronizaci on-demand na centrální repository.