Časté aktualizace jádra a restarty systému

[Trident Vasco]

Zda se ze pouze _Jenda pochopil na co jsem se ptal . Zkouset ksplice na databazovem serveru nebo na gpfs clusteru s nekolika PB filesystemem vazne nebudu. A firemni IT politika je aktualizovat ASAP, o restartech se tam nic nerika.
To uz je tady na foru takovy folklor, neodpovidat na dotaz, ale davat nevyzadane rady.

_Jendo dekujeme.

Bezne se to i na techto masinach dela pokud ma clovek firmu ktera mu za livepatche ruci. Zatim jsem nezazil vyjma problemu s HW drivery pri livepatchingu jadra nejake zasadnejsi problemy. Dalsi vec je taky pouzivat ten spunt na krku a cist si jestli opravy jsou pro mne relevantni nebo ne. Mit par PB dat neni dnes az tak moc. V nouzi sjet report vulnerabilities/ changelogy AI a vysledek dofiltrovat tim spuntem na krku.
Vzhledem k dulezitosti dat a argumentaci z business strany jiste takova firma plati lidi nebo firmu ktera se tim zabyva. V nekterych odvetvich je toto dokonce povinnost.
Co se tyce funkcionality vs bezpecnosti tak tohle si vetsinou vyjednaji infra a sec manazeri. V zavislosti na politice firmy jeden nebo druhy taha za ten silnejsi provaz.
Pokud jsi jen technicka osoba dotazal bych se nadrizenych. Ty od toho placeny nejsi. Nezivis tak neprepinej.
Jsi-li manazer proberte to s obema stranami na meetingu a definujte si nejaka pravidla pokud uz tato pravidla nemusite splnovat napr. spadanim pod zakony, oborove audity atd.  Jsi-li na to sam... je mi te lito.

[Reklama]

[jjrsk]

...je na čase začít řešit Live Patching....

Ja bych chtel videt nekoho, kdo bude garantovat (nikoli kecama ale penezma) ze ten system pri tom necrashne.

Specielne v situaci, kdy cim dal castejs v ruznech distrech i po aktualizaich ruznych knihoven vyskakujou hlasky na tema "a ted to bezte restartovat nebo to nebude fungovat".

[Trident Vasco]

...je na čase začít řešit Live Patching....

Ja bych chtel videt nekoho, kdo bude garantovat (nikoli kecama ale penezma) ze ten system pri tom necrashne.

Specielne v situaci, kdy cim dal castejs v ruznech distrech i po aktualizaich ruznych knihoven vyskakujou hlasky na tema "a ted to bezte restartovat nebo to nebude fungovat".

Ano garance penezma existuje. Musite mit specificke distro, lidi s papiry a premium sluzby. Jinak spis nemit ten system postaveny jako prasopes a spolehat se na to ze ten jeden server _snad_ bude fungovat.

Co se tyce userspace uz se livepatchuji i nektere dulezite systemove knihovny jako glibc nebo crapssl.Pro ostatni veci mate mit reseno v HA - ktere se dela taky kvuli patchingu aby sluzba byla ziva v prubehu upgradu. Co tam mate dal?

[Trident Vasco]

Tak ono se to netýká jen jádra. Když zaktualizuješ aplikace, tak bez jejich restartu ti stejně běží na staré verzi.

Jak říká czechsys, je to věc interní politiky a ta se stanovuje podle toho co na serveru běží, kdo a odkud k němu přistupuje a jaká jsou bezpečnostní rizika. Ruku na srdce, pokud nám OS/aplikace běží a dělá co má, tak ji aktualizujeme v 90% případů jen kvůli "bezpečnosti", protože co funguje, na to se sahá jen když je to nutné.

Proto se to resi nadrazenymi systemy a scenari pro migraci loadu tam a zpatky kvuli updatum. Tyhle scenare bud ma clovek predchroupane vyrobcem a nebo si je musi vyvinout sam. Nad to jeste jde firemni DR kdyby se to hodne podelalo.
Jedna vec je rici ASAP, druha vec je definovat casove podminky pro "ASAP" a akce kdyz se neco podela. Dalsi vec je nastavit takove podminky aby to bylo proveditelne a bez problemu testovatelne.
Vypracovat a odladit tyto scenare vcetne testu muze trvat u slozitych systemu i leta s praci mnoha lidi. A pravidelne se v labu testuji.
Proto lidi za to berou ne uplne male penize. Kdyby tomu tak nebylo tak delam admina za plat o neco malo vyssi nez plat vedouci lidlu.
Bud provozovatelum na businessu zalezi a nebo hazeji SLA do smluv bez realnych sanci je splnit a pak je to casovana bomba.

[jjrsk]

...
Ano garance penezma existuje. ...

Cet si nekdy alespon jednou vzivote nejakou takovou smlouvu? NIKDO na tyhle planete ti takove garance NEDA.

A ver tomu, ze sem to resil, a nikoli jednou. Vzdycky to byla nejdriv hromada kecu, jak zadny vypadky nebudou a kdyz sem chtel aby teda do smlouvy dali, ze v pripade vypadku budou platit smesny stovky tisic za kazdou hodinu (odpovidalo to zhruba ciste mzdovym nakladum), tak ze vzdycky vsichni zacli kroutit, ze to je jako moc, ze by pak museli platit mnohem vic, nez kolik si fakturujou ... a ja jim na to vzdycky rikal, vzdyt ste prave prisahali, ze zadne vypadky nebudou, takze nic nikdy platit nebudete ... takze je to proste sprosta lez. A opakovane jsem mel tu cest takovy dodavatele vykopnout.

Vsechny, 100% vsech tzv "garanci" je postaveno v nejlepsim pripade na tom, ze ti vratej nejakej ten mesicni, v maximalni variante rocni poplatek. Tvoje skody budou ale radove vetsi.

...
Jedna vec je rici ASAP, druha vec je definovat casove podminky pro "ASAP" ...

jak ze se to jmenuje ... jo aha ... CrowdStrike ... "hlavne honem"

Zajimaly by me ty biliony dolaru ktery v ramci "garanci" vyplatily za zpusobeny skody ...

[Reklama]

[Trident Vasco]

...
Ano garance penezma existuje. ...

Cet si nekdy alespon jednou vzivote nejakou takovou smlouvu? NIKDO na tyhle planete ti takove garance NEDA.

A ver tomu, ze sem to resil, a nikoli jednou. Vzdycky to byla nejdriv hromada kecu, jak zadny vypadky nebudou a kdyz sem chtel aby teda do smlouvy dali, ze v pripade vypadku budou platit smesny stovky tisic za kazdou hodinu (odpovidalo to zhruba ciste mzdovym nakladum), tak ze vzdycky vsichni zacli kroutit, ze to je jako moc, ze by pak museli platit mnohem vic, nez kolik si fakturujou ... a ja jim na to vzdycky rikal, vzdyt ste prave prisahali, ze zadne vypadky nebudou, takze nic nikdy platit nebudete ... takze je to proste sprosta lez. A opakovane jsem mel tu cest takovy dodavatele vykopnout.

Vsechny, 100% vsech tzv "garanci" je postaveno v nejlepsim pripade na tom, ze ti vratej nejakej ten mesicni, v maximalni variante rocni poplatek. Tvoje skody budou ale radove vetsi.

...
Jedna vec je rici ASAP, druha vec je definovat casove podminky pro "ASAP" ...

jak ze se to jmenuje ... jo aha ... CrowdStrike ... "hlavne honem"

Zajimaly by me ty biliony dolaru ktery v ramci "garanci" vyplatily za zpusobeny skody ...

Spatne nastaveni odberatelsko/dodavatelskych vztahu. Postupoval jste spravne. Vybral jste jine dodavatele. Jsou dodavatele kteri nezvladnou ani spravne vydefinovat urovne odpovednosti (napr. garance do nejakeho predavaciho rozhrani) natoz absorbovat to pres management prostredku nutnych k zachovani kvality.

Je zajimave ze my mame financni kompenzace za vypadle spoje vcetne zaloh. Nebo kdyz se stane neco zavazneho v datacentru.Nad tyto veci existuje jeste pojisteni nicmene za data si rucime sami. A ty zalozni lokality vc paskovych zaloh si zakaznik zaplati v cene. Pokryje to vyznamnejsi cast skod. Zbytek jde z pojisteni nebo fondu "na prusery".

Katastrofy typu crowdstrike take nekde cekaji az nekdo posle kriticky update. Zatim je to riziko aspon podle manazeru a bezpecaku prijatelne. Ja za to nezodpovidam a taky neberu pul mega mesicne abych za to tu odpovednost mel.

Jinak pokud jsem byl na volne noze musel jsem mit nekolik mega pojistku na odpovednost vuci skodam jinak by mne velke firmy ani nezamestnali. Jednou byl zkutecne nejaky pokus podojit moje pojisteni a jednou jsem ho vyvolal sam umyslne protoze tu skodu jsem skutecne zpusobil (byt slo o drobnou castku do 150 tisic). Tohle pojisteni typicky treba absorbuji IT "pasacke" agentury/bodyshopy.

[Jindřich Lněnička]

Osobně dělám správu HPC clusteru + nějaký servery se službama, co pouštíme ven. Služby jsou easy-breezy, tam je všechno v kontejnerech a s 2 K8s "matkama", takže není problém je jeden po druhým shodit, updatovat a nahodit.

HPC je větší oser (a zní to jako tvůj use-case). Tam to řeším tak, že nejdelší job pro běžnou frontu, mám ve Slurmu nastavený na 2 týdny a hlídám, kdo má přístup do fronty s delšími joby. 1x za 2 měsíce se pak celý cluster shodí a updatuje se matka + obraz, ze kterého bootují nody skrze Warewulf. To řeším tak, že ve Slurmu včas nastavím cutoff, že nemá brát dlouhé joby a uživatele varuju v motd, že delší joby budou až do rebootu viset ve frontě. Pokud někdo potřebuje extra dlouhý job, tak ho nasměruju buď na dedikovaný workstation, nebo holt odložím update. Když by nějaká CVE hodně hořela, nejspíš bych řešil update urgentněji.

Ryze prakticky jsme se zaměstnavatelem už řešili, jestli by to nešlo udělat líp (při plánování nové infra), ale to vždycky ztroskotá na faktu, že buď by bylo potřeba udělat celý cluster robustnější (víc matek, rozhazování obrazů postupně po částech clusteru), což by stálo peníze navíc, zaplatit korporátní support s live-patchingem (další peníze navíc), nebo obětovat kus bezpečnosti, což nikdo nechce.