Na co dát pozor při vypínání serveru?

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Na co dát pozor při vypínání serveru?
« Odpověď #15 kdy: 08. 01. 2014, 18:17:31 »
U serveru nevim, ale.. na domacim pocitaci vzdycky cekam, nez se objevi hlaska "Nyni muzete vas pocitac bezpecne vypnout."

To mate Widle 95 v AT kejsu? Takovou hlasku jsem uz dlouho nevidel.


Re:Na co dát pozor při vypínání serveru?
« Odpověď #16 kdy: 08. 01. 2014, 18:50:42 »
  • pravidla iptables, když je měníte on-line, po odladění úprav je uložte tak, aby se při příštím startu načetly
  • parametry jádra a verze jádra při bootu – konfigurace Lilo nebo Grub; po aktualizaci kernelu je dobré počítač hned zrestartovat, ne aktualizovat do foroty s tím, že až se později bude muset z nějakého důvodu restartovat, naběhne to s novým jádrem – ono to někdy nenaběhne vůbec
...anebo provozovat FreeBSD, který ani jedním z těchto Linuxových featur netrpí ;)

  • závislost na službách jiných serverů – v trochu složitějším prostředí bude webový server záviset na DNS serveru a databázovém serveru, databázový na NTP, NTP a DNS na routeru… V ještě složitějším prostředí ty závislosti budou cyklické. A když dojde k výpadku celé serverovny a spustí se to v náhodném pořadí, půlka služeb zase popadá nebo se dostane do stavů, které nikdo nikdy netestoval. Jestli si dobře pamatuju, Seznam.cz takhle kdysi startoval služby po výpadku napájení v pronajatém housingu asi půl dne, protože všechno záviselo na všem…
Je vidět, že se vyznáš, páč tohle je fakt problém, strašně blbě se tomu předchází a málo kdo na to myslí.

Pokud dělám na serveru větší změny, které by start mohly ovlivnit, naplánuju pak restart serveru, i když by se ta změna obešla bez výpadku. Právě proto, abych včas ověřil, že vše nastartuje správně.
Taky hodně dobrá rada z praxe. Ale ne vždycky to jde.

martin-ux

Re:Na co dát pozor při vypínání serveru?
« Odpověď #17 kdy: 08. 01. 2014, 19:58:00 »
U serveru nevim, ale.. na domacim pocitaci vzdycky cekam, nez se objevi hlaska "Nyni muzete vas pocitac bezpecne vypnout."

nebolo to nahodou: "nyni muzete pocitac bez obav vypnout" ? tu hlasku si zapamatam do smrti tak isto ako pravidlo, ze disk treba zaparkovat pred vypnutim pocitaca :-)
inak win95 bol jediny OS, kde som mal nastavenu lokalizaciu .. aj moji kamarati .. asi to bola popularna piratska verzia z ciech :)

inak ked sa bavime o serveroch a update - zlate pravidlo: nerob zmenu, kym nemas funkcny backup! pri solaris/freebsd aspon novy boot env, pri hpux ignite a pri linuxoch nejaky ten mondo rescue.

Jakub Galgonek

Re:Na co dát pozor při vypínání serveru?
« Odpověď #18 kdy: 08. 01. 2014, 20:10:59 »
U serveru nevim, ale.. na domacim pocitaci vzdycky cekam, nez se objevi hlaska "Nyni muzete vas pocitac bezpecne vypnout."

nebolo to nahodou: "nyni muzete pocitac bez obav vypnout" ?

Windows 95 jsi mohl vypnout bez obav, Windows 98 jsi zase mohl vypnout bezpečně.

Re:Na co dát pozor při vypínání serveru?
« Odpověď #19 kdy: 08. 01. 2014, 20:14:44 »
a DOS si proste vypol :)


JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Na co dát pozor při vypínání serveru?
« Odpověď #20 kdy: 08. 01. 2014, 21:43:44 »
A já myslel, že Linux je ten kouzelný OS, který jede bez přestání desítky let a nemusí se na to sahat, proto ho všichni admini chtějí :D

To samozrejme je. Na Linuxu je restart potreba tak leda kvuli update jadra. Kdyby to byly Widle, je restartu potreba treba i nekolik a sluzba by byla nedostupna dve hodiny, protoze se updatoval IE a instaloval security patch KB5674365465609868865784356865. Zaplatpanbu clovek na Widlich uz nemusi restartovat, protoze pripojil jinou mys nebo se updatoval Notepad.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Na co dát pozor při vypínání serveru?
« Odpověď #21 kdy: 08. 01. 2014, 21:44:47 »
Windows 95 jsi mohl vypnout bez obav, Windows 98 jsi zase mohl vypnout bezpečně.

Horsi bylo, ze to clovek nemohl bez obav zapnout.

Martel

Re:Na co dát pozor při vypínání serveru?
« Odpověď #22 kdy: 08. 01. 2014, 22:18:15 »
U windowsího se pomodlit aby zase naběhl.

Re:Na co dát pozor při vypínání serveru?
« Odpověď #23 kdy: 08. 01. 2014, 23:33:54 »
Nejprve chci všem poděkovat za odpovědi.

jivep - Díky, žes jako první odpověděl, už jsem měl strach, že to nikoho nezaujme  :)

Mirek Prýmek
Citace
Za normálních okolností máš asi jenom 3 možnosti:
1. dáš uživatelům vědět, kdy bude odstávka, a v ten čas prostě tu službu uživatelům sestřelíš, jejich smůla, byli informovaní
2. máš nějaké prostředky, jak jim v tu chvíli dát vědět, aby se odhlásili sami
3. máš nějaké prostředky, jak nová připojení nepovolovat a počkat, až ta současná budou uzavřena
ad 1) Opravdu tenhle přístup používáš ve firemním prostředí ? Je mi jasné, že někteří uživatelé jsou na facku, ale nevím jestli bych si to s lehkým srdcem dovolil  ;) Pokud to ale měl být jen jako výčet možností, tak to pak jo.

Takže mi z toho vychází, že nejlepší kombinace z hlediska konfliktů s uživateli, je nejspíš kombinace 2 a 3 nebo se pletu? Protože samostatná 3 by taky mohla znamenat, že se nedočkám nikdy a začnou volat uživatelé, že se nemohou připojit. A u samostané verze 2 by člověk taky mohl dopadnout jak Sisyfos. Jedny uživatele budu vyhazovat a druzí se vesele začnou opět připojovat.  ;D

Sten -
Díky za tvůj postup

Mimochodem. Pokud někdo bude číst tuhle diskuzi pro inspiraci, tak bych chtěl upozornit, že posledních 5 minut před vypnutím / restartováním server vám systém neumožní vytvořit nové spojení pomocí ssh ani lokálně se přihlásit.

AnthonyX
Citace
Nevím jak je běžné, ale já mám server vyladěn tak, aby zvládnul bez úhony vypnutí vytažením kabelu z UPSky. :-D
Vytažením kabelu z které strany UPS?  ;)

Filip Jirsák - Díky moc za zajímavé informace.
Citace
závislost na službách jiných serverů – v trochu složitějším prostředí bude webový server záviset na DNS serveru a databázovém serveru, databázový na NTP, NTP a DNS na routeru… V ještě složitějším prostředí ty závislosti budou cyklické. A když dojde k výpadku celé serverovny a spustí se to v náhodném pořadí, půlka služeb zase popadá nebo se dostane do stavů, které nikdo nikdy netestoval. Jestli si dobře pamatuju, Seznam.cz takhle kdysi startoval služby po výpadku napájení v pronajatém housingu asi půl dne, protože všechno záviselo na všem…
Dá se tomuhle zabránit nebo aspoň minimalizovat problémy vhodným pořadím spouštění služeb a například použitím bootwait a spuštění nějakých testovacích procesů na dostupnost služby? Pokud plácám nesmysly, tak mě někdo rychle zastavte  :D

martin-ux - díky za tip na Mondo Rescue. kouknu se jestli by mi tohle řešení v něčem neusnadnil život

martin-ux

Re:Na co dát pozor při vypínání serveru?
« Odpověď #24 kdy: 08. 01. 2014, 23:44:47 »
a DOS si proste vypol :)

ee - disky si mal vzdy poslusne zaparkovat ! =)


j

Re:Na co dát pozor při vypínání serveru?
« Odpověď #25 kdy: 08. 01. 2014, 23:54:31 »
Hlavně si dej pozor, abys to napsal ve správném terminálu a nevypnul něco jinýho ;)
Tyvole, to není žádná sranda - onehdá se mně to stalo a myslel jsem, že mě jebne :)
To je udel kazdyho ... kolega si udelal 150km vejlet ... ;D


Jinak treba v mem pripade plati, ze obecne mezi sobotnim odpolednem a nedelnim vecerem veci "nemusi" fungovat, a pokud nekdo neco urgentne potrebuje delat, tak to naopak musi ohlasit on IT.

A já myslel, že Linux je ten kouzelný OS, který jede bez přestání desítky let a nemusí se na to sahat, proto ho všichni admini chtějí :D
Taky ze na nej sahat nemusis .. jenze on trebas nekdo chce novejsi verzi nejakyho SW ... protoze ... Pokud se tyce trebas fileserveru, neni na netu, je za firewallem ... takze proc do nej rejpat? Jenze obcas trebas potrebujes prestehovat server/vymenit disky/neco prepojit/... takze to vypnout proste musis. Dneska ti totiz uz nebude stacit srv nekde v kumbale s jednim gigovym diskem na desitky let ...
A mimochodem, na tuxovi nemusim restartovat system kvuli aktualizaci webserveru/sqlka/... dokonce si muzu pres SSHcko patchnou SShcako... a restartnout sluzbu, aniz by me to odpojilo ... to je ficura, co?

Mimochodem, s lety adminovani sem dosel do stavu, kdy si vetsinu provoznich serveru klidne lajsnu restartovat v normalnim provozu (vyjikma je snad jen SQLko, ale v nouzi i to). Proc? Protoze i kdyz managori vetsinou pozadujou provoz 24/7 "furt und furt", vypadku neceho pod hodinu si v realu sotva nekdo vsimne. Zrovna dneska ... "ona ta tiskarna nejak netiskne ... uz 2 hodiny" ... a ve finale z toho bylo ... ze ona ta tiskarna netiskne ... ale uz 3 dny (vylezly z toho i pondelni tisky ...). Takze ono to ve versine pripadu neni s trvalym provozem nijak zhavy.

2FJirsak: Zavislosti jsou na nakopani rite dodavateli ... kvuli temhle kktinam mam na vsech stroji v bootloaderech vsemozny delaye = trebas aplikacni srv ceka 10 minut ... a ja doufam, ze to SQLko za tech 10 minut zvladne (normalne mu staci 5). A co sem novych veci tyce - aplikace musi nastartovat i bez databaze, a pripojit se "az ji najde". Kdyz mi nekdo prinese neco, co tohle nezvlada, tak se automaticky zarazuje az za posledniho imbecila na planete.

martin-ux

Re:Na co dát pozor při vypínání serveru?
« Odpověď #26 kdy: 08. 01. 2014, 23:59:05 »
Taky ze na nej sahat nemusis ..

hej, kym nechytis bug ako: http://www.claudiokuenzler.com/blog/247/linux-virtual-server-crash-update_cpu_power-kernel-uptime-bug

(ako naschval nefunguje teraz novel link http://www.novell.com/support/kb/doc.php?id=7009834)

ja som si svoje s linuxom uzil a pri porovnani s unixom teda ma co dohanat. ale zbytocny flame tu vytvarat nejdem.
 

Re:Na co dát pozor při vypínání serveru?
« Odpověď #27 kdy: 09. 01. 2014, 07:01:21 »
martin-ux: zvlastne, mal som niekolko masin s debianom a 2.6.32 kernelom, a vsetky mali uptime viac ako 500 dni a bezali bez problemov.

Re:Na co dát pozor při vypínání serveru?
« Odpověď #28 kdy: 09. 01. 2014, 07:32:30 »
Dá se tomuhle zabránit nebo aspoň minimalizovat problémy vhodným pořadím spouštění služeb a například použitím bootwait a spuštění nějakých testovacích procesů na dostupnost služby?
Důležité je, zda o těch závislostech víte. Třeba webová aplikace může záviset na překladu DNS názvu DB serveru, ke kterému dojde při navazování spojení -- takže při startu a pak třeba až při příštím restartu webové nebo databázové služby. Nebo informace o unixovém účtu bude typicky potřeba jenom při startu služby. A pokud máte účty v LDAPu, a část LDAP je v SQL databázi, LDAP je replikovaný a závisí na NTP -- pak vám najednou kdejaká služba bude tranzitivně přes LDAP záviset na NTP a SQL serveru (a ten SQL server bude nejspíš mezi těmi závislými službami, takže hned máte cyklus). Při krátkodobé odstávce LDAPu nebo SQL nic nepoznáte, protože vše bude nakešované...

Pokud ty závislosti znáte, můžete se snažit udržovat ten graf acyklický. A pak mít buď zdokumentované pořadí zapínání strojů (pokud výpadek všeho je považováno za takový průšvih, že to pak stejně budete nahazovat ručně), a nebo to ošetřit ve startovacích skriptech služeb (lepší než zdržovat celý boot nebo čekat nějaký čas je čekat na dostupnost dané služby, pokud to nějak rozumně jde udělat). Pokud je ten graf cyklický, je dobré mít aspoň zdokumentovaná ta kritická místa a vědět, jak se ta která služba dá nastartovat v nějakém nouzovém režimu, kdy třeba neposkytuje vše, ale umožní aspoň nastartovat závislou službu. Nebo se pokusit ty služby rozdělit. Třeba pro webhostera je pohodlné mít DNS záznamy klientů v SQL databázi, ale DNS záznamy pro infrastrukturu vlastní sítě je lepší mít v souboru na disku (klidně jen cronem pravidelně vytvářený dump důležitých záznamů z databáze), DNS server nejprve startovat jenom nad tímhle souborem a dostupný jen z vnitřní sítě, a teprve dodatečně připojit i záznamy z SQL a otevřít server i do internetu. Což se takhle hezky popíše, ale nenajdete na to hotové řešení, takže si pak musíte od nuly napsat startovací skript, musíte nějak řešit tu záměnu konfigurací (a aby společné části byly opravdu stejné, ne že upravíte IP adresu DNS serveru ve velkém konfiguráku a v konfiguráku pro nouzový start zůstane stará), je dobré mít nějaký postup, jak tu nouzovou konfiguraci otestovat...

Vše to samozřejmě závisí na tom, kolik práce se do toho investuje. Pokud k většímu výpadku dojde jednou za dva roky a za hodinu to máte spravené, asi nemá smysl trávit týdny ladění konfigurací pro automatickou obnovu po výpadku. Na druhou stranu, pokud dojde k opravdovému průšvihu, je každý ověřený postup a spolehlivá automatická obnova k nezaplacení, protože pak vám zbývá čas na řešení těch opravdových průšvihů, se kterými nikdo nepočítal.

martin-ux

Re:Na co dát pozor při vypínání serveru?
« Odpověď #29 kdy: 09. 01. 2014, 09:09:22 »
martin-ux: zvlastne, mal som niekolko masin s debianom a 2.6.32 kernelom, a vsetky mali uptime viac ako 500 dni a bezali bez problemov.
na tom nevidim nic zvlastne, vid.:
A fix for this issue has been released since kernel version 2.6.32.54-0.3
inu, ja som nehovoril, ze linux nevie ist > 208dni. reagoval som len na jardu a jeho koment na magic os :)