Zvažuji přechod z Linuxu na FreeBSD

Zvažuji přechod z Linuxu na FreeBSD
« kdy: 24. 06. 2024, 12:16:09 »
Zvažuji přechod z Linuxu na FreeBSD. Potřebuji probrat, jestli jsou moje očekávání reální.

Provozuji již 20 let cca 8 fyzických serverů a na nich běží virtualizace.
Na Linuxu mi vadí především "časté" změny a nestabilita:

  • Co se týče virtualizace zažil jsem vserver, opevnz, lxc.   Nejlepší a nejstabilnější bylo openvz, vserver  zase jednoduchý a taky dobrý. Lxc je takový nedodělek a ještě horší další nádstavba lxd. Módní docker nepotřebuji.
  • Co se týče firewallu tak jsem také zažil tři změny. Chains, iptables a nyní nftable. Nftable jsou celkem OK, ale jen některé moduly z iptables stále nemají náhradu.
  • V Linuxu mi přijde, že je dost věcí zbytečně složitých a špatně dokumentovaných.
  • Ač je často obtížné vyloučit problém hardware,  přijde mi spíše, že stabilita systému se zhoršuje.  Např. proč je možné, že se systém přestane odpovídat kvůli jedinému programu, které vyžere nějaké zdroje?  Proč jádro nezabije/neomezí přednostně tento proces, ale klidně zabije nějaký náhodný, který za to vůbec nemůže? Tedy pokud s tím jádro vůbec něco udělá. Pravděpodobně lze vše vychytat nějakým vhodný nastavením, ale proč je defaultní nastavení tak špatné? Subjektivně od doby OpenVZ se spolehlivost jádra snižuje.

Co se mi líbí na FreeBSD

  • Věci se zbytečně nemění a když tak jednoznačně k lepšímu se zpětnou kompatibilitou.
  • FreeBSD mi přijde jednodušší a možná i lépe dokumentovaný. Např. komplikovanost balíčkovacího systému Debianu v porovnání s balíčky a možnostmi na freeBSD - nesrovnatelné. Ani instalace freeBSD na server není komplikovanější, spíše naopak, zvláště když chci použít ZFS. Možnost vytvořit si vlastní porty - zkompilovat nejnovější verzi oficiálně doporučovaným způsobem a udělat si z toho balíček.
  • Nativní podpora ZFS a i prastaré UFS má nativní podporu snapshotů.
  • Virtualizace jails již 20 let.
  • To že se něco nesmyslně nemění pod rukama umožňuje lepší stabilitu. Předpokládám.
  • Umí spouštět i Linuxové virtuály i když bez systemd. - to zatím není problém

Co se mi nelíbí na FreeBSD
  • Má podstatně méně uživatelů, ale že by se úplně přestali vydávat aktualizace se mi nezdá pravděpodobné.
  • Údajně méně podporovaného hardware - nejspíš problém hlavně u desktopů, ale tam to používat nechci.


Napadá mne, že je hrozná škoda, že jsem nepřešel už na začátku. Před těmi 20 lety bylo nejspíše platných důvodů, proč používat freeBSD nejspíše více než dnes. Máto nyní ještě smysl? Možná je u mě specifické to, že potřebuji hlavně stabilitu 24/7 a naopak nepotřebuji nejnovější featury linuxové jádra.


alex6bbc

  • *****
  • 1 673
    • Zobrazit profil
    • E-mail
Re:Zvažuji přechod Linux -> FreeBsd
« Odpověď #1 kdy: 24. 06. 2024, 12:40:00 »
to bude jako prechod z cestiny na slovenstinu, trocha zvyku.

Re:Zvažuji přechod Linux -> FreeBsd
« Odpověď #2 kdy: 24. 06. 2024, 12:40:35 »
Co se týče virtualizace zažil jsem vserver, opevnz, lxc.   Nejlepší a nejstabilnější bylo openvz, vserver  zase jednoduchý a taky dobrý. Lxc je takový nedodělek a ještě horší další nádstavba lxd. Módní docker nepotřebuji.

Proč tolik? Na linuxu používám (za celý život) pouze dvě formy virtualizace a to KVM a nspawn pro kontejnery. Vše, co jsi vyjmenoval, jsou kontejnery.

Co se týče firewallu tak jsem také zažil tři změny. Chains, iptables a nyní nftable. Nftable jsou celkem OK, ale jen některé moduly z iptables stále nemají náhradu.

Velmi rychle jsem si zvykl na FW před servery. Tedy nekomplikovat si život stylem vše na jedné hromadě. Navíc opět, co je na tom tvém fw tak složitého, že některé věci v nftables nejsou?

Věci se zbytečně nemění a když tak jednoznačně k lepšímu se zpětnou kompatibilitou.

Jo, tohle je asi největší výhoda.

Nativní podpora ZFS a i prastaré UFS má nativní podporu snapshotů.

K tomu bych doplnil pro mě chybějící lvm. FreeBSD má ZFS, protože nemá nic jiného. ZFS není dokonalé. Ano, v ZFS lze mít ZVOL, ale na spoustu věcí se hodí co nejobyčejnější oddíl typu LV v LVM.

Virtualizace jails již 20 let.

Kontejner. Naopak skutečná virtualizace na FreeBSD dost dlouho chyběla, dneska je tam bhyve. Pokud tento způsob někoho baví. Moje instalace FreeBSD používá jaily tak nějak na všechno. Co kontejner, to jedna funkce. Základní systém je v podstatě minimální instalace.

To že se něco nesmyslně nemění pod rukama umožňuje lepší stabilitu. Předpokládám.

Asi jo.

Umí spouštět i Linuxové virtuály i když bez systemd. - to zatím není problém

To nevím a rozhodně bych vůbec nedoporučoval používat FreeBSD pro spouštění čehokoliv z linuxu. Raději mít Linux server a vedle toho FreeBSD server. Takto to provozuju já. Kombinatorika typu "tohle tam pojede" do budoucna pouze přináší problémy.

Má podstatně méně uživatelů, ale že by se úplně přestali vydávat aktualizace se mi nezdá pravděpodobné.

Nevím a je to jedno.

Údajně méně podporovaného hardware - nejspíš problém hlavně u desktopů, ale tam to používat nechci.

Nevím a tohle o linuxu slyším už nějakých 20 let. Nikdy jsem neměl problém s HW na linuxu a nemám jej ani na FreeBSD. Kupuju nejobyčejnější a nejprůměrnější x86 HW. Nikdy žádný problém u žádného OS.

Napadá mne, že je hrozná škoda, že jsem nepřešel už na začátku. Před těmi 20 lety bylo nejspíše platných důvodů, proč používat freeBSD nejspíše více než dnes. Máto nyní ještě smysl? Možná je u mě specifické to, že potřebuji hlavně stabilitu 24/7 a naopak nepotřebuji nejnovější featury linuxové jádra.

Co se týče stability, tak mezi Linuxem a FreeBSD nevidím rozdíl. Na tvém místě bych spíš vyřešit ten nepořádek (tak se mi to jeví) v tisíci různých kontejnerech, podivné nutnosti používat něco v iptables apod.

Já vždy jedu co nejnativnější prostředí, proto taky mimochodem na linuxu používám nspawn. Protože je to system native, systemd v linuxu mám, automaticky je tam integrovaný nspawn, vůbec nic dalšího nepotřebuju instalovat. Celý ten stroj je jednoduchý jak facka.

Tím netvrdím, že jiné kontejnery jsou horší nebo něco podobného. To ne. Jen tím chci vysvětlit můj přístup k administraci serverů. Vše co možná nejjednodušší, nejnativnější, bez zbytečných komponent. Vše co jde vyřešit na jiné a jednodušší úrovni, tak to patří tam. Strojů od namachrovaných linuxáků, kde se řeší vše od otevírání dveří, splachování záchodů až po centrální firewall jsem už viděl dost.

CPU

  • *****
  • 887
    • Zobrazit profil
    • E-mail
Re:Zvažuji přechod Linux -> FreeBsd
« Odpověď #3 kdy: 24. 06. 2024, 12:48:29 »
Hromada z toho utíká k Linuxu.

Re:Zvažuji přechod z Linuxu na FreeBSD
« Odpověď #4 kdy: 24. 06. 2024, 15:26:18 »
FreeBSD má přece UFS.  Mám zkušenost že na databáze, které často updatují a zapisují menší bloky dat nemusí být ZFS nejlepší, nejen pomalejší, ale dovedou zničit SSD disk i za rok.  Změna recordsize pomůže jen částečně.  Změny ostatních voleb nepomáhali vůbec. Na linuxu jsem to úplně vzdal  a pro hodně busy databáze používal ext4 s lvm. Uvidíme jestli se to freeBSD podaří vyřešit.

V době kdy bylo jasné žen OpenVZ končí byl ještě systemd nestabilní, proto jsme vybrali lxc. Není tedy opět čas měnit kontejnerovou technologii? Tedy už počtvrté?

Za poslední rok se mi kousnul server s Linuxem cca 8 krát. Sice část těch kousnutí může mít na svědomí hardware, ale když to porovnám s dobou OpenVZ, kdy se něco takového nestalo ani jednou za pět let, je to jednoznačné zhoršení stability.
Několikrát systém spadl, nebo přestal dočasně reagovat protože tam něco vyžralo část zdrojů.

Jednou linux spadul a log měl plný Faile to start systemd-journald.service pořád dokola na své konzoli. Zjevně se nějak pomátl journald a vyžral paměť. Nebo samotný systemd? Jinkdy vyžral paměť nejspíše samotný zfs  souborový s přispěním deduplikace, i když paměti měl dost 128 GB.  A mnohokrát přišlo kernel panic, nebo chyba ovladače síťové karty, takže síťová karta přestala fungovat ....

Je jasné, že freeBSD není univerzálním řešením, ale zlepšit by se to mohlo.


Re:Zvažuji přechod z Linuxu na FreeBSD
« Odpověď #5 kdy: 24. 06. 2024, 16:20:45 »
FreeBSD má přece UFS.

To já vím. Ale FreeBSD nemá žádný nástroj pro vytváření blokových zařízení, na která by se mohlo dát UFS. FreeBSD počítá s tím, že tam bude HW diskový řadič, na kterém se vše vyřídí. V tomto je linux opravdu mnohem dál. Na straně FreeBSD na to dali náplast v podobě ZFS. (Já jsem vůbec zmlsanej z BTRFS a stále se neumím smířit s tím, že nic lepšího není. Stále mi chybí distribuovaný FS, který by navíc neřešil redundanci na úrovni diskových zařízení, ale naopak co nejvýš - tedy možnost definovat si redundanci až na úrovni subvolume/datasetu a ono to samo rozhodí data na disky a klidně i po síti.)

Na linuxu jsem to úplně vzdal a pro hodně busy databáze používal ext4 s lvm.

Už si nepamatuju, jestli jsem do té diskusi nějak zasahoval nebo ne, já na DB používám XFS. Roky. Pochopitelně na FreeBSD ZFS, ale tak tady je to jasné.

V době kdy bylo jasné žen OpenVZ končí byl ještě systemd nestabilní, proto jsme vybrali lxc. Není tedy opět čas měnit kontejnerovou technologii? Tedy už počtvrté?

To musíte vědět vy. Vůbec nevím, co provozujete apod. Já jsem adminoval ještě v době, kdy kontejnery nebyly tak populární a pro nás bylo naprosto normální mít stovky VM na plné virtualizaci (vmware, doma kvm). Doma jsem si nspawn vyzkoušel někdy před 10 lety, zjistil jsem, že je to ok, smazal jsem 30 VM (KVM) a převedl na nspawn. A nijak jsem to neprožíval, KVM má své výhody, nspawn taky.

Za poslední rok se mi kousnul server s Linuxem cca 8 krát. Sice část těch kousnutí může mít na svědomí hardware, ale když to porovnám s dobou OpenVZ, kdy se něco takového nestalo ani jednou za pět let, je to jednoznačné zhoršení stability. Několikrát systém spadl, nebo přestal dočasně reagovat protože tam něco vyžralo část zdrojů.

Jednou linux spadul a log měl plný Faile to start systemd-journald.service pořád dokola na své konzoli. Zjevně se nějak pomátl journald a vyžral paměť. Nebo samotný systemd? Jinkdy vyžral paměť nejspíše samotný zfs  souborový s přispěním deduplikace, i když paměti měl dost 128 GB.  A mnohokrát přišlo kernel panic, nebo chyba ovladače síťové karty, takže síťová karta přestala fungovat ....

Je jasné, že freeBSD není univerzálním řešením, ale zlepšit by se to mohlo.

Takhle se věci nespravují. Pokud něco padá, je potřeba zjistit co. Pokud je podezření na HW, tak vyměnit HW. Věci se nespravují náhodným zkoušením různých OS apod. Takže nastavit monitoring, monitorovat všechno, co tam má běžet, co tam nemá běžet tak odinstalovat, mít čisté prostředí apod.

Vzpomněl jsem si na jeden server, na kterém bylo napsáno "don't touch". Chodilo se kolem něj po špičkách. Časem se kolem toho vyrojil příběh, fámy apod. Víš, čím to bylo? Mezi základní deskou a zadním plechem byl šroubek, který při dotyku na skříň zkratoval základní desku. Řešením není na to lepit nálepky, ale koupit nový server a v případě zájmu prozkoumat ten původní.

Kdybych měl podezření na vadný hw a po přechodu na freebsd by se "vyřešilo" tak bych stejně nebyl spokojený.

Re:Zvažuji přechod z Linuxu na FreeBSD
« Odpověď #6 kdy: 24. 06. 2024, 19:53:07 »
Já lvm nepotřebuji, maximálně na ty snapshoty, protože to linux jinak neumí. Takže že jej freeBSD nemá vůbec nevadí, když snapshoty umí řešit lépe.
Problém je v tom, že ten důvod proč Linux padá není jeden a zpravidla se nedá zopakovat či nic rozumného najít. Důvody jsou různé a všemožné zkoumání nepomáhá.
Už nyní používám ZFS. Právě kvůli těm zfs send a zfs recieve každých pět minut,aby bylo odkud pouštět zálohy, když se jeden ze serverů kousne.

A mám tady další věc. Pokud udělám zfs send přes ssh musím hodně  výrazně uměle omezit rychlost na méně jak 100 Mbit i když je k dispozici 1 GBbit. , aby to výrazně nedegradovalo výkon ostatních aplikací.  A přitom běžný síťový provoz je cca jen 30 Mbit.

Re:Zvažuji přechod z Linuxu na FreeBSD
« Odpověď #7 kdy: 24. 06. 2024, 21:36:52 »
Souhlasím s Tomášem, že to vypadá na problém HW. U stable debianu s distribučním (tj. otestovaným)
 jádrem se s pády z důvodu SW nesetkávám. Samozřejmě načatý HW je špatně, stačí i odcházející síťovka, paměťový modul, apod.
Citace
Pokud udělám zfs send přes ssh musím hodně  výrazně uměle omezit rychlost na méně jak 100 Mbit i když je k dispozici 1 GBbit. , aby to výrazně nedegradovalo výkon ostatních aplikací.  A přitom běžný síťový provoz je cca jen 30 Mbit.
A co to způsobuje? Zahlcené disky čtením, slabé CPU s málo jádry, které už nestíhá komprimaci+šifrování SSH?

Re:Zvažuji přechod z Linuxu na FreeBSD
« Odpověď #8 kdy: 24. 06. 2024, 22:04:38 »
Citace
Pokud udělám zfs send přes ssh musím hodně  výrazně uměle omezit rychlost na méně jak 100 Mbit i když je k dispozici 1 GBbit. , aby to výrazně nedegradovalo výkon ostatních aplikací.  A přitom běžný síťový provoz je cca jen 30 Mbit.
A co to způsobuje? Zahlcené disky čtením, slabé CPU s málo jádry, které už nestíhá komprimaci+šifrování SSH?
Disky jsou SSD a i kdyby nestíhaly, jádro by si mělo pohlídat, že tím přehnaně netrpí ostatní aplikace.  Jader procesoru bylo hodně. Opět by to mělo hlídat jádro. Zkoušeli jsme snížit priority tomu procesu, omezit io operace a nic nepomáhala až umělé snížení přenášení rychlosti na zhruba desetinu toho co by mělo jít přenést.
Část problémů je určitě hardware. Měnil jsem jednu desku a budu muset nepoužívat jednu integrovanou síťovku a místo ní přidám další. (i tohle ale může být problém ovladače) V ostatních případech to bylo mohlo být  Linuxem. Paměti ECC mám. Ono když se to stane u jednoho serveru třeba jednou za rok a příště něco jiného. Nečekaně. Tak je obtížné získat nějaké důkazy. Mám ipmi, takže občas vidím divné hlášky, jako že jádro občas zabije nějaký náhodný proces protože něco v jiném containeru zjevně vyžralo paměť, nebo nějaké nesmysly vypisuje systemd. Nebo selhal ovladač síťovky. (možná je to Intel bug, protože ten dodal ovladač) Nebo kernel panic, což by mohlo a zjevně i bylo hardwarem.

Já jsem asi moc rozmlsanej a i problém v průměru jednou za rok (nucený restart) na jeden server je u mne moc. Protože jak píši 5 let jsem se s tím vůbec nesetkával.

CPU

  • *****
  • 887
    • Zobrazit profil
    • E-mail
Re:Zvažuji přechod Linux -> FreeBsd
« Odpověď #9 kdy: 24. 06. 2024, 22:50:47 »
Hromada z toho utíká k Linuxu.

https://w3techs.com/technologies/details/os-bsd

BSD má naprosto marginální podíl = je to UFO. Znám pár lidí, co už BSD opustila. Důvod? Debian má dobrou uživatelskou základnu. A sehnat BSDčkaře je pořád těžší.

Plus - zadej si na jobs.cz BSD a uvidíš ;-)

Re:Zvažuji přechod z Linuxu na FreeBSD
« Odpověď #10 kdy: 25. 06. 2024, 07:46:30 »
A mám tady další věc. Pokud udělám zfs send přes ssh musím hodně  výrazně uměle omezit rychlost na méně jak 100 Mbit i když je k dispozici 1 GBbit. , aby to výrazně nedegradovalo výkon ostatních aplikací.  A přitom běžný síťový provoz je cca jen 30 Mbit.

Tak to tam bude něco hodně špatně. Já mám zfs send cca 600MB/s na rotačních discích. Pokud to posílám přes síť, tak tam dávám lzop, ať to stíhá komprimovat rychlostí sítě i tak to bezproblémů saturuje síť. (Bavím se o desktopovém HW.) Degradovat gigabit na 100mbit je divné. Buď se ty tvoje appky hádají o cpu (což dle popisu nepředpokládám), nebo o disky.

Tom5

  • ***
  • 105
    • Zobrazit profil
Re:Zvažuji přechod Linux -> FreeBsd
« Odpověď #11 kdy: 25. 06. 2024, 08:23:34 »
A sehnat BSDčkaře je pořád těžší.

Plus - zadej si na jobs.cz BSD a uvidíš ;-)

Sehnat dobrého Linuxáře také není jednoduché. Navíc se tam plete ten zbytek... jobs.cz? Co je to za metriku?

CPU

  • *****
  • 887
    • Zobrazit profil
    • E-mail
Re:Zvažuji přechod Linux -> FreeBsd
« Odpověď #12 kdy: 25. 06. 2024, 08:49:13 »
jobs.cz? Co je to za metriku?

Tak se koukni po jiných serverech, třeba na ÚP :-D Ale Jobs.cz je dobrý indikátor toho, co je žádané.

Ad "dobrý linuxář", často to je o tom, jestli ten člověk je ochoten se učit. Často se to prostě naučí.

alex6bbc

  • *****
  • 1 673
    • Zobrazit profil
    • E-mail
Re:Zvažuji přechod z Linuxu na FreeBSD
« Odpověď #13 kdy: 25. 06. 2024, 09:34:06 »
kdyz uz, tak bych si vybral openbsd

Re:Zvažuji přechod z Linuxu na FreeBSD
« Odpověď #14 kdy: 25. 06. 2024, 10:17:31 »
Zkoušeli jsme snížit priority tomu procesu, omezit io operace a nic nepomáhala až umělé snížení přenášení rychlosti na zhruba desetinu toho co by mělo jít přenést.

Nevím, velice bych se divil, kdyby to byl problém obecně linuxu. Gigabit není žádný tok. Není třeba limit na tom portu 100Mbps, ať už chybou driveru, síťovky, nebo omezení před serverem, a při spuštění velkého toku to omezí dostupné pásmo pro ostatní spojení?