Kolik jailů zvládne FreeBSD?

hmmm

Kolik jailů zvládne FreeBSD?
« kdy: 31. 05. 2013, 23:43:58 »
Zdar,

trocha blba otazka ale dajme tomu sancu :) Povedzme ze mam 5TB disk zalozeny na ZFS a chcem dat kazdemu jailu aspon 1GB na disku (da sa to robit cez kvoty sa mi to zda) takze takych 5000 jailov by som mohol mat ale budme trochu viac realisticky a dajme tomu ze ich spravim len 4000.

Takze budem mat 4000 jailov, kazdy jail sa moze tvarit ako simple virtualny server "so vsim vsudy". Ak by niekto nechcel server ale len cisto webhosting tak to je este jednoduchsie, mal by som par dedikovanych jailov na apache napr. podla domen (ze /usr/home/web_a by obsluhoval len domeny ktore by sa zacinaly na pismena "a", bol by tam nainstalovany len jeden apache, na web_b zasa druhy atd) takze takto by som mal o 25 jailov menej a vdaka tomu ze zfs partitiony (ci ako sa to vola) su defakto nafukovacie podla potreby tak by som nebol nijako obmedzeny na diskovy priestor na jeden jail. (teraz ma napadlo ze by sa to dalo nafukovat aj pre kazdy klientsky jail samostatne hmmmm ...)

No, toto cele je uplne jedno, proste ide o to, ze by som mal tych 5TB na disku, nejake 8 jadro a 64 giga ramky a FreeBSD 9.

Utiahlo by to to zelezo? Aka by bola v priemere zataz? Bol by ten system vobec ovladatelny ked by som zapol 4000 jailov sucastne? Ako sa to tvari pri takejto zatazi? Ono to je fajn ze jail a vsetko, ale proste ... ked tam clovek nevie spustit viac ako 100 jailov aby mu to neklaklo tak to je celkom ryza ...

Pre mna su dve kriticke poziadavky na jail aby sa to dalo ako tak zvladat. Prve su diskove kvoty, to vdaka zfs sa da, druhe je limitovat CPU a memory usage, su na to ne jake patche ale nie je to nahodou uz v tych jailoch nativne?
« Poslední změna: 02. 06. 2013, 20:44:35 od Petr Krčmář »


Re:Kolko jail-ov zvladne FreeBSD?
« Odpověď #1 kdy: 01. 06. 2013, 00:31:34 »
Chyba ti tomu hlava a pata. Utiahlo co? Naprazdno? 4000 statickych webov, ci? 8 jadro ti dokaze vytazit aj jedna apka o to sa neboj.. (a pamat tiez)

Re:Kolko jail-ov zvladne FreeBSD?
« Odpověď #2 kdy: 01. 06. 2013, 00:54:50 »
tak v podstate mas tri promenne:
- pocet webu
- requests per second
- narocnost kazdeho requestu

takze kdyz kazdy jail bude mit 1 statickou stranku s 1 requestem za den tak jich to 5000 pri dostatecne ramce utahne. nasad tam forum s navstevnosti 1000 UIP denne a muzes na jailovani zapomenout.
Děkuji za možnost editace příspěvku.

hmmm

Re:Kolko jail-ov zvladne FreeBSD?
« Odpověď #3 kdy: 01. 06. 2013, 01:12:44 »
No ja viem ze sa pytam uplne sprosto ale ... neviem si predstavit, kolko nejaky web o nejakom pocte uzivatelov za den spravi na nejakom serveri zataze, to sa proste neda nikde "nasimulovat / vypocitat".

A nechajme web webom ale zoberme si len cisto ssh konto niekde. Ja mam spravene konto na devio.us (openBSD konto zadarmo) a ked sa pozriem na vypisy zbezne tak:

Kód: [Vybrat]
$ df -h
Filesystem     Size    Used   Avail Capacity  Mounted on
/dev/wd0a      9.8G    750M    8.6G     8%    /
/dev/wd0d      2.0G    7.3M    1.9G     0%    /tmp
/dev/wd0e     19.7G    7.8G   10.9G    42%    /usr
/dev/wd0f     39.4G   27.8G    9.6G    74%    /var
/dev/wd1a      293G   97.9G    181G    35%    /home

Kód: [Vybrat]
load averages:  2.68,  2.54,  2.57
340 processes: 1 running, 331 idle, 4 zombie, 4 on processor
CPU0 states: 16.5% user,  0.4% nice,  6.1% system,  0.7% interrupt, 76.3% idle
CPU1 states: 30.9% user,  0.5% nice,  7.3% system,  0.0% interrupt, 61.3% idle
CPU2 states: 28.5% user,  0.5% nice,  6.9% system,  0.0% interrupt, 64.1% idle
CPU3 states: 29.4% user,  0.5% nice,  6.7% system,  0.0% interrupt, 63.4% idle
Memory: Real: 524M/842M act/tot  Free: 1164M  Swap: 0K/2055M used/tot

Kód: [Vybrat]
who | wc -l
        31

Kód: [Vybrat]
$ ls /home/ | wc -l
        5782

Kód: [Vybrat]
$ sysctl -a | egrep -i 'hw.machine|hw.model|hw.ncpu'
hw.machine=i386
hw.model=Intel(R) Xeon(TM) CPU 2.80GHz ("GenuineIntel" 686-class)
hw.ncpu=4
hw.ncpufound=4

Takze, na to ze tam je 30 users online a cca 6000 ludi tam ma ucty a zo skoro 300 giga je len 100 giga vyuzitych (!!!) tak to je teda celkom v pohodicke ne? Ked by som tam dal 5TB a nejaky lepsi procak, tak to to zelezo musi utiahnut proste ...

Ine to je s webmi ale to si vobec neviem predstavit, ze aku zataz to na takom serveri robi, ako sa potom robi normalny webhosting u niekoho kto manageuje tisic webov? Ake na to treba parametre? Ja viem ze sa to neutiahne s jednym serverom, to je jasna paka, ale kolko teda webov je dedikovanych ja jeden fyzicky server? Radovo? 10? Nemam o tom vobec predstavu

pozor nasel sem to



hmmm

Re:Kolko jail-ov zvladne FreeBSD?
« Odpověď #5 kdy: 01. 06. 2013, 01:21:24 »
henten server ma trapnych 2GB ramky, 300 giga disk z toho je tretina vyuzita a 6000 userov z toho dajme tomu ze 60-100 je denny pripojeny peak (dvojnasobok co je teraz, tam je cas 19.00 + nejake drobne), a ten procak je vacsinou idle aj tak ... ten server vobec nie je vyuzity na svoj max, ked by sa tam dali parametre ako som navrhol, 64 giga ramky, 5 tera disk a nejake poriadne osem jadro tak to musi ficat jak blesk radovo aj pri stovkach paralelne pripojenych uzivatelov. Neviem preco by to nemalo zvladat aj desiatky paralelnych jailov.

Re:Kolko jail-ov zvladne FreeBSD?
« Odpověď #6 kdy: 01. 06. 2013, 01:32:10 »
myslim ze to neni az tak o BSD jako takovym... neznam BSD, ale v linuxu bych ti rekl: hod si tam munin a uvidis.
Děkuji za možnost editace příspěvku.

hmmm

Re:Kolko jail-ov zvladne FreeBSD?
« Odpověď #7 kdy: 01. 06. 2013, 01:47:54 »
tento typek rozbehal so 4GB ramky 1000 jailov na 2x quad-core :D je tam aj video ... dost brutal :D jedinym limitom je ramka ...

http://ivoras.sharanet.org/blog/tree/2009-10-20.the-night-of-1000-jails.html

Re:Kolko jail-ov zvladne FreeBSD?
« Odpověď #8 kdy: 01. 06. 2013, 06:21:48 »
Takze budem mat 4000 jailov, kazdy jail sa moze tvarit ako simple virtualny server "so vsim vsudy". Ak by niekto nechcel server ale len cisto webhosting tak to je este jednoduchsie, mal by som par dedikovanych jailov na apache napr. podla domen (ze /usr/home/web_a by obsluhoval len domeny ktore by sa zacinaly na pismena "a", bol by tam nainstalovany len jeden apache, na web_b zasa druhy atd) takze takto by som mal o 25 jailov menej a vdaka tomu ze zfs partitiony (ci ako sa to vola) su defakto nafukovacie podla potreby tak by som nebol nijako obmedzeny na diskovy priestor na jeden jail. (teraz ma napadlo ze by sa to dalo nafukovat aj pre kazdy klientsky jail samostatne hmmmm ...)
Neviem si predstaviť bežať 25 apache serverov na jednom železe, asi by nad ním musela byť nejaká proxy (nginx), ktorý by rozdeloval hosty. K čomu by ti bolo nastavovať 25 serverov? Podľa mňa stačí jeden nastavený poriadne, tak aby všetko zvládol.
Sám jaily na FreeBSD požívam tak, že na jednom mi beží mysql-server, na ďalšom apache+php, na ďalšom postfix. Napríklad webový server mám klonovaný, oba vidia rovnaké dáta. Keď jeden beží, v druhom trebárs kompilujem aktualizácie, potom ho zapnem, presmerujem dáta v packet filtri a hneď ho vyskúšam. V prípade problémov sa vrátim k staršej verzii.
Môj "hračkársky" server beží na obyčajnom Atome D525, so 4GB RAM a ZFS, všetko stíha, akurát by to chcelo viac RAM. Preto uvažujem nad Intel Xeon E3-1200l2v, nejakou slušnou miniITX doskou a 2x16 GB ECC DDR3 RAM.

hmmm

Re:Kolko jail-ov zvladne FreeBSD?
« Odpověď #9 kdy: 01. 06. 2013, 08:04:53 »
Mohol by si sa viac rozpisat o parametroch? Kolko webov akeho charakteru ti na tom bezi, ake mas pripojenie k sieti a ci ten server "stiha". Ja vidim jediny bottleneck v ramke ako si napisal ty a v pripojeni do netu. Diky