CEPH na malém počtu nodů

PCnity

  • *****
  • 686
    • Zobrazit profil
    • E-mail
CEPH na malém počtu nodů
« kdy: 01. 06. 2015, 12:59:51 »
Hello,

Mame aktualne 8 dost odlisnych serverov hypervisorov na ktorych bezia desiatky VM, z toho tak polovica je produkcna a okrem redundatnych RAIDov je este nad DRBD. System je povacsinou Debian 8 (niektore este 7) s KVM, cely setup je enormne stabilny, ale dost neefektivny.

Snazim sa teda prejst na CEPH s nastavenym poctom replik na 3, to by malo efektivitu vyuzitia dikov nechat sice na povodnej urovni (3 kopie vsade vs. 2 az 4 kopie pri RAID a RAID + DRBD), ale umozni mi to (aspon) dufam migrovat VM celkom pohodne a zjednodusit/zprehladnit clustermanagement, ked uz nebudem musiet vzdy riesit len 2 nodove rozdelenie.

O Ceph je toho pisaneho vela, az to celu situaciu zneprehladnuje. Chcel by som pocut nejake vase skusenosti. Planujem vyuzit len block storage a teda potrebujem (ak chapem spravne) aspon 3 MON instancie a vsade OSD instancie. Ma niekto nasadeny CEPH na tak malinkom pocte nod?
Kazdy server u nas ma ine rozlozenie diskov, od 2x 1T az po 6x 2T. CEPH doku odporuca pre kazdy disk samostatny OSD a idealne este journal zase nasamostatny disk... Lenze journal berie malo miesta a teda mu nevyhradim ani cely jeden disk... Ma zmysel davat 6x OSD na jeden server? Nebolo by lepsie napriklad aspon 2x mdraid 0 cez 3 disky a nad tym nechat 2x OSD? Kombinujte MON s OSD? Koli rychlosti pristupu preferujem aby na kazdej node bezal OSD a na nodach s vacsim poctom diskov (vacsim iops) nechat bezat aj MONy (tak 4ks nech ma vzdy aspon 3 k dispozicii)

Vacsina how tos a manualov riesi bud velke setupy s desiatkami nod alebo neriesia detaily vobec... Zatial som vo faze manual deploymentu na 3 test servre a citania ceph dokumentacie, akurat sa uz citim overwhelmed. Za kazdu radu budem vdacny.
« Poslední změna: 01. 06. 2015, 13:07:27 od Petr Krčmář »


mimi.vx

Re:CEPH na malém počtu nodů
« Odpověď #1 kdy: 01. 06. 2015, 13:58:36 »
Moinitory by mely byt jinde nez osd , ale v nizkonnodovem setupu proc ne

monitoru vzdy lichy pocet ...

OSD v klidu v 1 node i vic , na ciste disky , zadny bordel typu mdadm pod to .. jen snizis vykon a redudanci nijak nepomuzes , tu si resi samotny ceph

PCnity

  • *****
  • 686
    • Zobrazit profil
    • E-mail
Re:CEPH na malém počtu nodů
« Odpověď #2 kdy: 01. 06. 2015, 14:03:28 »
Dakujem. Ako to funguje s CRUSH pri viac OSD per noda? Aj pri manual deploymente som nikde nemal moznost povedat ze dany OSD bezi na rovnakom zeleze. Treba dekompilovat mapu, nasledne oznacit ze dane OSD zdiela rovnaky host, skompilovat spat a tak spustit OSD? Alebo ako dosiahnut aby nahodou vsetky 3 repliky neskoncili na jednom hoste?