Datábaze v ramdisku

Re:Datábaze v ramdisku
« Odpověď #45 kdy: 03. 03. 2015, 15:00:12 »
Pouze u MySQL se chybejici funkcionalita supluje prostredky operacniho systemu.

Právěže ne. InnoDB si právě dělá všechno samo (mělo by to fachat i s RAW zařízením, ale to jsem nezkoušel) a nepoužívat s InnoDB DirectIO je z 99% nesmysl (tím 1% myslím současné používání jiných storage enginů). To co píšeš platí zejména pro Firebird, do značné míry pro Postgres a pro všechny noSQL co jsem potkal.

Právě InnoDB má toto pořešené dost dobře a je nesmysl ho cpát na ramdisk.


Trupik

Re:Datábaze v ramdisku
« Odpověď #46 kdy: 03. 03. 2015, 18:01:44 »
V mojom prípade to vyzeralo tak, že prišli vývojári, či sa nedá devel databáza nainštalovať do RAMdisku. Keď prišli s takou priamočiarou požiadavkou, tak som ju priamočiaro vykonal (s poznámkou, že ide o blbý nápad). Veľa som si od toho nesľuboval, ale zjavne im to pomohlo. Tak som hľadal ďalej, či sa toto zlé riešenie nedá zlepšiť. Nakoniec som došiel ku fsync=off (podľa manuálu). Že sa rovnaký výsledok dá dosiahnuť aj cez synchronous_commit som zistil až teraz. Znie to rozhodne bezpečnejšie ako vypnúť fsync.
takze az za tebou prijedou vyvojari s tim, ze potrebuji mit na serveru k dispozici worldwide read/write ftp server ve kterem budou data firemni databaze, tak jim taky vyhovis? Ja ti nevim, ale pokud za mnou nekdo dojde s takovouhle peetchovinou, tak mu to slusne nacrtnu v cem je problem a pak at se jde zamyslet nekam...
Jedná sa o vývojový DB server, na ktorom nie sú ostré dáta. Vývojový server je na to, aby sa na ňom skúšalo, hoci aj takéto psie kusy.

V Tvojom hypotetickom prípade upozorním dotyčného na riziká, ktorých som si vedomý a keď bude na požiadavke trvať, tak ju vykonám. Som platený od toho čo urobím a nie od toho, čomu všetkému zabránim. Navyše mojim cieľom nie je pretvárať svet, či dokazovať svoju dôležitosť. Ja chcem len poskytnúť služby, ktoré zákazníci požadovali a na konci mesiaca za to vystaviť primerané faktúry.

Našťastie robím s ľuďmi, ktorí sú celkom inteligentní. Keď mi občas chýba, že zo mňa nikto nerobí debila - to potom vyleziem na internet a prispievam do diskusií, aby som si to vynahradil. Ďakujem, že si mi pomohol.  ;D

j

Re:Datábaze v ramdisku
« Odpověď #47 kdy: 04. 03. 2015, 08:54:08 »
Jedná sa o vývojový DB server, na ktorom nie sú ostré dáta. ...

=> takze ses primou pricinou zcela nefunkcniho a nepouzitelnyho vyslednyho produktu. Protoze vyvojar pak u zakaznika cumi jak puk, protoze "jemu to prece fungovalo OK". Pokud se neco testuje, tak vzdy za podminek v nejhorsim pripade shodnych, za jakych to ma behat ve skutecnosti, v idealnim pripade za podminek mnohem horsich.

OMG

Re:Datábaze v ramdisku
« Odpověď #48 kdy: 04. 03. 2015, 09:22:55 »
Jedná sa o vývojový DB server, na ktorom nie sú ostré dáta. ...

=> takze ses primou pricinou zcela nefunkcniho a nepouzitelnyho vyslednyho produktu. Protoze vyvojar pak u zakaznika cumi jak puk, protoze "jemu to prece fungovalo OK". Pokud se neco testuje, tak vzdy za podminek v nejhorsim pripade shodnych, za jakych to ma behat ve skutecnosti, v idealnim pripade za podminek mnohem horsich.
to mu ale nevysvetlis, ze debilni napady treba ustrihnout hned na zacatku a ne az to nekde produkcne nasazujes... Pokud je pro nej normalni pro developeri nasazovat takovouhle debilitu, pak se jiz nicemu nedivim...

OMG

Re:Datábaze v ramdisku
« Odpověď #49 kdy: 04. 03. 2015, 09:29:48 »
Jedná sa o vývojový DB server, na ktorom nie sú ostré dáta. Vývojový server je na to, aby sa na ňom skúšalo, hoci aj takéto psie kusy.

V Tvojom hypotetickom prípade upozorním dotyčného na riziká, ktorých som si vedomý a keď bude na požiadavke trvať, tak ju vykonám. Som platený od toho čo urobím a nie od toho, čomu všetkému zabránim. Navyše mojim cieľom nie je pretvárať svet, či dokazovať svoju dôležitosť. Ja chcem len poskytnúť služby, ktoré zákazníci požadovali a na konci mesiaca za to vystaviť primerané faktúry.

Našťastie robím s ľuďmi, ktorí sú celkom inteligentní. Keď mi občas chýba, že zo mňa nikto nerobí debila - to potom vyleziem na internet a prispievam do diskusií, aby som si to vynahradil. Ďakujem, že si mi pomohol.  ;D
budto pracujes pro nejakou debilni 1 man firmu, nebo vasi manazeri nehlidaji costs. Vyvojovy DB server je od toho aby se na nem vyvijelo, testovaci DB server je od toho aby se na nem testovalo. Vyvoj i testovani ma sve specifika, ale pokud nekdo prijde za tebou, ze mu nevadi prijit o produkcni data (testovaci scenar s DB v RAM) a ty mu v tom vyhovis, pak proste nepremyslis... To neni o blokovani neceho, to je o predvidani problemu a upozorneni na ne dokud to jeste produkcne nenasazujes... Pokud to ten vyvojar neakceptuje, mas sanci na to upozornit manazment a az to nekde produkcne nasadi a zakaznik prijde o data, muzes treba povysit...  ;) Nikdo z tebe debila nedela, vsichni ti jenom rikaji ze ve tvem pripade databaze v ramdisku je riziko...


Trupik

Re:Datábaze v ramdisku
« Odpověď #50 kdy: 04. 03. 2015, 09:52:55 »
OMG, j: máte úplnú pravdu. Robím pre šupácke firmy, ktoré robia šupácke produkty. Som priamym a jediným dôvodom, prečo sa im nedarí. Potom chodím na internet zhadzovať iných, aby som sa necítil ako taká nula. Preto som aj za Vás rád, že aspoň ku Vám sa život zachoval lepšie.  ;D

Pufo

Re:Datábaze v ramdisku
« Odpověď #51 kdy: 04. 03. 2015, 10:01:11 »
Santa: Super pokus a díky za zápisek.

Celkem mám problém s pomalým čtením z disků a díky tvému zápisku si říkám, proč tam vlastně do RAID1 nedám jedno SSD. S tím writemostly (neznal jsem) na běžný disk by to snad mohlo být celkem stabilní a i rychlý.

žoržo

Re:Datábaze v ramdisku
« Odpověď #52 kdy: 04. 03. 2015, 10:17:17 »
OMG, j: máte úplnú pravdu. Robím pre šupácke firmy, ktoré robia šupácke produkty. Som priamym a jediným dôvodom, prečo sa im nedarí. Potom chodím na internet zhadzovať iných, aby som sa necítil ako taká nula. Preto som aj za Vás rád, že aspoň ku Vám sa život zachoval lepšie.  ;D
Kašli se ně, mají evidentně nějakou poruchu osobnosti ;)

aaa158

  • ***
  • 238
    • Zobrazit profil
    • E-mail
Re:Datábaze v ramdisku
« Odpověď #53 kdy: 04. 03. 2015, 15:09:09 »

Znásilňuje se proto, že se nečtou manuály a dokumentace.

Nope. Znasilnuje sa preto ze to funguje, a v ramdisku to funguje lepsie ako s fsync=off atd. Pretoze aj s fsync=off disk/OS zdochne na prilis vysoke iops, kedze tie data DB engine nakoniec zapisat musi.  Ako som uz napisal, zalezi na use-case. Vyskusane...

Kolemjdoucí

Re:Datábaze v ramdisku
« Odpověď #54 kdy: 04. 03. 2015, 16:15:23 »
Nope. Znasilnuje sa preto ze to funguje, a v ramdisku to funguje lepsie ako s fsync=off atd. Pretoze aj s fsync=off disk/OS zdochne na prilis vysoke iops, kedze tie data DB engine nakoniec zapisat musi.  Ako som uz napisal, zalezi na use-case. Vyskusane...

Vyzkoušel sis kulové, s fsync=off DB engine zapíše do systémové diskové cache a na HDD to čeká pouze tehdy když se sejde dat k zápisu více než je velikost cache. Se synchronous_commit=off není ani tento problém.

aaa158

  • ***
  • 238
    • Zobrazit profil
    • E-mail
Re:Datábaze v ramdisku
« Odpověď #55 kdy: 04. 03. 2015, 16:37:03 »
Nope. Znasilnuje sa preto ze to funguje, a v ramdisku to funguje lepsie ako s fsync=off atd. Pretoze aj s fsync=off disk/OS zdochne na prilis vysoke iops, kedze tie data DB engine nakoniec zapisat musi.  Ako som uz napisal, zalezi na use-case. Vyskusane...

Vyzkoušel sis kulové, s fsync=off DB engine zapíše do systémové diskové cache a na HDD to čeká pouze tehdy když se sejde dat k zápisu více než je velikost cache. Se synchronous_commit=off není ani tento problém.

 :) srandista

Kolemjdoucí

Re:Datábaze v ramdisku
« Odpověď #56 kdy: 04. 03. 2015, 18:13:58 »
jj, vyzkoušel sis kulové.

j

Re:Datábaze v ramdisku
« Odpověď #57 kdy: 04. 03. 2015, 20:26:22 »

Znásilňuje se proto, že se nečtou manuály a dokumentace.

Nope. Znasilnuje sa preto ze to funguje, a v ramdisku to funguje lepsie ako s fsync=off atd. Pretoze aj s fsync=off disk/OS zdochne na prilis vysoke iops, kedze tie data DB engine nakoniec zapisat musi.  Ako som uz napisal, zalezi na use-case. Vyskusane...

Jasne, zatimco u ramdisku mirorovanyho s diskem se ty data na ten disk nakonec zapsat nemusi ... lol

Mimochodem, kazdej kdo nekdy stavel nejaky diskovy pole, ti mimo jiny rekne, ze sice muzes pouzit rychlejsi/pomalejsi disk, ale ze to vzdycky degraduje vykon na ten nejpomalejsi clanek. Protoze pokud mas nastaveny zrcadlo, tak maly odchylky (protoze zadny dva disky nejsou stejny) vyresi pochopitelne cache, ale jakmile se zaplni, tak bude (protoze musi z principu) system vzdy cekat.

Vubec nemluve o tom, ze ramdisk je o rad az dva pomalejsi, nez  primy adresovani RAM (tak jak to dela kazda normalni databaze). Proste proto, ze tam jeste navrch musi bejt FS a vsecho kolem.

aaa158

  • ***
  • 238
    • Zobrazit profil
    • E-mail
Re:Datábaze v ramdisku
« Odpověď #58 kdy: 05. 03. 2015, 09:50:37 »

Znásilňuje se proto, že se nečtou manuály a dokumentace.

Nope. Znasilnuje sa preto ze to funguje, a v ramdisku to funguje lepsie ako s fsync=off atd. Pretoze aj s fsync=off disk/OS zdochne na prilis vysoke iops, kedze tie data DB engine nakoniec zapisat musi.  Ako som uz napisal, zalezi na use-case. Vyskusane...

Jasne, zatimco u ramdisku mirorovanyho s diskem se ty data na ten disk nakonec zapsat nemusi ... lol

Mimochodem, kazdej kdo nekdy stavel nejaky diskovy pole, ti mimo jiny rekne, ze sice muzes pouzit rychlejsi/pomalejsi disk, ale ze to vzdycky degraduje vykon na ten nejpomalejsi clanek. Protoze pokud mas nastaveny zrcadlo, tak maly odchylky (protoze zadny dva disky nejsou stejny) vyresi pochopitelne cache, ale jakmile se zaplni, tak bude (protoze musi z principu) system vzdy cekat.

Vubec nemluve o tom, ze ramdisk je o rad az dva pomalejsi, nez  primy adresovani RAM (tak jak to dela kazda normalni databaze). Proste proto, ze tam jeste navrch musi bejt FS a vsecho kolem.

Ramdisk mirrorovany nie je, masina skape => db sa znova vytvori. Vyskusane a benchmarkovane to je (a to "kulovy" si mozete strcit odkial to prislo ;-) ).

j

Re:Datábaze v ramdisku
« Odpověď #59 kdy: 05. 03. 2015, 11:47:08 »
Vzhledem k tomu, ze nezvladas pouzivat tak slozity s sofitikovany system jako tohle forum, tak o databazi vis asi 10x vetsi howno. Kcemu asi tak nekomu bude databaze, ze ktery s kazdym vypnutim zmizej data, ktery do ni zapisuje ... lol. Nemluve o tom, ze si ani neumis precist o cem je tu rec.