Spolehlivá databáze jako náhrada Oracle AQ

Spolehlivá databáze jako náhrada Oracle AQ
« kdy: 12. 08. 2021, 15:52:44 »
Ahoj, k plne spokojenosti na jednom projektu provozujeme Oracle AQ kde pres to bez nejmensich problemu protekly miliardy msg. Ted uvazujeme o prechodu ( jako alternativu ) na jinou DB platformu.

Problem je ze nevim (resp. nenasel jsem)  jestli pro MySQL, PgSQL apod existuje neco podobneho. Nepotrebuji zadne silene HA reseni, staci mi neco co bude spolehlive frontovat jednoduche msg (enqueue, dequeue, single-consumer).
« Poslední změna: 12. 08. 2021, 19:17:41 od Petr Krčmář »


Re:DB, dotaz, prosba: Nahrada Oracle AQ
« Odpověď #1 kdy: 12. 08. 2021, 17:31:34 »
A co se tam posila? Musi to bezet na te DB? Proc ne treba SonicMQ?

Re:Spolehlivá databáze jako náhrada Oracle AQ
« Odpověď #2 kdy: 22. 08. 2021, 19:42:49 »
Payload msg je v podstate par bajtu, pro jednoduchost rekneme long. Ta databaze funguje pouze jako persistentni storage request/response (defacto logovani) a zaroven resi "queueing" pozadavku pres AQ. Motivace je takova ze ne vsichni zakaznici hodlaji platit statisice za sice overene a robustni reseni od Oracle. Tu storage zvladne jakakoliv jina DB, jen je potreba vyresit nahradu toho AQ. Potreba je takova technologie kterou lze volat pres API z C. Uplne optimalni by mi prislo kdyby existovalo nejake rozsireni pro MySQL/PgSQL apod.

Pixe

Re:Spolehlivá databáze jako náhrada Oracle AQ
« Odpověď #3 kdy: 22. 08. 2021, 20:04:28 »
Redis?

Re:Spolehlivá databáze jako náhrada Oracle AQ
« Odpověď #4 kdy: 23. 08. 2021, 00:00:05 »
Musí to být přímo databáze? Pokud jde o perzistentní storage zpráv, tak to zvládne třeba Apache Kafka.


luvar

  • ***
  • 197
    • Zobrazit profil
    • E-mail
Re:Spolehlivá databáze jako náhrada Oracle AQ
« Odpověď #5 kdy: 23. 08. 2021, 07:39:02 »
Ono ak ide o publish/subscribe tok sprav s perzistenciou, tak existuju o rad lepsie riesenia ako databaze (orakle riesenie tohoto problemu nepoznam). Osobne by som spravil prototyp s RabbitMQ, apache kafkou, alebo apache pulsar-om. Zalezi od toho, kde je potrebna garancia, ze sa sprava ulozi/spracuje a ci spracovanie bezi singlethreaded, alebo nie, pripadne, ci sa vyzaduje striktne zoradenie sprav... Proste je potrebne napisat viac o konkretnom probleme a najdeme spravne kladivo.

PS: Ak clovek pozna technologu X a je s nou par rokov spokojny, nema zmysel do projektu zavadzat technologiu Y, ktora je efektivnejsia/vhodnejsia, ale clovek s nou nema skusenosti. Ak je tam ale financny rozdiel (tuna je), tak to zmysel moze mat. Co chcem povedat, ak ma niekto v time skusenost s niecim, co tu bolo napisane a je to vhodne, tak pouzit na prototyp danu vec a neskusat to, co vide z diskusie ako idealne riesenie. Niekedy na efektivite riesenie zalezi menej, ako na "famliarnosti" danej technologii v time.

Re:Spolehlivá databáze jako náhrada Oracle AQ
« Odpověď #6 kdy: 23. 08. 2021, 09:46:07 »
Ahoj, k plne spokojenosti na jednom projektu provozujeme Oracle AQ kde pres to bez nejmensich problemu protekly miliardy msg. Ted uvazujeme o prechodu ( jako alternativu ) na jinou DB platformu.

Problem je ze nevim (resp. nenasel jsem)  jestli pro MySQL, PgSQL apod existuje neco podobneho. Nepotrebuji zadne silene HA reseni, staci mi neco co bude spolehlive frontovat jednoduche msg (enqueue, dequeue, single-consumer).

Pro PostgreSQL existuje https://github.com/pgq/pgq - roky nad tím byl postavený Skype, tak to asi bude použitelné.