MySQL - pomalé importování 13GB databáze

Ivan Nový

Re:MySQL - pomale importovani 13GB databaze
« Odpověď #15 kdy: 10. 08. 2016, 18:51:35 »
To by určitě šlo, stejně jako na začátek a konec přidat ty sql modifikátory. Je to spíše pro příště...
A nebylo by to přes csv a LOAD DATA rychlejší? V takové velikosti nemám vyzkoušené. Nemáte s tím nějaké zkušenosti?


gl

Re:MySQL - pomale importovani 13GB databaze
« Odpověď #16 kdy: 10. 08. 2016, 19:49:20 »
ja pro import pouzivam toto, je to opravdu rychle
https://phpfashion.com/extreme-rychly-load-sql-file

Proč by to mělo být rychlejší?

nnnmm

Re:MySQL - pomalé importování 13GB databáze
« Odpověď #17 kdy: 10. 08. 2016, 20:54:36 »
vypni vsetky kotroly tj triggery, FK, PK a indexy (tie si nahodis neskor - tie su pravdepodobna pricina preco to tak dlho trva) samozrejme autocommit

13 giga v dumpe ~= 13 giga v db

zalezi na datach a indexoch zvaca je to ovela viac :)

dustin

Re:MySQL - pomale importovani 13GB databaze
« Odpověď #18 kdy: 11. 08. 2016, 09:00:00 »
A nebylo by to přes csv a LOAD DATA rychlejší?
Takový formát právě generuje ten mysqldump --tab. Jeho nalévání přes load data infile nebo mysqlimport je znatelně rychlejší. Navíc automaticky generuje strukturu (sql soubor) a data (txt soubor) pro každou tabulku odděleně, lépe se to na backup serveru deduplikuje, než jeden obří dump i s minimem změn.

db

Re:MySQL - pomalé importování 13GB databáze
« Odpověď #19 kdy: 11. 08. 2016, 11:36:22 »
tak si predstavte, ze ten import by bezel jeste ted i po "optimalizaci" :D

nemel jsem nervy s tim saskovat, tak jsem ten dump rozparsoval pythonem a extrahoval sloupce ktere potrebuju.

ten python script nebezel ani 10 minut.





mysqld

Re:MySQL - pomalé importování 13GB databáze
« Odpověď #20 kdy: 11. 08. 2016, 13:41:50 »
Je to ostre zelezo nebo virtual? Na virtualu pomaha pred importem restartnout mysql demona, rozdil v rychlosti byva bratru nekdy i 5 nasobny !

Re:MySQL - pomalé importování 13GB databáze
« Odpověď #21 kdy: 12. 08. 2016, 09:18:01 »
Osobne by som sa pozrel ako je nastavený parameter:
Kód: [Vybrat]
innodb_flush_log_at_trx_commitAk je tam 0, je to bezpečnejšie ukladanie, ale na takéto importy príliš pomalé. Dal by som tam hodnotu 2 aspoň počas importu. Moje servery nastavujem na 1 a nikdy sa mi nestratili dáta, samozrejme servery sú vždy na UPS.

dustin

Re:MySQL - pomalé importování 13GB databáze
« Odpověď #22 kdy: 12. 08. 2016, 10:40:28 »
0 chce radic s write kesi a baterkou nebo ssd.