Import 2,5TB.sql souboru do DB respektive jeho rozdělení

[dustin]

Neber si to osobně, ale práce s takovým dumpem vyžaduje trochu zkušeností s linuxem i mysql. Ten, kdo ti to zadal, by tě měl nejdříve trochu proškolit. Fakt nic osobního, ale je to tak.

[Reklama]

[Clee-Shock]

Koukám na ten htop.

Proč máš 10GB swap na stroji s 300GB RAM? Vypnul bych jej.

Proč má mysql nastaveno tak málo paměti? Máme 512GB RAM a mysql má v bufferech nastaveno 100GB (pravda nijak jsme si s tím nehráli a netestovali, ale používá je)

Kód [Vybrat] Rozbalit

4065 mysql  20   0  108g 105g  17m S     3 20,9  12975:49 mysqld                                                                                                                                                                                                                                                         

20 jader = nalévání alespoň 18 jádry současně. Snadno si nastavíš parametry xargs - viz ten dump skript.

Ten stroj jsem dostal nedavno a musim ho nastavit, takze dekuju za podnety. Jinak ano mas pravdu, ze nemam uplne zkusenosti na to,a bych to dokazal efektivne spravovat, ale byl jsem do toho jak se rika hozen, takze se pokusim co nejvice veci pokazit a co mozna toho nastavit spravne.

Jeste jednou dekuju.

[Miroslav Šilhavý]

20 jader = nalévání alespoň 18 jádry současně. Snadno si nastavíš parametry xargs - viz ten dump skript.

Já ještě přidám doporučení ověřit, že se nejedná o jádra hyperthreadingu. Pak je lepší hyperthreading vypnout, je to jednodušší, než nastavovat afinitu na jednotlivá fyzická jádra.

[dustin]

Tak to samozřejmě, na serverech hyperthreading vždy vypínám, pokud jej CPU podporují.

[Štefan]

Jako nejlepší řešení mi nakonec vždy přišlo rozsekání velkého souboru na jednotlivé create a insert části. Jednak je lze v případě nutnosti/chyby opakovaně spustit, jednak lze některé části paralelizovat (rozhodně create a inserty číselníků) a nechat si největší sousta nakonec .. I tam lze pak příliš velký insert jen jednoduše rozdělit na části, které se zpracují v relativně rychlejším sledu. Nemíval jsem žádné problémy, když jsem si inserty rozsekal po cca max 200 MB souborech.. větší už obvykle "drhly"..

Jsem v linuxu zacatecnik, takze si dost dobre nedokazu predstavit jak bych takovy soubor pomoci prikazu mohl rozsekat. Asi teoreticky chapu, ze bych si mel najit radky kde zacina a konci konkretni schema s inserty a pak je postupne zkouset, ale jak na to?

sed, grep, sort, uniq a regulární výrazy jsou Tvůj kamarád - to vše v případě, že je k dispozici ten jediný dump, ale pokud je možné vyexportovat data po jednotlivých tabulkách, zvolil bych rovnou tento přístup a extra velký soubor ještě rozdělil pomocí split na menší částí - prví bude obsahovat definici tabulky a "pár" insertů, zbytek už jen inserty.

S 30 tabulkami bych se moc s extra skriptováním netrápil a napsal si ty příkazy do shell skriptu copy&paste a upravit název tabulky

[Reklama]

[dustin]

Za sebe bych doporučoval použít již hotové skripty (třeba si jich pár vyzkoušet), než se s tím psát. Např. https://github.com/afrase/mysqldumpsplit . Jinak google vrací mraky příkladů https://www.google.com/search?num=30&safe=off&q=split+large+mysql+dump+to+each+table

[Clee-Shock]

Využil jsem tohoto již hotového skriptu https://github.com/kedarvj/mysqldumpsplitter/blob/master/mysqldumpsplitter.sh

Každopádně toho kdo vymyslel dump celé DB bych nakopal. je to hrozná pakárna pracovat s tak velkým souborem i s ohledem na místo se kterým musím pracovat. Ponaučení z tohoto zni, zálohovat všechny tabulky zvlášť..

Děkuji všem zůčastněným.

[dustin]

Je to jednoduché - kdo to vymyslel,  o tom moc nepřemýšlel. Jeho úkolem byl dump, ne to pak nalévat zpět. Proč myslet dopředu, za to mě přece neplatí...

Mimochodem doporučení zálohovat mysql celým dumpem bez rozdělení na db/tabulky se i tady objevují pořád dokola.

[Clee-Shock]

Je to jednoduché - kdo to vymyslel,  o tom moc nepřemýšlel. Jeho úkolem byl dump, ne to pak nalévat zpět. Proč myslet dopředu, za to mě přece neplatí...

Mimochodem doporučení zálohovat mysql celým dumpem bez rozdělení na db/tabulky se i tady objevují pořád dokola.

Abych se vyhnul předešlému problému - máte někdo zkušenosti s automysqlbackup - https://www.vultr.com/docs/how-to-install-and-configure-automysqlbackup-on-ubuntu-16-04

Vypada to dobře.

[mal]

Každopádně toho kdo vymyslel dump celé DB bych nakopal. je to hrozná pakárna pracovat s tak velkým souborem i s ohledem na místo se kterým musím pracovat. Ponaučení z tohoto zni, zálohovat všechny tabulky zvlášť..

Nejenom to, v případě 1TB+ DB bych ještě doporučil binární backupy, ty se pak dají obnovit poměrně rychle (percona tooly).