Vytvoření struktury databáze dle JSON a hromadný import?

Mám velké množství dat (cca 10 GB) ve formátu JSON, asi 2 miliony souborů. Je tam hodně různých parametrů/keys, asi 100, a hlavně vícestupňová soustava (některý parametr obsahuje dict a ten zase dict a ten zase dict atd).

V ideálním případě bych to chtěl nějak narvat do jedné databáze, kde by každý ten dict byl samostatná tabulka a bylo to navzájem propojené přes foreign_keys. Ale už i jen samotné vytvoření struktury databáze bude piplačka metodou pokus omyl a nehledě pak na ten import.

Asi jsem hodně naivní/línej, ale je nějaký nástroj, který by mi tu strukturu databáze vytvořil automaticky a byl schopný i provést import? :-) Samozřejmě by mi to extrémně moc usnadnilo práci :D

Databáze ideálně SQL, resp. aby s ní šlo pracovat přes SQLAlchemy.
« Poslední změna: 10. 07. 2022, 22:46:44 od Petr Krčmář »


Idris

  • *****
  • 2 109
    • Zobrazit profil
    • E-mail
Re:vytvoření struktury databáze dle JSON a hromadný import?
« Odpověď #1 kdy: 04. 07. 2022, 17:38:55 »
Bez bližších podrobností těžko radit, ale zvážil bych použití JSONB v Postgresu.

Re:vytvoření struktury databáze dle JSON a hromadný import?
« Odpověď #2 kdy: 04. 07. 2022, 18:27:43 »
Jj, nějaké řešení které umí pracovat s JSON přímo (indexovat, prohledávat, validovat, ...). Nemusí to být nutně jen JSON rozšíření do SQL databáze, můžete použít NoSQL - JSON dokumentové databáze s přístupem zpravidla pomocí nějakého map-reduce API.

M_D

  • ****
  • 250
    • Zobrazit profil
    • E-mail
Re:vytvoření struktury databáze dle JSON a hromadný import?
« Odpověď #3 kdy: 04. 07. 2022, 19:03:15 »
Také mě napadlo, že zkusit to nacpat do Apache CouchDB, ten přímo žere JSON dokumenty. Naimportovat to tam "bez přemýšlení", pak se zamyslet a udělat si nad tím pár view, tím to naindexovat a přes ně v tom hledat? Dle popisu se slovníky, linkováním dokumentů a spol, tak by to mělo být průchozí. Buď člověk zjisít, že to stačí a nebo si tím utřídí myšlenky pro to, jak to narvat do SQL stroje.
Samozřejmě je CouchDB NoSQL map/reduce udělátko, přes SQL Alchemy to nenapojím.

by_cx

  • ***
  • 204
    • Zobrazit profil
    • E-mail
Re:vytvoření struktury databáze dle JSON a hromadný import?
« Odpověď #4 kdy: 08. 07. 2022, 13:46:48 »
Myslím, že na tohle by bylo lepší MongoDB. Má lepší query language. CouchDB je dobré, když člověk těží z jeho HTTP API a z replikace.