Golang - SIMD substring search

[petersveter]

Mam kniznicu ktora ocistuje JSON od null hodnot. Preco, je irelevantne.

Jedna sa o jednoduche vyhladavanie s bytes.Index(). Originalne pouzivam goccy json lebo je najrychlejsi Go json serializer ale ocistit nullove hodnoty mi pridava 55% casu nad goccy, i ked dokopy je to stale 10% rychlejsie nez nativny go json serializer.

Benchoval som rozne postupy ale nativny bytes.Index() bol vzdy najrychlejsi, nech som robil co som chcel. Bolo mi poradene skusit SIMD pristup, hlavne ked hladam staticky retazec kde viem presne znaky a dlzku ktore sa nikdy nemenia, cim sa da kod optimalizovat, no nikdy som s tym nerobil. Viem cca o co ide ale to mi je aj tak na nic ked s tym realne neviem robit.

Zaujimalo by ma ci niekto nevie ako na to teda? Cital som ze takto funguje simdjson, co je Cckovy projekt ale. Principialne ide o to co najrychlejsie najst index kde je "null" v bytovom poli a nasledne najst pociatocny a konecny index retazca ktory sa ma odmazat a takto prejst cely json.

[Reklama]

[alex6bbc]

simd package vyuziva simd instrukce, v rychlosti jsem koukal co tam je za funkce a treba FirstLeq8 vyhledava pozici nejake bytove hodnoty (ve vasem pripade 0) v poli bytu.

[anonacct]

simdjson má go port: https://github.com/minio/simdjson-go

popř. si můžeš napsat optimalizovanou funkci přímo v tom hnusném go assembleru

[alex6bbc]

a nebo to nedelat simd, ale pomoci gorutin. rozsekat json na kusy, poslat kusy do gorutin a na konci zas slozit upraveny json.

[RDa]

Taky bych to resil v textove domene, pred parsovanim.

Ale dropnout nulls me prijde jako zajimava featura - nema treba nektery parser nejakou takovou optionu kdyz soubor nacitavate?

[Reklama]

[petersveter]

simdjson má go port: https://github.com/minio/simdjson-go

popř. si můžeš napsat optimalizovanou funkci přímo v tom hnusném go assembleru

Ano ved o to mi ide len vobec neviem ako na to.

[tecka]

Jakože hledáš "null" a pak kontroluješ, jestli je to skutečně hodnota null nebo třeba součást stringu? A jestli je v poli, nebo s klíčem v objektu a tak? To nevypadá, že to co potřebuješ řešit je to prvotní vyhledání null 

[alex6bbc]

Jakože hledáš "null" a pak kontroluješ, jestli je to skutečně hodnota null nebo třeba součást stringu? A jestli je v poli, nebo s klíčem v objektu a tak? To nevypadá, že to co potřebuješ řešit je to prvotní vyhledání null 

ja bych hledal null a pak bych hledal v okoli pro uvozovky, dvojtecky apod.

[anonacct]

Tak já předpokládám, že právě gorutiny už používá a pořád to chce zrychlit.

Ten simdjson je dobrý projekt ke studii, protože právě pozná co je string a co ne, takže ho použít jenom k tomu stripnout ty null hodnoty by bylo asi to nejefektivnější řešení.

[mikrom]

ja by som na ocistenie JSON od null pouzil jq