1
Server / Re:Silent data corruption při přenosu
« kdy: 23. 01. 2025, 13:45:46 »
Data se muzou rozpadnout vzdy - klidne na urovni SATA rozhrani, nebo kvuli logicke chybe (jako ukazoval pan s nfs/udp).
Nedavno se me zacali treba objevovat na torrentu chyby, ze nesedi checksum nejakeho bloku.. celkem wtf, ale taky bylo cilem NFS a nasel jsem pak nejaky bug report ze se to stat muze. Takze dobry wtf.
Pokud jde o offline prenos, tak jdi na to skrze checksumy - vytvor si je na vysilaci strane, zkopiruj vse, nech overit checksumy. Radeji si pockam 1+1+1 den na tyhle operace nad 80TB daty, nez to mit zkopirovane za 1 den a pak v budoucnu resit podivne problemy, ze se nejaky bit flipnul. Ty 2 dny navic jsou zanedbatelna rezie z pohledu doby zivota takovych dat.
A ne, zalohy na tento problem opravdu nepomuzou (nikdo typicky nekontroluje aktualni stav vuci zaloham z pohledu samotnych dat).
Nedavno se me zacali treba objevovat na torrentu chyby, ze nesedi checksum nejakeho bloku.. celkem wtf, ale taky bylo cilem NFS a nasel jsem pak nejaky bug report ze se to stat muze. Takze dobry wtf.
Pokud jde o offline prenos, tak jdi na to skrze checksumy - vytvor si je na vysilaci strane, zkopiruj vse, nech overit checksumy. Radeji si pockam 1+1+1 den na tyhle operace nad 80TB daty, nez to mit zkopirovane za 1 den a pak v budoucnu resit podivne problemy, ze se nejaky bit flipnul. Ty 2 dny navic jsou zanedbatelna rezie z pohledu doby zivota takovych dat.
A ne, zalohy na tento problem opravdu nepomuzou (nikdo typicky nekontroluje aktualni stav vuci zaloham z pohledu samotnych dat).