Cloud storage - silent data corruption

[czAtlantis]

Mně jendou dropbox "zašantročil soubor". NEbyl poškozený, ale nešel stáhnout. Jak přes klienta se nesesynchronizoval, tak přes web (tam to házelo nějakou chybu). "Bohužel" jsem si ten soubor neschoval na ukázku...

[Reklama]

[Jakub Štech]

v tom případě nepoužíváš zfs , jeho scrub ten poměr dat v paměti právě výrazně mění

Jo, ale scrub téměř nikdy neběží. Já třeba pole scrubuju jednou měsíčně a trvá to cca 10 hodin, tj. představuje 1.3 % uptimu. Takže náhodný muon z rozpadové kaskády protonu letícího skoro rychlostí světla co si naryl držku o atom dusíku 60 km nade mnou se nejpravděpodobněji trefí do DRAM čipu právě v těch 98.7 % času, kdy ten NAS nic nedělá a má ramku skoro prázdnou :-)

ECC určitě ano, ale bude to ještě pár let než se to ze současných ARM serverů probublá do consumer cenové hladiny. A amd64 hardware nikdo do levných NASů dávat nebude. S roustoucí hustotou (a tím chybovostí) pamětí ECC bude nakonec stejně všude.

[pruzkumbojem]

Nechapu co to mate za NAS.
Muj ZFS NAS4FREE furt vyuziva RAM na 99%, co ma volne, tam cpe ARC.
Jaka volna pamet?

v tom případě nepoužíváš zfs , jeho scrub ten poměr dat v paměti právě výrazně mění

Jo, ale scrub téměř nikdy neběží. Já třeba pole scrubuju jednou měsíčně a trvá to cca 10 hodin, tj. představuje 1.3 % uptimu. Takže náhodný muon z rozpadové kaskády protonu letícího skoro rychlostí světla co si naryl držku o atom dusíku 60 km nade mnou se nejpravděpodobněji trefí do DRAM čipu právě v těch 98.7 % času, kdy ten NAS nic nedělá a má ramku skoro prázdnou :-)

ECC určitě ano, ale bude to ještě pár let než se to ze současných ARM serverů probublá do consumer cenové hladiny. A amd64 hardware nikdo do levných NASů dávat nebude. S roustoucí hustotou (a tím chybovostí) pamětí ECC bude nakonec stejně všude.

[Liquids]

Zrovna u Microsoftu nějak nepočítám s tím, že je na úrovni AWS nebo Google. Možná bude horší jak Alibaba.

S MS moc spokojený nejsem. Rozhodně nepošlu data do Google a že bych měl v lásce AWS se taky říci nedá. Kam to tedy poslat, aby to mělo nějakou kvalitu, pokud nemám problém za službu zaplatit?

[Karmelos]

Kam to tedy poslat, aby to mělo nějakou kvalitu, pokud nemám problém za službu zaplatit?

ProtonDrive?

[Reklama]

[Exceptions]

Kam to tedy poslat, aby to mělo nějakou kvalitu, pokud nemám problém za službu zaplatit?

ProtonDrive?

Doporučuješ rok a půl starou službu, která je pořád v betě jako spolehlivou náhradu?

[Karmelos]

Kam to tedy poslat, aby to mělo nějakou kvalitu, pokud nemám problém za službu zaplatit?

ProtonDrive?

Doporučuješ rok a půl starou službu, která je pořád v betě jako spolehlivou náhradu?

Navrhni něco lepšího, když seš tak chytrej.

[Liquids]

Kam to tedy poslat, aby to mělo nějakou kvalitu, pokud nemám problém za službu zaplatit?

ProtonDrive?

Doporučuješ rok a půl starou službu, která je pořád v betě jako spolehlivou náhradu?

Celkem mě zaujal pCloud - https://www.pcloud.com, ale nejsem si jistý, jestli mají v EU více datacenter.

Na zálohu cold data mám na icedrive - https://icedrive.net/

[Jakub Štech]

Já mám blob storage u Backblaze, asi $1000 ročně za 20 TB. Ještě jsem tam měl zálohování/filesharing, to bylo za nějakou symbolickou částku $70/rok bez omezení velikosti, ale byla to Windows-only nativní aplikace (à la Dropbox), což už nepoužívám.

[nocturne.op.15]

Onedrive má jednu nectnost, na jejíž analýze jsme bez finálního závěru strávili dost času. Vypadá to jako data corruption, ale není. možná je to i váš případ?

Při stažení většího množství dat v ZIPu se může stát víc věcí:
-  tu a tam zasekne přenosna něčem a bez vysvěletní spadne (network error), zip je poškozený
- přenos se korektně dokončí, zip je poškozený
- přenos se dokončí, zip je OK, ale neobsahuje vše

ve všech případech byla data na onedrive v pořádku včetně dat, která v ZIPu neskončila. Stačilo je stáhnout separátně nebo třeba v archivu jako celek v rámci složky  - prostě mimo dávku, která selhala. Něco tam mají hrozně blbě.