Stažené soubory s nesedícím md5

Stažené soubory s nesedícím md5
« kdy: 12. 06. 2025, 18:03:02 »
Domácí server s Debianem 12: stáhnu přes wget soubor a nesedí md5. I apt-get update hlásí u některých položek neshodu kontrolních součtů.
- soubor jsem zkoušel stáhnout na SSD i HDD (md5 nesedí na obou umístěních, tedy problém s úložištěm vylučuji).
- soubor jsem stáhl na flash na notebooku, md5 sedí. Kopie přes scp na server - md5 nesedí.
- kopie z notebooku na flash a z ní na server - md5 sedí.
- memtest OK.
- z toho všeho jsem usoudil na blbnoucí síťovku (když přenos jinou než síťovou cestou byl OK), takže jsem rozjel USB siťovku: bohužel i přes ni součty nesedí.
Vypadá to na SW problém, ale nevím, jak to diagnostikovat.


Sox37

Re:Stažené soubory s nesedícím md5
« Odpověď #1 kdy: 12. 06. 2025, 18:50:54 »
Jaký memtest a jak dlouho jste ho nechal běžet?

Píše něco dmesg?

Sox37

Re:Stažené soubory s nesedícím md5
« Odpověď #2 kdy: 12. 06. 2025, 18:52:53 »
SW můžete vyloučit nabootováním nějakého live distra z USB.

vcunat

  • ***
  • 154
    • Zobrazit profil
    • E-mail
Re:Stažené soubory s nesedícím md5
« Odpověď #3 kdy: 12. 06. 2025, 20:27:59 »
Kopie přes scp nesedí?  Přes šifrované spojení?  To asi nemůže být sítí ani síťovkou.

CFM

  • ***
  • 147
    • Zobrazit profil
Re:Stažené soubory s nesedícím md5
« Odpověď #4 kdy: 12. 06. 2025, 20:54:36 »
Špatný hash vyjde vždy stejně? Velikost poškozeného souboru je OK? Jak dopadne binární porovnání (úplně jiný, částečně, ...)?


Re:Stažené soubory s nesedícím md5
« Odpověď #5 kdy: 12. 06. 2025, 21:11:28 »
Odkud kam stahujete soubor wgetem? Z domácího serveru s Debianem na nějakou pracovní stanici nebo notebook? Ten apt-get update hlásil chybu, když jste ho spustil na serveru? Že by se soubor přenesl přes síť šifrovaným kanálem, šifrované spojení by neselhalo ale data uvnitř přenosu byla poškozená je extrémně nepravděpodobné. TLS zajišťuje i integritu přenášených dat.

Nejsou data poškozená na disku na serveru? Když počítáte hash přímo na serveru, je správně? Pokud by byla poškozená část disku, mohou být některé zápisy OK a jiné ne. Případně když jste testoval nahrání souboru a pak opětovné stažení, mohl být soubor ještě v paměti. Nešifruje vám data na serveru ransomware?

A opravdu používáte v roce 2025 ke kontrole integrity souborů MD5?

Re:Stažené soubory s nesedícím md5
« Odpověď #6 kdy: 12. 06. 2025, 22:31:07 »
To mi připomíná jistý bug VIA chipsetu v prehistorii.

Re:Stažené soubory s nesedícím md5
« Odpověď #7 kdy: 12. 06. 2025, 23:39:57 »
To je fakt prapodivné podle popisu.
Jak už tu bylo zmíněno v předchozím postu, tak tím že jste zkoušel SCP přenosy, tak je téměř vyloučené, že by se data jakkoliv měnila při síťovém přenosu. Jsou tam jak TCP checksumy (takže by se ty pakety případně posílaly znovu), tak nad tím MAC v SSH vrstvě (když by to nesedělo, spojení se rozpadne).
Takže ten problém s největší pravděpodobností nastává při čtení/zápisu souboru z toho serveru a to, co už jde tím síťovým kanálem je nakopnuté.
Nejsou na serveru nějaké podezřelé hlášky v dmesg nebo obecně žurnálu?

I když se vyloučí síťování, může být pořád docela dost elementů, co to může způsobovat. Od disků, přes paměti, CPU, základní desku atp.
Já pokud to jde, tak většinou začínám tím, že pokud to jde, tak celý počítač třeba na minutu vypnu a odpojím od sítě. Už se mi párkrát stalo, že nějaká komponenta prapodivně blblnula (včetně třeba vadného disku, řadiče, desky, dimmu) a po čerstvém startu to slavnostně zheblo úplně, takže se to aspoň dalo vyměnit.

Když se to bude zdát v pohodě, a naběhne to bez chyb, tak integrita zápisů a čtení (přes fs do souboru) se dá docela v pohodě otestovat například programem fio (jsou tam verifikační parametry, různé patterny atp.).
U procesorů a pamětí (mimo memtestu) pořád v případě potřeby používám Prime95, resp. mPrime v CLI verzi. Hodina s torture testem a velkým FFT nebo blendem většinou pomůže odhalit dost problémů.

mark42

  • ***
  • 150
    • Zobrazit profil
    • E-mail
Re:Stažené soubory s nesedícím md5
« Odpověď #8 kdy: 13. 06. 2025, 08:52:53 »
Ten wget je naozaj prapodivny...

Spominane SCP je naozaj SCP? Nie je to SFTP s nejakym sialenym nastavenim, ktore zmrsi binarku lebo ju prenesie ako text?

Notebook a server su na rovnakej sieti? Nie je na sieti so serverom aj nejaky aplikacny firewall ktory by do prenosu mohol teoreticku zasiahnut?

RDa

  • *****
  • 3 051
    • Zobrazit profil
    • E-mail
Re:Stažené soubory s nesedícím md5
« Odpověď #9 kdy: 13. 06. 2025, 09:40:13 »
Nasdilej dobrou a spatnou binarku, mrknem co za poskozeni tam nastalo.

RDa

  • *****
  • 3 051
    • Zobrazit profil
    • E-mail
Re:Stažené soubory s nesedícím md5
« Odpověď #10 kdy: 13. 06. 2025, 09:44:19 »
A opravdu používáte v roce 2025 ke kontrole integrity souborů MD5?

Ke kontrole integrity souboru staci klidne CRC-32, ale s MD5 je to lepsi.

Phase-out MD5 nastal pouze pro kryptograficke ucely (podepisovani, HMAC, atd).

Re:Stažené soubory s nesedícím md5
« Odpověď #11 kdy: 13. 06. 2025, 14:44:05 »
A opravdu používáte v roce 2025 ke kontrole integrity souborů MD5?

Ke kontrole integrity souboru staci klidne CRC-32, ale s MD5 je to lepsi.

Phase-out MD5 nastal pouze pro kryptograficke ucely (podepisovani, HMAC, atd).
Ale používat MD5 pro kontrolu integrity souborů nedává smysl. Třeba BLAKE3 je bezpečnější a rychlejší.

Re:Stažené soubory s nesedícím md5
« Odpověď #12 kdy: 13. 06. 2025, 16:57:25 »
Neblábol naprosto mimo téma, Jirsáku.

Jose D

  • *****
  • 912
    • Zobrazit profil
Re:Stažené soubory s nesedícím md5
« Odpověď #13 kdy: 13. 06. 2025, 17:10:41 »
vystav si někde soubor plný nul/áček/oblíbeného hex patternu a sosni si ho tím serverem, Co se tam změní, je to random, jeden bytík, jeden bitík, nebo je tam nějaký payload?

Projevuje se to od nějaké velikosti, nebo od jednobytového souboru?

Co jsem v oboru se mi něco podobného stalo snad jen jednou když jsem měl bug na nfs serveru..

Re:Stažené soubory s nesedícím md5
« Odpověď #14 kdy: 13. 06. 2025, 17:14:03 »
MD5 samozřejmě pro kontrolu integrity smysl dává, ale je pravdou, že BLAKE3 je výrazně rychlejší, blíží se rychlostí CRC32.

Rychlost při hashování 1 GB souboru:
Algoritmus  Čas (přibližně)
BLAKE3      ~0.3 s
CRC32       ~0.2 s
MD5         ~1.0 s
SHA-1       ~1.5 s
SHA-256     ~2.5 s
RIPEMD-160  ~3.0 s