Linux: dd a format media

pet

Re:Linux: dd a format media
« Odpověď #30 kdy: 26. 03. 2015, 16:25:37 »
kdyz pomoci dd delas raw zapis image na cele device, je mu mbr/partition_table ABSOLUTNE ukradene, to je fakt, pokud to tedy musis delat 2x, nehraje v tom roli obsedantne kompulzivni porucha? tva nebo te flash? ;)
Hraje v tom roli nejaká vlastnost těch flashek nebo linuxu, ale chápu, že pro dětičky je vše černobílé a nechápou rozdíl mezi šedou teorií (je mu mbr/partition_table ABSOLUTNE ukradene) a zeleným stromem života. Však až vyrostete, tak zjistíte, že existují věci mezi nebem a zemí, které tu vaši teorii budou vesele ignorovat.
Upozornění na tenhle problém s některýma flashkama zde je a ubožáci, kteří mají pocit, že sežrali moudro na tom už nic nezmění. No a já už do tohoto threadu nepůjdu, protože kecy že to, co jsem objektivně a reprodukovatelně odzkoušel, není pravda může vést jen ignorant.


asdasdas

Re:Linux: dd a format media
« Odpověď #31 kdy: 26. 03. 2015, 16:52:46 »
@all: Dakujem za nazory, rozhodne otestujem :) ale PET ja som vzdy mal pocit ze informatika je cierno biela :) reprodukovatelna a opravitelna v kazdom momente. Podobne spravanie by som v nejakom plack boxe pochopil ale zdrojaky dd vonku su a hovoria nieco ine .. nj :) ale aj tak dakujem za nazor :D ak mi to nenabootuje na 1x pustim to s chladnou hlavou zas :D

Kolemjdoucí

Re:Linux: dd a format media
« Odpověď #32 kdy: 26. 03. 2015, 16:58:06 »
Hraje v tom roli nejaká vlastnost těch flashek nebo linuxu, ale chápu, že pro dětičky je vše černobílé a nechápou rozdíl mezi šedou teorií (je mu mbr/partition_table ABSOLUTNE ukradene) a zeleným stromem života. Však až vyrostete, tak zjistíte, že existují věci mezi nebem a zemí, které tu vaši teorii budou vesele ignorovat.

Věci mezi nebem a zemí u flash disku tak nějak neexistují.
Za dlouhých zimních večerů možno vyzkoušet
dd if=/dev/zero of=/dev/sda bs=1M
a následně se zamyslet.

nobody

Re:Linux: dd a format media
« Odpověď #33 kdy: 26. 03. 2015, 17:09:15 »
pet: tak ja myslel ze si jen sedis na vedeni a nedokazes hledat problem na zidli, ale uz chapu ze ses zamindrakovanej klucina ktereho se dotklo ze misto toho aby byl oslavovan ze objevil div sveta, je mu vysvetlovane ze placa blbosti, mam s GNU/Linux zkusenost cca 20let, je mi 2x tolik, a nikdy sem se v praxi nesetkal se situaci kterou popisujes :)
btw: cerna a bila = jednicka a nula, tak to v computer world opravdu chodi ;)

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Linux: dd a format media
« Odpověď #34 kdy: 26. 03. 2015, 17:47:16 »
Za dlouhých zimních večerů možno vyzkoušet
dd if=/dev/zero of=/dev/sda bs=1M
a následně se zamyslet.

Tak nevim, jestli se bude zamyslet nebo si rvat vlast a planovat vrazdu.


Kolemjdoucí

Re:Linux: dd a format media
« Odpověď #35 kdy: 26. 03. 2015, 17:58:45 »
Nápady nechápajících ubožáckých nevěřících dětiček jistě nemohou nijak uškodit 8)

Re:Linux: dd a format media
« Odpověď #36 kdy: 26. 03. 2015, 20:47:32 »
Hraje v tom roli nejaká vlastnost těch flashek nebo linuxu, ale chápu, že pro dětičky je vše černobílé a nechápou rozdíl mezi šedou teorií [...] a zeleným stromem života.
Já třeba coby dlouholetý admin tohle vím mic dobře ;) Ale taky vím, že většinou pokud se něco chová jinak, než si myslím, že by se to chovat mělo, tak to má nějaký konkrétní, zjistitelný důvod. Jenom se ho prostě dost často nevyplatí zjišťovat, protože jednodušší je to prostě udělat dvakrát :)

Takže proto mě to udivilo, že se to takhle chová a docela by mě zajímalo tomu přijít na kloub. Mohl bys to nějak ověřitelně zdokumentovat? Třeba něco ve stylu:

Citace
# ls /dev/sd*
## ted jsem vlozil flashku
[...]
# ls /dev/sd*
# mount
# dd ....
# ls /dev/sd*
# mount
# dd ....
# ls /dev/sd*
# mount

Když podáš vágní informaci "chová se to divně, udělej to dvakrát", tak to nikomu k ničemu není. Pokud to zdokumentuješ, může si to kdokoli ověřit a pokud se to potvrdí, dát si na to bacha.

Trident

Re:Linux: dd a format media
« Odpověď #37 kdy: 26. 03. 2015, 22:36:47 »
Hele vy "vodbornici" na "nektery flashky delaj..." . Je vam jasny ze po dojeti dd nedojde k vysypani diskove cache pro zapis? Kdyz delate umount tak se sync/fsync zavola. Ale kdyz blokove zapisujete ddckem tak nikoliv. Tedy alespon ve vychozim stavu. Davali jste po ddcku prikaz sync? Nastudujte si oflags=fdatasync. Dale si nastudujte za domaci ukol co dela presne sync a pozornejsi studenti necht se mrknou jeste mimo OS write buffery na ATA/SCSI command kterym se vylejva cache zarizeni.

Mne fascinuje ze lidi s evidentne pokrocilejsimi znalostmi a ambicemi v  IT tohle nevedi. A co vic. Pojmy jako partition tabulka ktere patri do skolicky taky nepanimaju. Jako nemusis vedet delat slozity joiny v sql, ale tohle je naprosty zaklad. Koneckoncu i databazisti by meli vedet jak pracovat s blokovym zarizenim kdyz databaze funguje bez filesystemu primo na blokovem zarizeni.

Jak to cele souvisi se subjectem - format media? Vzdyt probirate blokove kopirovani a ne low level format media pripadne formatovani filesystemu. Sakrys partition tabulka neni format media.

Jestli s touhle urovni for na rootu budete dale takto klesat, tak za chvili nas zaplavi magma.




Re:Linux: dd a format media
« Odpověď #38 kdy: 26. 03. 2015, 22:42:42 »
Je vam jasny ze po dojeti dd nedojde k vysypani diskove cache pro zapis? Kdyz delate umount tak se sync/fsync zavola. Ale kdyz blokove zapisujete ddckem tak nikoliv.
AFAIK pokud platí, tak jenom pro Linux a/nebo GNU dd. Pro BSD to neplatí.

Kolemjdoucí

Re:Linux: dd a format media
« Odpověď #39 kdy: 26. 03. 2015, 23:29:13 »
Jestli s touhle urovni for na rootu budete dale takto klesat, tak za chvili nas zaplavi magma.

Především se tady ví, že low-level format již 15 let neexistuje a u flash neexistoval nikdy.
Proč je nutno dd dělat 2x bohužel nevíme dosud.

pet

Re:Linux: dd a format media
« Odpověď #40 kdy: 27. 03. 2015, 09:21:46 »
Tak jsem si řekl, že se ještě podívám, a ejhle, zdá se že už se tu začíná hovořit rozumně.
Pro ty, co se o mne a mé znalosti otírali výše: jsem dlouholetý admin, vývojář, atd s 20 letou praxí na Linuxu (30 letou s počítači v zaměstnání: DOS, LynxOS, ...) co měl na desktopu Slackware, RedHat (do verze 6.1), Suse, RockLinux a teď má už několik let Gentoo. Pro zákazníky stavíme velké systémy o desítkách počítačů, v současnosti vše na Gentoo. Jo, a tenhle nick jsem začal používat v zaměstnání nekdy v r. 1985.

Problém, o němž jsem hovořil, jsem zpozoroval na několika různých flashkách, např na této: https://www.alza.cz/kingston-datatraveler-micro-16gb-cerny-d324462.htm (na barvě nezáleží, zda záleží na kapacitě, nevím).
Když jsem na novou nepřeformátovanou flashku (data na ní nějaká být mohla, ale nesmi se sahat mimo původní particii) nahrál iso instalačku např. Sabayonu či Gentoo (teď si nejsem jist jestli se některá nemusí napřed ošetřit pomoci isohybrid), tak nebootovala, při kontrole v počítači na ní byly nesmysly, a po dalším přepsání toutéž iso imagí už fungovala. Další přepisy pak už stačí dělat jen jednou.
Osobně typuji, že se jedná o nějaky trik v té flashce, možná pro lepší využití kapacity. U starších flashek s malou kapacitou, disků a FC jsem na to nenarazil, jiná média (SD, MS,...) jsem nezkoušel.

Pavouk106

  • *****
  • 2 395
    • Zobrazit profil
    • Můj blog
    • E-mail
Re:Linux: dd a format media
« Odpověď #41 kdy: 27. 03. 2015, 09:58:31 »
K původnímu dotazu: Protože jsem radil již v předchozím tématu (předpokládám, že jde o stejného člověka), tak bych rád slyšel, jak to nakonec dopadlo.

OtazkaDD: Takže jsi vzal ten image, pomocí gparted jsi změnšil oddíl ext4, tím Ti vzniklo za oddílem ext4 volný místo, který jsi "odstranil" tak, že jsi dd-čkem vykopíroval jen data od 0 do XY sektoru (kde XY je poslední sektor oddílu ext4)? Pokud jsi to udělal takhle, mělo by vše být funkční. Pokud to chceš ověřit,  lze si spočítat začátek ext4 sektoru a z toho výsledného image ten sekto namountovat (pomocí toho spočtenýho offsetu). Pokud při mountování nebude řvát chyby, měl bys být ok. Pokud bych třeba já chtěl jistotu, asi bych si nechal udělat MD5 všech souborů na ext4 z původního image a z nového (změnšeného image). Ale to už je možná trochu paranoidní :-)

Ideální by samozřejmě bylo vzít nějakou SD kartu, dd-čkem na ní ten zmenšenej image nahrát, vrazit jí do RPi a zkusit... V zásadě bys ale měl fungovat, na postupu asi nebylo nic špatně.

Jestli už to je otestovaný v provozu (dnes je 27. takže by mělo být), tak napiš, jestli to jede. Poučení pro příště: Vždy udělat oddíly tak, aby zbylo nějaké volné místo. Nikdy totiž nevíš, jak se bude chovat médium o "stejné" velikosti jiného výrobce nebo jiné série ;-) Já radši ze stejného důvodu obětoval trochu místa při vytváření RAID1.

OtazkaDD

Re:Linux: dd a format media
« Odpověď #42 kdy: 27. 03. 2015, 14:10:26 »
ahoj pavouk, ano ano ide o toho isteho cloveka a ano urobil som to presne tak ako si pisal. dnes okolo 16 mam naplanovanu session, kde mam cas ja aj klient tak to rovno otestujeme a urcite dam hned vediet. ide o to ze klientovi to slape ale minule ked som robil neico na raspberry tak z nicoho nic bolo vsetko len read-only a niekde som sa docital ze to rpi robi aby ochranilo data ked narazi na nieco co indikuje problem ys filesystemom ...

vtedy som prace prerusil (nahraval som mu update) a povedal ze pokracovat budeme az budem mat vytvorene a otestovane zalohy pre pripad katastrofy .. on s tym bol ok, a najblizsi spolocny cas sme si nasli az dnes :)

Pavouk106

  • *****
  • 2 395
    • Zobrazit profil
    • Můj blog
    • E-mail
Re:Linux: dd a format media
« Odpověď #43 kdy: 27. 03. 2015, 14:49:48 »
OtazkaDD: Možná to tu padlo už v tom minulym tématu - read-only se prý údajně mají zamykat samy karty, když už ví, že jsou na tom špatně (moc zápisů) a mohlo  dojít k porušení dat. Možná je to "jedna paní povídala", já to jen předávám, jak jsem někde nabral. Teoreticky by to znamenalo, že nová karta odejde brzy stejnym způsobem... Nezapisuje na ní klient data (nějakou statistiku = časté zápisy)?

Každopádně dej pak vědět, jsem celkem zvědavej. Vždycky, když se řeší takový věci jen na dálku psaním zpráv na foru, může to dopadnout všelijak :-)

OtazkaDD

Re:Linux: dd a format media
« Odpověď #44 kdy: 27. 03. 2015, 15:35:52 »
No klient to ma ako zariadenie ktore bezi 5 hod denne a zbiera data, ale moc nezapisuje skor porovnava .. ja nevie mpovedal by som nieco ako automaticka zahrada ... ziadne vela zapisov na kartu .. sedi mu tam jedne program (JAVA :-/) a ten frci ale logy ani statistiky neuklada