Fórum Root.cz
Hlavní témata => Hardware => Téma založeno: OtazkaDD 25. 03. 2015, 20:00:16
-
Zdravim,
zistil som ze urobit image SD karty (napriklad z raspberry pi) je tak jeden raidok..
dd a input device a output file
Ok a potom opat nahrat obsah na nove medium je zas to site len naopak, input file a output medium..
Napriklad moja raspberry pi SD karta (a teda aj jej IMAGE - .iso) ma 3 particie, teda 2, nejaku FA16 (tusim) ktoru mi vidi aj windows, a potom ext4 ktoru win nevidi ale sedi na nej raspbian a nakoniec nejake unformatted space.
No a moja otazka: Ako je to s formatovanim MADIA na ktore chcem kopirovat? Dajem tomu mal som SD kartu s NTFS a fotkami a chcem tam nahrat ten ISO obraz ktory ma 2 particie a unpartitiones space? Je to len obycajne DD?
Alebo musim nejako specialne to nove medium ripravit? Naformatovat na nejaky filesystem? Predpripravit particie? Alebo tak?
-
Nie, nemusíš, príkaz dd prepíše kompletne SD kartu vrátane MBR a partitiontable.
-
Nie, nemusíš, príkaz dd prepíše kompletne SD kartu vrátane MBR a partitiontable.
Jenom bacha, že nové médium musí být přesně stejně velké jako minulé. Na což se nedá spolehnout ani u stejného modelu karet.
-
Stejné nebo větší než původní kapacita.
-
Stejné nebo větší než původní kapacita.
Jo, pokud mu nevadí nevyužitelné místo.
-
Stejné nebo větší než původní kapacita.
Jo, pokud mu nevadí nevyužitelné místo.
Nevadi, jsou nastroje, ktere umi oddil roztahnout a konkretne Raspbian na to m nejaky kram, ktery se sam spusti pri prvnim bootu a umozni oddil natahnout az do konce karty.
-
Ak máš pam.kartu naformátovanú napr.na NTFS a na nej sú fotky, a chceš tam nahrať súbor aby si ho napríklad preniesol ku kamarátovi alebo do školy na cviká, tak ho tam nahráš ako súbor. A je jedno že je to iso, ehm image disku s viacerými logickými oblasťami alebo že je to ovf s celou virtuálkou, poprípade film mkv s viacerými zvukovými stopami (originálne znenie, dabing) a viacerými titulkami (normál, pre sluchovo postihnutých). Ak ten obraz disku bude chcieť pužiť ten ktorému ho zanesieš, tak ten si ho zapíše na kartu podľa potreby, s dd.
-
Aha takze prepisuje aj MBR, rozumiem.
K ty mvelkostiam media, no ono to cele vzniklo preto lebo sa mi rasp image nezmestilo na "rovnaku" kartu, tak som musel shrinkovat cez Gperted, a orezavat cez truncate, ale vysledny "image" je mensi o 15 mega takze by sa zmestit mal - co bola uloha celej akcie.
Takze ok nemusim formatovat, dd prepisuje aj MBR. Chapem. Dakujem!
-
Btw ale rozsirim to este jednou otazkou...
PARTICIA: tajme tomu tato moje ext4 je rozlozena "POSTUPNE" na SD kartach? Ja viem ze pri HDD to bolo tak ze si sice mal akoze "data" len pol disku napriklad, ale vlastne boli aj fyzicky niekde na konci, takze ak by som "urezal" od konca disku ,tak by som data stratil ... Ale tu je to akosi inak.
Postupoval som ze : zobral som ISO, gparted som "zmensil" particiu ext4 o par mega.
PREDTYM: fat, ext
POTOM: fat, ext (zmensene) a unpartitioned
A nakoniec som to unpartitioned "odstrihol" ... normalne nasupu som dal DD sektor 1MB vypocital si kolko sektorov ma fat+ext a to dal x 1024 (dal som tusim nejake 1-2 mega navyse) a vysledok bol: ze z ISA ktoreho EXT4 aprticiu mi zmensilo, som ODSTRIHOL to unpartitiones space, lebo DD mi bezalo len "dany" pocet sektorov.
Bol postup spravny? Ci iso klientovi nabootuje zistim zajtra (na SD sa uz zmesti, je mensie, otazkou ej ci som prisiel o nejake data alebo nie) .... Bude hanba, nebude?
-
Ja viem ze pri HDD to bolo tak ze si sice mal akoze "data" len pol disku napriklad, ale vlastne boli aj fyzicky niekde na konci, takze ak by som "urezal" od konca disku ,tak by som data stratil ... Ale tu je to akosi inak.
Ne. Na disku i SD je to uplne stejne: partisna neni nic jinyho nez seznam tohodle typu:
Partice 1: 0 - 123456
Partice 2: 123457 - 234567
Partice 3: 234568 - 345678
Kdyz tu posledni srinknes, tak ten srinkovaci nastroj zaroven zmensi ten filesystem (data "setrese dolu") a zaroven zmensi tu partisnu, takze nebude koncit na 345678 ale treba 345000. Potom 345001-345678 je volny misto a zadny data na nem nejsou.
-
partisna neni nic jinyho nez
Sorry, tady melo byt "partition table".
-
Takze ok nemusim formatovat, dd prepisuje aj MBR. Chapem. Dakujem!
dd neni nastroj na prepisovani MBR, ale nastroj, ktery obecne kopiruje odkudsi kamsi, podle toho, co se mu rekne. Kdyz pustim dd of=/dev/sdaX ...., tak pochopitelne MBR zarve, ale nic mi nebrani pouzit dd pro kopirovani do souboru, pricemz MBR v pohode prezije.
-
Mirek: ok takze particia je zarukou ze OD - DO su dane data v danej aprticii a nie su roztrusene. Ok, takze urezanie natvrdo unpartitioned space by malo byt ok. Cool
Dakujem
-
Mirek: ok takze particia je zarukou ze OD - DO su dane data v danej aprticii a nie su roztrusene.
Ne, zarukou je korektnost toho nastroje, kterym jsi to shrinkoval :) V principu ti totiz nic nebrani zapsat do partition table libovolnou nekorektni hodnotu...
-
no aj som napisal ze som "shrinkoval" a este som napisal aj truncate ale to bola blbost...
co som pouzil bolo
dd OD DO 1M (velkost bloku) a X (pocet blokov)
pricom X som si vypocital z FAT particia + NTFS PARTICIA + par MB ako zaruka to v MB bolo X
(takze som "vynechal" koniec, ten unpartitioned)
-
no aj som napisal ze som "shrinkoval" a este som napisal aj truncate ale to bola blbost...
co som pouzil bolo
dd OD DO 1M (velkost bloku) a X (pocet blokov)
pricom X som si vypocital z FAT particia + NTFS PARTICIA + par MB ako zaruka to v MB bolo X
(takze som "vynechal" koniec, ten unpartitioned)
To nebylo potřeba, dd až dojde na konec zařízení prostě skončí.
-
predpokladam ze cetl z SD do image a chtel tedy aby byl image kratsi prave o to unpartitioned takze count musel pouzit... az bude nahravat z image na mensi SD, tam az teprve count nepotrebuje ;)
-
predpokladam ze cetl z SD do image a chtel tedy aby byl image kratsi prave o to unpartitioned takze count musel pouzit...
Nemusel. dd by pri zapisu hodilo chybu, ale vsechno by fungovalo spravne.
-
Inak to s tou chybou na konci a tak - ja som si tiez myslel ze to nemoze vadit lebo tam je unpartitioned space... Lenze .. okrem toho ze klient je na druhej strane sveta, tak este aj z kopia SD urobena na jeho PC potrebuje dalsiu hodinu cesty aby sme to oskusali :D no a keby som nakoniec zisitl ze to nejde koli nejakej chybe tak by ma ****. Tak som nechcel ziadne errory.
Plus: DD je fajn lebo nekontroluje velkost media, ale SW ktory klient chce pouzivat GUI na WIN, na nahravanie IMAGE na SD, to overuje a nepusti ho dalej ... A robilo ho to nervoznym :-/ a mna potom tiez
-
predpokladam ze cetl z SD do image a chtel tedy aby byl image kratsi prave o to unpartitioned takze count musel pouzit...
Nemusel. dd by pri zapisu hodilo chybu, ale vsechno by fungovalo spravne.
pokud chces kratsi image nez zdrojovej dev tak proste musis das count...
to ze jde delat image cele a pak to poslat na mensi dev je jasne, ale je to prasarna a musis pak zas pocitat jestli se opravdu nahralo vse krome unpartitioned, nebo si to spocitat a davat count pri zapisu na dev, ale porad je to prasarna, proste se to pri save udela tak aby restore bylo ciste a universalni... navic pokud pouzijes jinej nastroj na restore nez dd, kterej by si kontroloval jestli img <= dev tak by byla smula...
-
Ještě taková „drobnost“, která se mi projevuje u flashdisků.
Když chci dd-čkem zapsat bootovací iso image, tak se to povede většinou až napodruhé. Je totiž nutné napřet přepsat MBR, pak načíst změněnou geometrii disku (partprobe, nebo odpojit a připojit) a pak teprve přepsat celý disk.
-
@pet: takze 2x prikaz DD?
-
@pet: takze 2x prikaz DD?
Přesně tak, ten první může být krátký a mezi nimi je nutno renačíst geometrii (partprobe nebo vyndat a vrátit).
-
Přesně tak, ten první může být krátký a mezi nimi je nutno renačíst geometrii (partprobe nebo vyndat a vrátit).
Co to je za nesmysl? dd na ten disk nahraje data doslova bit po bitu - partition table vůbec nepotřebuje.
-
Přesně tak, ten první může být krátký a mezi nimi je nutno renačíst geometrii (partprobe nebo vyndat a vrátit).
Co to je za nesmysl? dd na ten disk nahraje data doslova bit po bitu - partition table vůbec nepotřebuje.
Přesně to bych si myslel taky, kdybych to už vícekrát nezažil. Nová fleshka a instalace iso image Gentoočka, Sabayonu nebo CentOSu nadvakrát. Avěřte mi, že opravdu vím, o čem mluvím (jen nevím, jakým mechanizmem to přesně vzniká).
-
nojo, to nesmite tu flash predtim ddckem mit namontovanou ;)
-
jo to bude ono :)
-
::)
-
nojo, to nesmite tu flash predtim ddckem mit namontovanou ;)
Jo, hoši, tááák blbej opravdu nejsem :D. U mě se vše mountuje kromě / a /home výhradně ručně. :P
-
kdyz pomoci dd delas raw zapis image na cele device, je mu mbr/partition_table ABSOLUTNE ukradene, to je fakt, pokud to tedy musis delat 2x, nehraje v tom roli obsedantne kompulzivni porucha? tva nebo te flash? ;)
-
kdyz pomoci dd delas raw zapis image na cele device, je mu mbr/partition_table ABSOLUTNE ukradene, to je fakt, pokud to tedy musis delat 2x, nehraje v tom roli obsedantne kompulzivni porucha? tva nebo te flash? ;)
Hraje v tom roli nejaká vlastnost těch flashek nebo linuxu, ale chápu, že pro dětičky je vše černobílé a nechápou rozdíl mezi šedou teorií (je mu mbr/partition_table ABSOLUTNE ukradene) a zeleným stromem života. Však až vyrostete, tak zjistíte, že existují věci mezi nebem a zemí, které tu vaši teorii budou vesele ignorovat.
Upozornění na tenhle problém s některýma flashkama zde je a ubožáci, kteří mají pocit, že sežrali moudro na tom už nic nezmění. No a já už do tohoto threadu nepůjdu, protože kecy že to, co jsem objektivně a reprodukovatelně odzkoušel, není pravda může vést jen ignorant.
-
@all: Dakujem za nazory, rozhodne otestujem :) ale PET ja som vzdy mal pocit ze informatika je cierno biela :) reprodukovatelna a opravitelna v kazdom momente. Podobne spravanie by som v nejakom plack boxe pochopil ale zdrojaky dd vonku su a hovoria nieco ine .. nj :) ale aj tak dakujem za nazor :D ak mi to nenabootuje na 1x pustim to s chladnou hlavou zas :D
-
Hraje v tom roli nejaká vlastnost těch flashek nebo linuxu, ale chápu, že pro dětičky je vše černobílé a nechápou rozdíl mezi šedou teorií (je mu mbr/partition_table ABSOLUTNE ukradene) a zeleným stromem života. Však až vyrostete, tak zjistíte, že existují věci mezi nebem a zemí, které tu vaši teorii budou vesele ignorovat.
Věci mezi nebem a zemí u flash disku tak nějak neexistují.
Za dlouhých zimních večerů možno vyzkoušet
dd if=/dev/zero of=/dev/sda bs=1M
a následně se zamyslet.
-
pet: tak ja myslel ze si jen sedis na vedeni a nedokazes hledat problem na zidli, ale uz chapu ze ses zamindrakovanej klucina ktereho se dotklo ze misto toho aby byl oslavovan ze objevil div sveta, je mu vysvetlovane ze placa blbosti, mam s GNU/Linux zkusenost cca 20let, je mi 2x tolik, a nikdy sem se v praxi nesetkal se situaci kterou popisujes :)
btw: cerna a bila = jednicka a nula, tak to v computer world opravdu chodi ;)
-
Za dlouhých zimních večerů možno vyzkoušet
dd if=/dev/zero of=/dev/sda bs=1M
a následně se zamyslet.
Tak nevim, jestli se bude zamyslet nebo si rvat vlast a planovat vrazdu.
-
Nápady nechápajících ubožáckých nevěřících dětiček jistě nemohou nijak uškodit 8)
-
Hraje v tom roli nejaká vlastnost těch flashek nebo linuxu, ale chápu, že pro dětičky je vše černobílé a nechápou rozdíl mezi šedou teorií [...] a zeleným stromem života.
Já třeba coby dlouholetý admin tohle vím mic dobře ;) Ale taky vím, že většinou pokud se něco chová jinak, než si myslím, že by se to chovat mělo, tak to má nějaký konkrétní, zjistitelný důvod. Jenom se ho prostě dost často nevyplatí zjišťovat, protože jednodušší je to prostě udělat dvakrát :)
Takže proto mě to udivilo, že se to takhle chová a docela by mě zajímalo tomu přijít na kloub. Mohl bys to nějak ověřitelně zdokumentovat? Třeba něco ve stylu:
# ls /dev/sd*
## ted jsem vlozil flashku
[...]
# ls /dev/sd*
# mount
# dd ....
# ls /dev/sd*
# mount
# dd ....
# ls /dev/sd*
# mount
Když podáš vágní informaci "chová se to divně, udělej to dvakrát", tak to nikomu k ničemu není. Pokud to zdokumentuješ, může si to kdokoli ověřit a pokud se to potvrdí, dát si na to bacha.
-
Hele vy "vodbornici" na "nektery flashky delaj..." . Je vam jasny ze po dojeti dd nedojde k vysypani diskove cache pro zapis? Kdyz delate umount tak se sync/fsync zavola. Ale kdyz blokove zapisujete ddckem tak nikoliv. Tedy alespon ve vychozim stavu. Davali jste po ddcku prikaz sync? Nastudujte si oflags=fdatasync. Dale si nastudujte za domaci ukol co dela presne sync a pozornejsi studenti necht se mrknou jeste mimo OS write buffery na ATA/SCSI command kterym se vylejva cache zarizeni.
Mne fascinuje ze lidi s evidentne pokrocilejsimi znalostmi a ambicemi v IT tohle nevedi. A co vic. Pojmy jako partition tabulka ktere patri do skolicky taky nepanimaju. Jako nemusis vedet delat slozity joiny v sql, ale tohle je naprosty zaklad. Koneckoncu i databazisti by meli vedet jak pracovat s blokovym zarizenim kdyz databaze funguje bez filesystemu primo na blokovem zarizeni.
Jak to cele souvisi se subjectem - format media? Vzdyt probirate blokove kopirovani a ne low level format media pripadne formatovani filesystemu. Sakrys partition tabulka neni format media.
Jestli s touhle urovni for na rootu budete dale takto klesat, tak za chvili nas zaplavi magma.
-
Je vam jasny ze po dojeti dd nedojde k vysypani diskove cache pro zapis? Kdyz delate umount tak se sync/fsync zavola. Ale kdyz blokove zapisujete ddckem tak nikoliv.
AFAIK pokud platí, tak jenom pro Linux a/nebo GNU dd. Pro BSD to neplatí.
-
Jestli s touhle urovni for na rootu budete dale takto klesat, tak za chvili nas zaplavi magma.
Především se tady ví, že low-level format již 15 let neexistuje a u flash neexistoval nikdy.
Proč je nutno dd dělat 2x bohužel nevíme dosud.
-
Tak jsem si řekl, že se ještě podívám, a ejhle, zdá se že už se tu začíná hovořit rozumně.
Pro ty, co se o mne a mé znalosti otírali výše: jsem dlouholetý admin, vývojář, atd s 20 letou praxí na Linuxu (30 letou s počítači v zaměstnání: DOS, LynxOS, ...) co měl na desktopu Slackware, RedHat (do verze 6.1), Suse, RockLinux a teď má už několik let Gentoo. Pro zákazníky stavíme velké systémy o desítkách počítačů, v současnosti vše na Gentoo. Jo, a tenhle nick jsem začal používat v zaměstnání nekdy v r. 1985.
Problém, o němž jsem hovořil, jsem zpozoroval na několika různých flashkách, např na této: https://www.alza.cz/kingston-datatraveler-micro-16gb-cerny-d324462.htm (https://www.alza.cz/kingston-datatraveler-micro-16gb-cerny-d324462.htm) (na barvě nezáleží, zda záleží na kapacitě, nevím).
Když jsem na novou nepřeformátovanou flashku (data na ní nějaká být mohla, ale nesmi se sahat mimo původní particii) nahrál iso instalačku např. Sabayonu či Gentoo (teď si nejsem jist jestli se některá nemusí napřed ošetřit pomoci isohybrid), tak nebootovala, při kontrole v počítači na ní byly nesmysly, a po dalším přepsání toutéž iso imagí už fungovala. Další přepisy pak už stačí dělat jen jednou.
Osobně typuji, že se jedná o nějaky trik v té flashce, možná pro lepší využití kapacity. U starších flashek s malou kapacitou, disků a FC jsem na to nenarazil, jiná média (SD, MS,...) jsem nezkoušel.
-
K původnímu dotazu: Protože jsem radil již v předchozím tématu (předpokládám, že jde o stejného člověka), tak bych rád slyšel, jak to nakonec dopadlo.
OtazkaDD: Takže jsi vzal ten image, pomocí gparted jsi změnšil oddíl ext4, tím Ti vzniklo za oddílem ext4 volný místo, který jsi "odstranil" tak, že jsi dd-čkem vykopíroval jen data od 0 do XY sektoru (kde XY je poslední sektor oddílu ext4)? Pokud jsi to udělal takhle, mělo by vše být funkční. Pokud to chceš ověřit, lze si spočítat začátek ext4 sektoru a z toho výsledného image ten sekto namountovat (pomocí toho spočtenýho offsetu). Pokud při mountování nebude řvát chyby, měl bys být ok. Pokud bych třeba já chtěl jistotu, asi bych si nechal udělat MD5 všech souborů na ext4 z původního image a z nového (změnšeného image). Ale to už je možná trochu paranoidní :-)
Ideální by samozřejmě bylo vzít nějakou SD kartu, dd-čkem na ní ten zmenšenej image nahrát, vrazit jí do RPi a zkusit... V zásadě bys ale měl fungovat, na postupu asi nebylo nic špatně.
Jestli už to je otestovaný v provozu (dnes je 27. takže by mělo být), tak napiš, jestli to jede. Poučení pro příště: Vždy udělat oddíly tak, aby zbylo nějaké volné místo. Nikdy totiž nevíš, jak se bude chovat médium o "stejné" velikosti jiného výrobce nebo jiné série ;-) Já radši ze stejného důvodu obětoval trochu místa při vytváření RAID1.
-
ahoj pavouk, ano ano ide o toho isteho cloveka a ano urobil som to presne tak ako si pisal. dnes okolo 16 mam naplanovanu session, kde mam cas ja aj klient tak to rovno otestujeme a urcite dam hned vediet. ide o to ze klientovi to slape ale minule ked som robil neico na raspberry tak z nicoho nic bolo vsetko len read-only a niekde som sa docital ze to rpi robi aby ochranilo data ked narazi na nieco co indikuje problem ys filesystemom ...
vtedy som prace prerusil (nahraval som mu update) a povedal ze pokracovat budeme az budem mat vytvorene a otestovane zalohy pre pripad katastrofy .. on s tym bol ok, a najblizsi spolocny cas sme si nasli az dnes :)
-
OtazkaDD: Možná to tu padlo už v tom minulym tématu - read-only se prý údajně mají zamykat samy karty, když už ví, že jsou na tom špatně (moc zápisů) a mohlo dojít k porušení dat. Možná je to "jedna paní povídala", já to jen předávám, jak jsem někde nabral. Teoreticky by to znamenalo, že nová karta odejde brzy stejnym způsobem... Nezapisuje na ní klient data (nějakou statistiku = časté zápisy)?
Každopádně dej pak vědět, jsem celkem zvědavej. Vždycky, když se řeší takový věci jen na dálku psaním zpráv na foru, může to dopadnout všelijak :-)
-
No klient to ma ako zariadenie ktore bezi 5 hod denne a zbiera data, ale moc nezapisuje skor porovnava .. ja nevie mpovedal by som nieco ako automaticka zahrada ... ziadne vela zapisov na kartu .. sedi mu tam jedne program (JAVA :-/) a ten frci ale logy ani statistiky neuklada
-
co treba takto
F=./speedtest
C=1000 # 1GB
dd if=/dev/zero of=$F bs=1M count=$C oflag=direct conv=fdatasync
dd of=/dev/null if=$F bs=1M count=$C iflag=direct
-
Inak preco som vobec zalozil toto tema:
http://goo.gl/PgvGbm
Tam pisu v stepe pred nahravanim image, ze treba format media FAT16... Tak sa mi to nezdalo..
No klientov isa to uz kopiruej na flashku :P tak uvidime
-
jojo :D krasne nabootovane na PRVY pokus (s tym ze ked mi uz DD envratilo "end of device" som vedel ze som ok) ;) mimimimimimimimimmi
super super tesim sa a dakujem za spolupracu :)
-
Inak preco som vobec zalozil toto tema:
http://goo.gl/PgvGbm
Tam pisu v stepe pred nahravanim image, ze treba format media FAT16... Tak sa mi to nezdalo..
Tak to by mne take zajimalo. Nejdrive to naformatuji na FAT a pak to prevalcuji obrazem, vcetne tabulky oddilu. Krome toho, kdyz koupim SD, tak uz je typicky na FAT naformatovana.
-
Toho si nevsimejte, bude to nejakej Matěj, zapisuje 8GB tri hodiny a nenapadne ho pouzit bs=1M, na mackovi myslim se dava 1024k, M to jejich bsd dd jeste nezna
-
OtazkaDD: Od toho tady to forum je ;-) Jinak dd, jak tady bylo několikrát řečeno, vezme vstup a nahraje ho do výstupu. Co je vstupem a co výstupem, to je mu jedno. V tomto použítí jsi zálohoval celou SD kartu (včetně MBR, tedy oddílů i souborových systémů na nich). Tím pádem při nahrávání toho image zpět na kartu nemusíš s kartou předtím nic dělat, nahraje se i rozložení karty i souborový systémy.
-
Jop :-) pochopene a dakujem este raz :-))
-
M to jejich bsd dd jeste nezna
Ale zna, akorat se pise maly:
Where sizes are specified, a decimal, octal, or hexadecimal number of bytes is expected. If the number ends with a ``b'',
``k'', ``m'', ``g'', or ``w'', the number is multiplied by 512, 1024 (1K), 1048576 (1M), 1073741824 (1G) or the number of
bytes in an integer, respectively. Two or more numbers may be separated by an ``x'' to indicate a product.
-
milibyte, to mne nenapadlo ;D