Sháním vadné SSD k vývoji lepšího

[RDa]

Zdravim takto o svatcich - shanim vadne SSD disky se zamerem navrhnout vlastni disk s dokumentovanym FTL, tj. s moznosti obnovy dat pri selhani nekterych bunek. A take lidi kteri by meli zajem se podilet na sw realizaci (ftl, ecc). Vim ze existuje openssd-project, ale ten hw neni dostupny pro bezne lidi.

Primarni cil je rychle uloziste pro nasi 4K kameru s nekomprimovanym zaznamem (hodne sekvencnich dat) a pak z toho udelat obecne uloziste treba s PCIe nebo SATA rozhranim. Kdo jde do toho a kdo nas podpori?

Viz: http://diit.cz/clanek/ssd-even-deeper-hell-pitva - pameti i z mrtveho SSD jdou cist, ale nikdo vam dokumentaci k rozlozeni dat neposkytne

[Reklama]

[jenda]

no prave,nejake mrtvoly nekde lezi,ale od zakosu, buhvi, co tam je za data, do sveta nesmi.
jak vidim FTL vybavi se mi faster-than-light ale to bude asi z jine pohadky
nekomprimovane 4k je dobre zverstvo - k cemu to ma byt dobre ? na kompresi jsou cipy na h.264 a dekompresi i h.265, na kompu muzete pouzit nvidia/cuda,hral jsem si s tim pred x lety, tak proc plytvat mistem ?

[RDa]

Data z cipu na SSD tezko obnovis.. to je duvod proc chci udelat vlastni (jen USB klicenky ukladaji plaintext).

Tak nekomprimovane 4K je kvalitativne o nekolik levelu vyse... je tam videt vse - treba i prirozeny sum senzoru (kdy odstin pak osciluje mezi ruznymi hodnotami). Duvod proc jit do nekomprimovaneho zaznamu je prosty - uloziste se skaluje omnoho lepe nez kompresni jadra. Muzeme generovat cca 2-3 GB/s a pro ulozeni postaci "par disku v raidu", ale jestli to chces prohnat kompresi (4K/240fps) tak na to reseni neexistuje, nemluvne o spotrebe kolem 100W pro asic reseni. A vysledek by za to nestal - zdrojova data jsou 12bit, to zadna h264/h265 komprese nezvladne.

[Miramel]

Pokud jsi pisatel tohoto článku: http://diit.cz/clanek/ssd-even-deeper-hell-pitva/detektivni-prace-zpetneho-inzenyra

Pak nerozumíš rozdílu mezi KOMPRESÍ A ŠIFROVÁNÍM.
Hodinky nebo holínky, obojí se natahuje viď.

Data z SSD samozřejmě obnovit lze, několik firem i tady v ČR přišlo na postup, jak jsou data komprimována.
http://www.zachrana-dat-ssd.cz/

•Vybavili jsme laboratoř novým zařízení pro pájení BGA čipů

Chtěl bych je vidět, jak by rozlouskli data šifrovaná i starým blbým AES 128 
Tím nechci tvrdit, že neexistují SSD, která data šifrují, dokonce náhodou tvoje Intel 320 SSD data šifruje - jako jedna z hodně mála!
Pokud nemáš nastavený ATA lock, pak jsou klíče k rozšifrování disku v "plaintextu" na začátku disku.
Pokud MÁŠ nastavený ATA lock, pak jsou klíče k rozšifrování disku zašifrována tímto heslem.

Zatímco ATA lock je uložený přímo v řadiči a jen tak se k němu nedostaneš, tak (nařízení NSA) klíč k rozšifrování disku je uložený právě na začátku.

Důvod, proč je to takhle, je docela prostý.
Při změně ATA locku není nutné "přešifrovat" celý disk změněným heslem, ale jen ten jeden samotný klíč.
A kdybys o tom něco věděl, tak si AES heslo stáhneš a data si poměrně hodně jednoduše rozšifruješ.

Dokud nepochopíš rozdíl mezi šifrováním a komprimováním dat, nemá smysl s tebou o tom diskutovat.

[Mirek Prýmek]

Dokud nepochopíš rozdíl mezi šifrováním a komprimováním dat, nemá smysl s tebou o tom diskutovat.

Na to ze vubec nevis, s kym mluvis (jestli je to tentyz clovek), tak jsi se ale pekne rozhonil )

[Reklama]

[OMG]

Data z cipu na SSD tezko obnovis.. to je duvod proc chci udelat vlastni (jen USB klicenky ukladaji plaintext).

Tak nekomprimovane 4K je kvalitativne o nekolik levelu vyse... je tam videt vse - treba i prirozeny sum senzoru (kdy odstin pak osciluje mezi ruznymi hodnotami). Duvod proc jit do nekomprimovaneho zaznamu je prosty - uloziste se skaluje omnoho lepe nez kompresni jadra. Muzeme generovat cca 2-3 GB/s a pro ulozeni postaci "par disku v raidu", ale jestli to chces prohnat kompresi (4K/240fps) tak na to reseni neexistuje, nemluvne o spotrebe kolem 100W pro asic reseni. A vysledek by za to nestal - zdrojova data jsou 12bit, to zadna h264/h265 komprese nezvladne.

nekomprimovane!=RAW... jenom pro jistotu, protoze nekomprimovane 4K a lossless komprimovane 4K je to same z pohledu kvality, z pohledu mista je to samozrejme o necem jinem. Reseni pro ukladani RAW 4K videa je nekolik, cenove se ale bavime o nekolik desitkach tisic EUR... Jinak nic ve zlym, ale proc si myslis, ze 1 clovek udela reseni lepsi/levnejsi nez treba 50 lidi u Sony pracujicich full time? Doporucuji se podivat po internetu, nekolik projektu existuje, ale ukladat RAW nekomprimovane je momentalne porad cenove nedostupne i pro profesionalni produkce.

[Bla]

2:

Oba máte pravdu.
Mimo to, nekomprimované, jsou komprese ztrátové a bezeztrátové, na bezeztrátové nevidím nic špatného.

Hodinky nebo holínky, obojí se natahuje viď.[/b][/u]

Tak nějak.

1 snímek v RAW / TIFF má tak 20-30MB.
Na 1 vteřinu jich potřebuješ 25, tedy 25 snímků po 20 MB = 500MB na sekundu záznamu.
Tady je nějaká kalkulačka: http://web.forret.com/tools/video_fps.asp?width=4096&height=2160&fps=24&interlace=on&depth=12&title=Digital+Cinema+4K

IMHO: Kdyby RDa něco tušil o flash pamětech, tak by věděl, že zápis je řádově pomalejší než čtení, takže tam těch čipů bude potřeba vážně hodně a bude to mít dost malou kapacitu.

Ukládat 250-400MB za sekundu zvládne pole, které poskládám z dílů z Aukra bratru za dva litry a bude mít kapacitu řádově v jednotkách TB.

[OMG]

2:

Oba máte pravdu.
Mimo to, nekomprimované, jsou komprese ztrátové a bezeztrátové, na bezeztrátové nevidím nic špatného.

Hodinky nebo holínky, obojí se natahuje viď.[/b][/u]

Tak nějak.

1 snímek v RAW / TIFF má tak 20-30MB.
Na 1 vteřinu jich potřebuješ 25, tedy 25 snímků po 20 MB = 500MB na sekundu záznamu.
Tady je nějaká kalkulačka: http://web.forret.com/tools/video_fps.asp?width=4096&height=2160&fps=24&interlace=on&depth=12&title=Digital+Cinema+4K

IMHO: Kdyby RDa něco tušil o flash pamětech, tak by věděl, že zápis je řádově pomalejší než čtení, takže tam těch čipů bude potřeba vážně hodně a bude to mít dost malou kapacitu.

Ukládat 250-400MB za sekundu zvládne pole, které poskládám z dílů z Aukra bratru za dva litry a bude mít kapacitu řádově v jednotkách TB.

Vyuziju tveho linku: http://web.forret.com/tools/video_fps.asp?width=4096&height=2160&fps=60&space=raw&depth=12

Prosim o link na diskove pole za 2 litry ktere zvladne treba hodinu zaznamu 4K v 60fps RAW pri datovem toku 6,37 Gbps

[Bla]

To nevím, moje pole za dva litry zvládá datový tok okolo 3,6Gbps 

http://imgur.com/BpFGE2v

To na 25FPS bude tuším stačit, celková kapacita je necelé tera.

[jenda]

zaujalo me to 4k/240 fps - sice mi to prijde zbytecne moc, ale asi to bude nejakej bezva tunel projekt z dotaci, tam se na nejakou korunu nehledi, tak proc se trochu nerozmachnout

pro orientaci v terenu - iphone 6 plus nahrava 720p @ 240 fps, takze vlastne staci 6 ajfounu + nejaka optika, a je to hotovy i se snimanim a ukladanim

h.264 kompresi na kompu date v realtime za mesic, pravda, bude to zrat spis 400w +

bezeztratove jsem nezkoumal,ale gugl najde : http://lmgtfy.com/?q=4k+loseless+codes

[RDa]

Pro vsechny negativisty - 4K kameru s nekomprimovanym zaznamem jsme si postavili from scratch. A nahrava to 4k/24fps @ 16bit zatim (400MB/s), na pole ze dvou 240GB SM843T v RAID0. Dalsi krok bude nasazeni pcie disku XP941 - 900MB/s by melo postacit na 60fps.

Ale ani jedno z reseni nezaruci ze data pujdou obnovit pri selhani radice - bude tam zaber za X milionu nebo zaber neopakovatelny - co s tim pak? Proto chci udelat vlatni disk.

Nez zacnete psat sve blaboly, ujasnete si velikost dat. Pri 4k se jedna o cca 8MPx x 10 nebo 12 bitu tj 10 az 12 MB soubor na frame. Jestli tak prosazujete kompresi, ukazte mi lossless algoritmus, ktery realtime dokaze zpracovat 2000 MB/s dat... realna komprimovatelnost dat je pri lossless cca 60-80% puvodnich. A znova - pri jake energeticke narocnosti? Zadna komprese neni efektivnejsi, nez adekvatne vetsi a rychlejsi uloziste zalozene na flash pametich.

[RDa]

zaujalo me to 4k/240 fps - sice mi to prijde zbytecne moc, ale asi to bude nejakej bezva tunel projekt z dotaci, tam se na nejakou korunu nehledi, tak proc se trochu nerozmachnout

Nebudes verit, ale delame to z vlastni iniciativy a vlastnich zdroju.

pro orientaci v terenu - iphone 6 plus nahrava 720p @ 240 fps, takze vlastne staci 6 ajfounu + nejaka optika, a je to hotovy i se snimanim a ukladanim

Mel jsem cest s 4K zaznamem z Galaxy S5... cca na urovni youtube v 1080p. Lidi maji dneska hodne zkreslene predstavy o rozliseni - hlavne ztratova komprese ti ihned odstrani vsechny jemne detaily.

A pak je tu dalsi nesvar typu rolling shutter - podstatne to omezuje tvurci moznosti a kdyz si kameraman neda pozor, je z toho na bliti. My mame volitelne rolling / global shutter (v GS to sumi vice ale obraz se nedeformuje pri pohybech kameru nebo sceny).

[to_je_jedno]

Chyby se proste stavaj. Data pak co nejdrive prelej nekam jinam a mas to. Neres nesmysly. Pouzit RAID10 bude vyhodnejsi nez lepit svuj vlastni SSD.

[Bla]

No, mám lepší věci na práci, než se tu s vámi drbat hovada nevzdělaný

Dovolím si zopakovat několik faktů:
- chceš ukládat 12MB * 240 FPS = tj. ~2.5GB/s slovy 2.5GB za vteřinu
- propustnost SATA 6 portu je 6 Gb/s tj ~600 MB/s
- řadiče na desce jsou připojené pomocí JEDNÉ PCIexpress x1 linky
- propustnost PCIexpress 3.0 x1 je 1 GB/s v jednom směru (nové desky, staré desky mají jen 500MB), takže je uzadeke, kolik disků tam připojíš a jak budou rychlé, protože víc než 1GB/s do toho stejně nedostaneš
- ale jistě můžeš použít PCIexpress x4 řadič, ten má teoretickou propustnost až 4 GB/s
- x4 PCIexpress verze 3.0 řadič bude stát víc než ty rozebranej na drůbky a prodanej do Číny

Howg.

PS: Pole za dva litry uloží skutečně těch 400-500MB/s a za ty dva litry se dá sehnat včetně řadiče, stačí si jen počkat.

A netvrdím, že je nemožné ty data uložit, naopak je to prosté, stačí těch polí použít víc a vhodně je škálovat.
Ještě úplně mimochodem, napsat ovladač pro bezztrátovou kompresi na grafické kartě bude tuším o řád jednodušší, než vyrábět megapole s vlastním firmwarem.

[Mirek Prýmek]

Pánové, RDa dobře ví, o čem mluví, zabývá se tím několik let a má skvělé výsledky. Rady, které jste si právě teď vycucali z prstu, si myslím celkem v klidu můžete nechat od cesty. RDa vás poprosil, jestli nemáte nějaký plonkovní ssd disk. Co s ním dělat už nechte na něj...

Já bohužel žádný nemám, jinak bych ho na tenhle projekt s radostí daroval, sorry, RDa.