Sháním vadné SSD k vývoji lepšího

[RDa]

Chyby se proste stavaj. Data pak co nejdrive prelej nekam jinam a mas to. Neres nesmysly. Pouzit RAID10 bude vyhodnejsi nez lepit svuj vlastni SSD.

Dvakrat vetsi spotreba a dvakrat vetsi rozmer? To neni reseni.

Udelat si vlastni otevrene reseni ma smysl (taky snad pouzivate linux namisto jineho OS z duvodu toho, ze vite co je uvnitr). Muzeme mit obvody v RAID5 nebo 6 - nejmensi narust rozmeru a spotreby. Navic pri pristupu ke kazdemu cipu muzeme ridit co kam pujde - rozkladat radky nebo snimky tak, aby pri ztrate treba pulky pole slo obnovit obraz alespon s polovicnim rozlisenim, nebo polovicnim fps pri HFR snimani.

[Reklama]

[RDa]

Dovolím si zopakovat několik faktů:
- řadiče na desce jsou připojené pomocí JEDNÉ PCIexpress x1 linky
- propustnost PCIexpress 3.0 x1 je 1 GB/s v jednom směru (nové desky, staré desky mají jen 500MB), takže je uzadeke, kolik disků tam připojíš a jak budou rychlé, protože víc než 1GB/s do toho stejně nedostaneš
- ale jistě můžeš použít PCIexpress x4 řadič, ten má teoretickou propustnost až 4 GB/s

Nejsou. "Radice" na desce (reseni Intel) jsou pripojeny pres DMI, coz je ekvivalent x4 PCIe Gen2 = 2GB/s. Ale nekde uvnitr je tam jeste uzke hrdlo, protoze pri cteni z vice disku to neda vic nez 1.2GB/s. Pri zapisu to bude podobne, at mate tech sata portu treba 6.

PCIe x1 gen3 radice neexistuji.

A jedna se o kameru, o rozmeru 12x12x12 cm, ne o standardni PC.

[Bla]

Pánové, RDa dobře ví, o čem mluví, zabývá se tím několik let a má skvělé výsledky.

Výsledky?
Zatím vidím jen to, že nemá páru o tom, že skrz PCIexpress 1x dva a půl gigabajtu neprotlačí ani omylem.
A taky vidím to, že na to jde stylem "když to nejde opravit kladivem, udělám si kladivo větší".
SATA 6 je jen mokrý sen, protože i kdyby použil několik SATA 6, tak pořád před to bude muset vrazit extra řadič.
Tj. je to kravina.

Pokud chci zpracovat data, která jsou přes hardwarové limity, musím na to jít chytře.
Byť přiznávám, hodně vytrvalých tupců uspělo i s tím "větším" kladivem.

Kdybych měl řešit danou úlohu sám, mám dvě možnosti:
A) Změnit zadání úlohy tak, aby se dala realizovat pomocí existujícího HW.
B) Upravit úlohu tak, aby jí existující HW dostačoval.

Netuším, jakým způsobem do toho počítače rve ty dvě a půl gigabajtu dat, přes USBčka těžko, protože USBčka budou nejspíš bydlet na stejné sběrnici jako diskový řadič, což je PCIexpress 1x, takže v jistém smyslu ...ano...to bych rád věděl, jak do toho pecka těch dvě a půl gigabajtu dat vůbec dostává. Ale je tu možnost zpracování a dost možná nejlépe grafickou kartou.
Možná natáčí něco vůči bílému pozadí, tam by třeba šlo vynechávat duplicitní bloky, což by mohlo poněkud zkrotit datový tok.
Možná natáčí porno, tam ale netuším, proč to potřebuje bezeztrátově, no, komprimování porna není můj obor.
Uložit cca 1 až 2 GB dat/s není vážnější problém a je to realizovatelné levně, předpokládá to velkou ram, která bude sloužit na vyrovnávání občasných zamyšlení disku a dvě řadiče. Lacino půjde uložit cca 1gigabajt za vteřinu, ty dvě giga jsou už trochu problém.
Pokud nechceš snímky distribuovat, což by byl problém sám o sobě s ohledem na cenu a propustnost 10GB adaptérů, stejně ti nezbývá nic jiného, než:
A) vyrobit si vlastní PCIexpress 4x 3.0 kartu, což je z té uvedené kategorie vlhkých snů
B) jít cestou více řadičů, každý obývající vlastní PCIexpress 1x slot.

Zkrátka a jednoduše, začít vyrábět vlastní "SSD" disk, když nemám páru o tom, jak je to v pecku zadrátované, je dle mého názoru nedoukovina. Ale prosím, rád si poslechnu, jak chce těch dvě a půl gigabajtu dostat na to rozhraní toho SSD disku, třeba mi něco uniká.

[RDa]

Netuším, jakým způsobem do toho počítače rve ty dvě a půl gigabajtu dat

Senzorova hlava je x8 PCIe gen2. Do "pocitace" to nejde - cela kamera je system sam o sobe - je mozne v nem vyuzit standardni PCIe komponenty, ale karty nemaji tvar desktopovych PCIe karet, takze vse navrhujeme po svem. Hlavne kvuli tomu, ze chlazeni je zcela pasivni. K dispozici je 6 slotu, kazdy max x8 gen2 (gen3 bude pozdeji), objemove 110x100x15mm.

A) vyrobit si vlastní PCIexpress 4x 3.0 kartu, což je z té uvedené kategorie vlhkých snů

Dnes to neni zadny sen (x8 gen 2.0 nam udela stejnou sluzbu a levneji), chybi jen ty pameti.

[1Bla]

Nejsou. "Radice" na desce (reseni Intel) jsou pripojeny pres DMI, coz je ekvivalent x4 PCIe Gen2 = 2GB/s. Ale nekde uvnitr je tam jeste uzke hrdlo, protoze pri cteni z vice disku to neda vic nez 1.2GB/s. Pri zapisu to bude podobne, at mate tech sata portu treba 6.

PCIe x1 gen3 radice neexistuji.

A jedna se o kameru, o rozmeru 12x12x12 cm, ne o standardni PC.

Rozdělme si to.
Ad řadič: říkejme tomu třeba HABUBABLA, ale je to připojené přes PCIexpress 1X linku.
Ad PCIexpress v3.0 řadiče: Samozřejmě jsou a prodávají se: http://www.areca.com.tw/products/1882.htm

Ad kamera: Pokud jsou data komprimovatelná, uvážil bych třeba Thunderbolt, dostal to do grafické karty a tam z těch dat ořezal všechno, co není nezbytně nutné.

[Reklama]

[RDa]

Zkrátka a jednoduše, začít vyrábět vlastní "SSD" disk, když nemám páru o tom, jak je to v pecku zadrátované, je dle mého názoru nedoukovina. Ale prosím, rád si poslechnu, jak chce těch dvě a půl gigabajtu dostat na to rozhraní toho SSD disku, třeba mi něco uniká.

Tak zaprve, tim tvym tvrzenim ze v PC je vse na x1 jsi hodne mimo a pochybuji ze neco o fungovani PC vic.

Data na uloziste dostaneme stejnym zpusobem jako od snimace - pres PCIe. Lze to resit 2-3 zpusoby:

1) pouzit x4/x8 sata/sas radic + 8x sata disk = 25-40 W
2) pouzit pcie switch + 8x pcie x1 na sata + 8x sata disk = 20-30W
3) udelat vlastni pcie ssd disk = fpga + hromada flash pameti = 5-10W

Vlastni reseni #3 ma vyhodu v tom, ze jede vse "nativne" a nejsou tam vubec zadne nepotrebne rozhrani ktere by jen spotrebovali energii. Jedina vyhoda reseni #1 a #2 je, ze to lze ubastlit rychleji, #2 vyzaduje sw raid, #1 muze byt hw raid.

[RDa]

Rozdělme si to.
Ad řadič: říkejme tomu třeba HABUBABLA, ale je to připojené přes PCIexpress 1X linku.

Zdroj informace? Radeji si precti jak se to doopravdy dela: http://en.wikipedia.org/wiki/Direct_Media_Interface

Ad PCIexpress v3.0 řadiče: Samozřejmě jsou a prodávají se: http://www.areca.com.tw/products/1882.htm

Jedna se o x8 kartu, ne x1. Precti si muj a tvuj prispevek vyse.

Ad kamera: Pokud jsou data komprimovatelná, uvážil bych třeba Thunderbolt, dostal to do grafické karty a tam z těch dat ořezal všechno, co není nezbytně nutné.

Data nejsou bezztratove komprimovatelna. Thunderbolt je opruz po strance licencni a poskytuje jen polovicni pasmo nez mame ted, tak proc do toho jit? Hlavne nejde o to dostat data z kamery do PC, ale ZAZNAMENAT je necim, co moc nezere a vejde se do maleho objemu (vlastni custom SSD).

[Bla]

AD SATA - mluvím o přenosové kapacitě ~1 resp. ~2 GB/s (tj. ekvivalentu PCIexpress 3.0 x1) u desktopových procesorů, tj. maximum co dostaneš až k Sata diskům. Fyzické zadrátování je vedlejší. Nerad bych, aby to bylo špatně pochopeno, byť jsem to nešikovně napsal, že k disku dostaneš maximálně 250mega, opravdu jsem mluvil o ekvivatelntu PCIexpress 3.0 x1 sběrnice.

A také nemluvím o serverových procesorech, které mohou mít a zpravidla mají jiné vlastnosti.

Protože s Xeonem E5450 jsem k diskům víc dostal.
http://ark.intel.com/products/33083/Intel-Xeon-Processor-E5450-12M-Cache-3_00-GHz-1333-MHz-FSB

[Bla]

Abych jen nehanil, můžu zkusit propustnost s čipsetem Z97 a Haswell Refressh i7 čipem (bohužel jen 1150), jestli se polepšili.
Naposledy jsem to testoval s i7 960.
Každopádně výsledek s X99/Intel Core i7-58x0K by byl zajímavější.
Intel má totiž v oblibě škrtit laciné procesorové řady.   

Ale ani tak nebude vyhráno, na té sběrnici toho je pověšeného dost na to, aby přerušení vyvolané nějakým čertem způsobovalo výpadky.

[jenda]

kompresi nenutim, ja bych to bez ni nedelal. komprimovat se da vsechno, zalezi na I/O pozadavcich.
algoritmy na nejnovejsi video standardy existuji,ale tezko/draho dostupne.
CUDA to zvladne hrave,ale ne pod 400+ W a ne v 12 x 12 x 12 cm.
drzim pesti vasemu nadseni, ale moje zkusenost s beznyma ssd nic moc.
Z mene nez 10 uz 3 umrely uplne,ctvrty zacal nejak pomalu zlobit,data jeste pustil.
ale jen jeden byl po zaruce, zakosovi to nevadi, takze je vas : apacer a7 pro 64 GB,
kdyz tak xdrz@centrum.cz
preju Vam at Cameron vyhodi svoje red-1 kamery a koupi ty Vase, at mame druheho avatara v 4k@240fps
PF 2015 !

[RDa]

Diky, napsal jsem email.

Ohledne komprimace, zde maji kalkulacku: http://comprimato.com/ - nejvykonnejsi grafiky jen tak tak daji realtime 4k. Je to sice relativne nenarocne na vyvoj, ale efektivita na watt je mizerna (RED ma rozhodne uspornejsi asicy, ale to si do desktopu nedate). Efektivneji vychazi hardbloky na h264 enc/dec v grafice/cpu, ale to neni pouzitelne na raw, ani profesionalni vystup (omezeno na 8bit)... takze se to hodi jen na proxy soubory nebo streamovani nahledu.

[slavo t]

Mozete prezradit, ake flash cipy chcete pouzit? Bezne cipy maju tak 25MB/s. To k pozadovanym 2GB/s ma hodne daleko. Ak aj zozeniete nieco lepsie, tak sa dostanete k 40MB/s a viac ako 50ks aktivnych cipov. Momentalne si z hlavy nepametam spotrebu, ale pri cca 0.5W/cip sa imho do 10W nedostanete.

[h7]

Řekněme, že chceme zaznamenat ve vysoké kvalitě něco neopakovatelného, na čem nám opravdu hodně záleží. A máme na to finanční prostředky. Proč bych to zaznamenával na nějaké SSD, ze kterého se možná nějaká data dají snadněji dostat, pokud odejde specifickým způsobem (typicky překročení počtu zápisů, nikoli totální úmrtí z jiného důvodu), a nezaznamenával bych to na klasické SSD disky ve více kopiích (nebo se samoopravujícími kódy), kde mám pravděpodobnost, že ta data z toho dostanu, mnohem větší? Navíc obnova by se musela dělat v nějaké laboratoři a nikoli uživatelsky přívětivým způsobem.

[Ondrej Nemecek]

Proč bych to zaznamenával na nějaké SSD, ze kterého se možná nějaká data dají snadněji dostat (...) a nezaznamenával bych to na klasické SSD disky ve více kopiích (nebo se samoopravujícími kódy), kde mám pravděpodobnost, že ta data z toho dostanu, mnohem větší?

Na to tazatel už odpověděl: u toho vlastního SSD si uloží kopie přesně dle potřeby (rendundance/rozložení dat, aby šlo vždy obnovit celý záběr např. v poloviční fps nebo rozlišení atd). Prostě má volnou ruku, na tom není nic těžkého pochopit!

[Miramel]

Celé mi to přijde jako hovadina a bla je popisu řešení asi nejblíž, ale ani on se nezeptal, co to je!
Kolik vteřin nebo minut chcete uložit?
Je to jednoúčelové zařízení, nějaká družice nebo to chcete dát do mičudy na příští mistrovství světa?
Pro určení nejvhodnějšího postupu tato informace chybí.
Takže hošani, co to kutíte?
Co to přibližně má dělat?

Pokud chcete natáčet bourající auto, štípání polen, louskání ořechů, dostaňte to nejdřív do počítače, tam by ten navrhovaný Thunderbolt mohl udělat svou práci, nehledě na to, že Intel pořádně neví, co s tím a dost možná by vás i nějak podpořili.

Ostatně mohlo by to mohlo jít třeba do X různých pecek, každý snímek jinam, takže ani ztráta jedné řady snímků by nepředstavovala zásadní problém. Rozdělení problému na dílčí úseky je dobré řešení.