Fórum Root.cz
Hlavní témata => Hardware => Téma založeno: Kit 23. 08. 2018, 20:58:33
-
Počítače se propojují různými technologiemi. Obvykle se nabízí Ethernet, ale ten u RPi Zero chybí. Zbývá USB, GPIO a HDMI. Které a jak byste využili k propojení do clusteru či gridu?
-
https://hackaday.com/2016/01/25/raspberry-pi-zero-cluster-packs-a-punch/
-
https://hackaday.com/2016/01/25/raspberry-pi-zero-cluster-packs-a-punch/
To jsem četl, ale vadí mi tam ta (podle mne zbytečná) emulace Ethernetu s potřebou externího switche. Hledám něco kompaktnějšího, např. přes GPIO nebo přinejhorším USB.
-
Ja tohle resim s jinou deskou a nic praktictejsiho nez ethernet me nenapadlo. Vzhledem k minimalnim prenosum ktere tam planuji mit mi reseni se switchem vyhovuje. Da se udelat seriova linka, I2C atd ale tohle v clustru efektivne nevyuzijes. Treba ale nekdo ma jiny napad.
-
Nad podobnym poblemem jsem dumal s Tegra X1/X2. Jak NV tak BCM v RPi ma CSI/DSI rozhrani, takze by sel udelat driver ktery by zajistoval RDMA skrze tohle a pak v hardware by bylo mensi ci vetsi fpga provadejici vlastni switching fabric pro vsechny zucastnene, pripadne routovani mezi skupinama nodu. Alternativne lze vyuzit HDMI+CSI kdyz se mezi ne vlozi spravny prevodniky - ale to budete mit jen 2 nody.
Jaky pocet nodu uvazujes a jake jsou prenosove naroky (rychlost, latence) ?
Co na tom hodlas provozovat za aplikaci?
Potrebujes opravdu cluster (s nizkyma latencema), nebo by ti postacil cloud (propojeni pres ethernet) ?
-
Jaky pocet nodu uvazujes a jake jsou prenosove naroky (rychlost, latence) ?
Co na tom hodlas provozovat za aplikaci?
Potrebujes opravdu cluster (s nizkyma latencema), nebo by ti postacil cloud (propojeni pres ethernet) ?
Chci začít se čtyřmi nody pro zkoušku a pak se uvidí. Chci na tom provozovat simulaci neuronové sítě, ale spíš jen tak pro zábavu. Ethernet bych chtěl vyloučit kvůli minimalizaci externích komponent.
Ja tohle resim s jinou deskou a nic praktictejsiho nez ethernet me nenapadlo. Vzhledem k minimalnim prenosum ktere tam planuji mit mi reseni se switchem vyhovuje. Da se udelat seriova linka, I2C atd ale tohle v clustru efektivne nevyuzijes. Treba ale nekdo ma jiny napad.
I2C vypadá jako dobrý nápad, ještě lepší by mohl být SPI. Díky za inspiraci.
-
Co uart? Pri trose snahy se da jet i multimaster, stejne, jako IIC (u toho ale nevim, zda to na PRI umi CPU a kernel driver).
Nebo USB, pokud implementace umoznuje Device mode (ale urcite na na plnem RPI, spis na ZERO, kde to jde z procesoru primu].
https://www.raspberrypi.org/forums/viewtopic.php?t=129653
Takze bys je pripojoval jen do hubu, jeden nechal jako ridici...
-
Takže něco jako https://clusterhat.com/ ?
-
Kite, kolik chces mit ve finale tech rpi v clusteru? Jakkoliv se zamyslim u toho sveho projektu, tak pouziti eth mi vychazi u vetsiho mnozstvi jako nejrozumnejsi. Automatizace deploymentu, komunikace, monitoring, vse standardni veci ktere bych v pripade nejakeho serioveho spojeni musel ohybat. Ja treba potrebuji mit k dispozici moznost deploymentu (v soucasnosti pres ssh), web server a monitoring. Ve finale bych se chtel dostat k nejakym 100-150ks v jednom clustru s moznosti propojit vice clustru dohromady.
-
Ve finale bych se chtel dostat k nejakym 100-150ks v jednom clustru s moznosti propojit vice clustru dohromady.
Koli comu chcete vybudovat takto velky cluster? Ved z pohladu financii, spotreby aj vykonu sa viac vyplati single server.
-
Nebuduji to z rpi, ale z neceho jineho. Single server se 100 core (4xcpu) je cenove nekde jinde. Zajima me cena/vykon.
-
Jaky pocet nodu uvazujes a jake jsou prenosove naroky (rychlost, latence) ?
Co na tom hodlas provozovat za aplikaci?
Potrebujes opravdu cluster (s nizkyma latencema), nebo by ti postacil cloud (propojeni pres ethernet) ?
Chci začít se čtyřmi nody pro zkoušku a pak se uvidí. Chci na tom provozovat simulaci neuronové sítě, ale spíš jen tak pro zábavu. Ethernet bych chtěl vyloučit kvůli minimalizaci externích komponent.
Ja tohle resim s jinou deskou a nic praktictejsiho nez ethernet me nenapadlo. Vzhledem k minimalnim prenosum ktere tam planuji mit mi reseni se switchem vyhovuje. Da se udelat seriova linka, I2C atd ale tohle v clustru efektivne nevyuzijes. Treba ale nekdo ma jiny napad.
I2C vypadá jako dobrý nápad, ještě lepší by mohl být SPI. Díky za inspiraci.
I2C ? Chcete se opravdu masochisticky trestat za jakoukoli komunikaci mezi uzly, jako aby to fakt bolelo, aby ty algoritmy, co na tom chcete zkoušet, byly nuceny vyvažovat komunikaci mimo uzel zlatem? Pravda je, že tak de facto zní zadání u ANN s paralelizací na dnešním hardwaru, kde výkon jednotlivých uzlů není úplně marný, ale konektivita odkudkoli kamkoli v nějakém paralelizovaném uspořádání OPRAVDU BOLÍ - a konektivita je bohužel v ANN dost důležitá...
Přemejšlím, jestli má cenu trénovat topologii sítě genetickým algoritmem na takhle slabém železe, a jestli má cenu se na něčem takovém pouštět do dnešních trendy "deep" topologií, resp. jestli se na takhle slabém železe dá cosi hodnotně natrénovat (nasát zkušenosti) za účelem následné extrapolace na velký a drahý hardware, pokud cílová úloha bude o dva řády rozsáhlejší než Vaše domácí cvičení...
Možná byste při použití interconnectu přes i2C dokázal ANN natrénovat na telepatickou komunikaci mezi uzly :-)
Obecně v clusterech a NUMÁch se lidi v komunikaci snaží o maximální průchodnost a minimální latence mezi uzly. Takže hned po GPU je komunikační technologie druhý nejprůchodnější hardware. HyperTransport, Infiniband, switchovaná PCI-e s NTB (https://www.google.com/search?q=PCI-e+switch+with+non-transparent+DMA) (non-transparent bridging) apod. Pokud bych stavěl cluster s nějakým "kozím dechem", tak RPi má pořád dost výkonný procesor, řádově srovnatelný s dnešním PCčkem, takže by měl dostat řádově srovnatelnou komunikační průchonost. Aspoň kdyby byl 1 lane PCI-e, a na to si něco pověsit. Nebo nativní Ethernet MAC on chip, ze kterého by šlo vytáhnout 100 nebo 1000 Mbps SERDES nebo 1000Base-KX (a bez PHY zapíchnout rovnou do switch matrix čipu) - tušímže s MII by to nešlo, switchovací matice sice umí MII na více portech, ale jenom v roli mastera=MACu (neumí se tvářit per port jako MII PHY). Na USB je blbé, že protější (device) konec nemá cosi jako nativní "many to many" bridge. Leda napsat něco do FPGA, co by se tvářilo jako N-krát USB Ethernet. Existují také PCI-e switche se schopností "netransparentního bridgování", takový šváb může mít třeba 96 linek, ale bude je mít sdružené po 8 nebo po 16 = nepůjde na něj pověsit 96x SoC s PCI-e x1. Hele koukám Broadcom (ex PLX?) má nějaký PCI-e switch, co umí 96 linek seskupit do do 24 portů.
Jako základní požadavek na propoj v clusteru bych viděl, že má umět bufferovaný přenos s trochu uměřeným využitím IRQ. Nikoli softwarový bit-banging. Tolik k nápadům s i2c nebo GPIO. Správně to má umět DMA, aby se s tím procesor fakt nemusel žužlat ani bajt po bajtu. A pokud se týče kapacity, jak rychle dokážete rozjet i2C? 100 kbps? No SPI by mohlo fungovat tak na 1 Mbps, ať nežeru. Ethernet v malých krabičkách dneska běžně 100 Mbps. A 1 lane PCI-e 2.5 Gbps. Takže oproti i2C jsme o 3-4 řády jinde...
P$delky stranou, ten Ethernet je podle mého zdaleka nejrozumnější možnost. I kdyby měl být navíc roubovaný na USB.
-
Ten I2C u rpi myslim muzes rozbehnout az na skvelych 400kbps. ;)
Problem s vetsim mnozstvim ethernet portu je kabelaz a switche. Ja resim tech 100-150ks za pouziti klasickych levnych gigabitovych switchu samozrejme v kaskade protoze za rozumnou cenu nic vetsiho nez 24portu proste neumim najit. Trafic mam minimalni, ale kdyz si predstavim, ze budu chtit tech rekneme spojit dohromady 10 clustru po 100 nodech tak z pohledu site si to neumim predstavit.
-
I2C vypadá jako dobrý nápad, ještě lepší by mohl být SPI. Díky za inspiraci.
Jako základní požadavek na propoj v clusteru bych viděl, že má umět bufferovaný přenos s trochu uměřeným využitím IRQ. Nikoli softwarový bit-banging. Tolik k nápadům s i2c nebo GPIO. Správně to má umět DMA, aby se s tím procesor fakt nemusel žužlat ani bajt po bajtu. A pokud se týče kapacity, jak rychle dokážete rozjet i2C? 100 kbps? No SPI by mohlo fungovat tak na 1 Mbps, ať nežeru. Ethernet v malých krabičkách dneska běžně 100 Mbps. A 1 lane PCI-e 2.5 Gbps. Takže oproti i2C jsme o 3-4 řády jinde...
P$delky stranou, ten Ethernet je podle mého zdaleka nejrozumnější možnost. I kdyby měl být navíc roubovaný na USB.
Když teď čtu o I2C, tak asi fakt nemá význam, 400 kbps je málo. 1 MBps u SPI také nic moc. Chce to tedy něco s DMA. RPi Zero však Ethernet nemá. Existují ethernet moduly, ale ty by měly zbytečný konektor k propojení zbytečným kabelem s jiným zbytečným konektorem na ethernetovém switchi.
Existuje nějaký vhodný switch, který by interně měl Ethernet a který by se dal připojit přímo k RPi Zero?
-
V býv. práci jsme měli ethernet v serverových chassis vyresenej čipy od Broadcomu. Je to SOC s switchovacim HW a nějakým ARMem ve kterém běží Linux z vestavěné flashky, kterej switch nastaví po připojení napájení a přes wannabe Cisco cli se nechá nakonfit přes sériovou linku/ip@eth . Některé umí dokonce stackování, což mi pro tvůj případ přijde jako zajímavé.
Koukal jsem ze se to nechá koupit i v kusovce. Takže záleží v jakých počtech tu tvoji konstrukci budeš vyrábět, a na kolik by vyšla implementace nějakého referenčního zapojení tohohle čipu do tvého boardu.
-
I2C na 400kHz je jen na kratkou vzdalenost pro "par" nodu, jinak ani nahodou. SPI bez upravy take ne, protoze je tam feadback mezi vysilacem a prijimacem, ktery omezuje max frekvenci prenosu. Da se pouzit seriovy port s BLVDS prevodnikem za nim, funguje na 100ky metru pro prenosove rychlosti radu megabitu a/nebo desitky nodu, ale galvanicky neeodelenych. Ale nutne asi trochu pocitani a bastleni.
-
SPI by se možná dalo použít na 125 MHz, kdyby k němu byl přilepen nějaký I/O buffer. Tím se vlastně dostáváme opět k Ethernetu a otázce, zda je nutné mít 4 ethernetové karty, kabely a switch nebo existuje rozumné zařízení, které to má v jednom. Tedy jedno zařízení, na které se připojí 4× RPi Zero bez dalších mezikusů.
Existuje například ClusterHAT, ale ten je omezen právě na ty 4 RPi Zero.
-
Narazil jsem na jednoduché rozšíření RPi Zero, pomocí kterého by sa daly pospojovat přes USB hub.
https://zerostem.io/
Zapojení je tak jednoduché, že asi nemá smysl to kupovat - USB konektory mám a pár drátků se také najde.
Podstatnou výhodou tohoto řešení je, že se nikde neválí žádné kabely. Na stejném prostoru tedy bude možné takových kousků zapojit víc.
-
a co se zkusit z problému vylízat jinak? Opravdu je nutné pro raspberry pi ZERO zrovna pro tuto úlohu?
není na to lepší jiné (mini)pc, který má konektivitu? Otázka také je, účel spojení, nároky na propusnos.
a, proč nezkuzíš wifi/BT(PAN)?
-
a co se zkusit z problému vylízat jinak? Opravdu je nutné pro raspberry pi ZERO zrovna pro tuto úlohu?
není na to lepší jiné (mini)pc, který má konektivitu? Otázka také je, účel spojení, nároky na propusnos.
a, proč nezkuzíš wifi/BT(PAN)?
RPi Zero nemá WiFi ani BT. I2C jsme zavrhli a podobně dopadlo i SPI. Uvedené řešení je podporováno, ovladače na to jsou.
-
Možno trochu offtopic, no zaujímalo by ma prečo práve RPi Zero. Cenovo to asi zaujímavé je, ale prečo nezobrať nejaký SoC ktorý má natívne Ethernet (nie cez USB), a síce niekoľko násobne drahšie (2-3x) aj niekoľkonásobne výkonnejšie(>3x).
Napr. Orange Pi One Plus s Allwinner H6 (maloobchodná cena 17.5EUR) na ktorom už bežia experimentálne buildy Raspbian. Problémom na podobných čínskych doskách často bývajú ovládače na grafiku a rôzne periférie, no to myslím že Vy vo vašom prípade aj tak nevyužijete.
Možné alternatívy sú Orange Pi Zero Plus (nižšia cena, menší form factor), alebo Pine H64 (viac RAM, eMMC).
-
- Nativní Ethernet znamená také nativní kabely k němu. Těm se chci vyhnout.
- Požadavkem jsou i malé rozměry, nízký příkon a snadná nahraditelnost komponent.
- Plnohodnotné RPi bude jejich masterem.
-
Ad1) Káblom sa dá vyhnúť, hlavne ak plánujete design vlastnej "backbone" dosky. Viď. male PCB mount connector: https://www.metz-connect.com/us/products/ajp92a8813
Dokonca na tej doske rovno môžete mať integrované obvody s funkciou ethernet switchu. Inak sa bojím že ak sa nasilu vyhnete ethernetu budete znovu vymýšľať koleso.
Ad2) Výkon vs. rozmery si myslím že iné riešenia sú na tom lepšie.
Spotreba jednej dosky so štvorjadrom bude podľa mňa nižšia ako spotreba štyroch dosiek s jednojadrom z dôvodu réžie komponentov na doske. (priznám sa že som to neporovnával a ide len o môj predpoklad)
Výkon na watt si taktiež myslím že nebude silná stránka RPi Zero.
Ad3) Ok
Držím palce nech sa to podarí, nech už je riešenie akékoľvek.
P.
-
Ad1) Káblom sa dá vyhnúť, hlavne ak plánujete design vlastnej "backbone" dosky. Viď. male PCB mount connector: https://www.metz-connect.com/us/products/ajp92a8813
Dokonca na tej doske rovno môžete mať integrované obvody s funkciou ethernet switchu. Inak sa bojím že ak sa nasilu vyhnete ethernetu budete znovu vymýšľať koleso.
Ethernetu se nevyhýbám, ale RPi Zero ho nemá. Ten konektor nic neřeší, protože porty ve switchi bývají tak natěsno, že by se tam ani to RPi Zero nevešlo.
Ad2) Výkon vs. rozmery si myslím že iné riešenia sú na tom lepšie.
Spotreba jednej dosky so štvorjadrom bude podľa mňa nižšia ako spotreba štyroch dosiek s jednojadrom z dôvodu réžie komponentov na doske. (priznám sa že som to neporovnával a ide len o môj predpoklad)
Výkon na watt si taktiež myslím že nebude silná stránka RPi Zero.
Tak tady je zádrhel. Dosud jsem byl přesvědčen, že RPi Zero má čtyřjádro, těšil jsem se na 4×4 jádra. Tak tím to celé přestává mít smysl. Díky za pádný argument, zkusím to vymyslet jinak.
-
Celkom zaujímavé riešenie (pokiaľ sa chcete vyhnúť aj SD karte v RPi Zero) je možnosť nabootovať z master RPi, kde sú na SD karte umiestnené aj obrazy diskov pre pripojené RPi Zero -- možno použiť, v diskusii už spomenuté Cluster HAT/Zero Stem alebo použiť len pripojovacie USB káble:
https://8086.support/content/23/88/en/guide-to-using-the-rpiboot-test-image-on-the-cluster-hat_zero-stem-or-just-a-usb-cable.html
-
Ethernetu se nevyhýbám, ale RPi Zero ho nemá. Ten konektor nic neřeší, protože porty ve switchi bývají tak natěsno, že by se tam ani to RPi Zero nevešlo.
Ten konektor je PCB mount, pri riešení som predpokladal že budete navrhovať vlastnú "backbone" dosku, kde by ste si mohli rozmiestniť dané konektory presne s roztečou akou potrebujete. Dokonca na tej doske môžete použiť integrované obvody zabezpečujúce funkciu switchu medzi jednotlivými SoC a tak budete potrebovať ethernet kabeláž maximálne ak budete chciet prepojit viacero takých "backbone" dosiek medzi sebou.
-
Petre, nejprve jsem chtel ten napad s tim pcb mount konektorem zavrhnout, ale rozlezelo se mi to v hlave a vypada to, ze pro me reseni by to bylo treba pouzitelny. Umite poradit firmu/jednotlivce, ktera/y by mi patricnou desku navrhl a udelal?
-
Petre, nejprve jsem chtel ten napad s tim pcb mount konektorem zavrhnout, ale rozlezelo se mi to v hlave a vypada to, ze pro me reseni by to bylo treba pouzitelny. Umite poradit firmu/jednotlivce, ktera/y by mi patricnou desku navrhl a udelal?
Kolik portu? Co presne by tam melo byt? usb-eth + eth switch, nebo jen usb hub jak je v tom cluster projectu uvedenem vyse?
-
Není nad blbej výběr procesorové desky. Chce to spešl rovnák na ohybák.
No tak pokud ne Ethernet po USB, tak SPI switch engine do FPGA (a board 2 board přes ETH - v FPGA uděláš MAC, PHY externí). Na řádově desítky Mbps by se to asi ukecat dalo...
Jak moc se kamarádíš s HDL a psaním ovladačů pro Linux? A jak moc se to toužíš naučit?
-
No tak pokud ne Ethernet po USB, tak SPI switch engine do FPGA (a board 2 board přes ETH - v FPGA uděláš MAC, PHY externí). Na řádově desítky Mbps by se to asi ukecat dalo...
To už mi přijde zbytečné konvertovat to na ten ethernet. Může mít jedno FPGA, do kterého povedou SPI linky ze všech RPi v clusteru (předpokládám že jich zatím nechce mít víc než třeba 32) a tam se to bude switchovat přimo jako SPI.
A ethernet PHY se kterými se bavíš po SPI existujou, netřeba to vyrábět na FPGA.
-
Petre, nejprve jsem chtel ten napad s tim pcb mount konektorem zavrhnout, ale rozlezelo se mi to v hlave a vypada to, ze pro me reseni by to bylo treba pouzitelny. Umite poradit firmu/jednotlivce, ktera/y by mi patricnou desku navrhl a udelal?
Ak sa na to nepodujme nejaký schopný čitateľ root-a, tak ja mám skúsenosti len s amset.sk. Firma sa venuje primárne osadzovaniu PCB, ale vedia spraviť aj vývoj dosky. Dokonca sú aj mechanicky zdatní a myslím že nebudú mať problém to navrhnúť mechanicky tak aby tam vaša vybraná doska presne na tom konektore sedela. Dokonca myslím, že sú aj celkom lacní, ale je možné že len pre nás keďže vyrábame u nich dosky za viac ako 1M EUR.
Skúste im poslať specifikáciu, že potrebujete bez ethernet kabeláže pripojiť pomocou nejakého takéhoto konektoru https://www.metz-connect.com/us/products/ajp92a8813 pripojiť vaše zvolené boardy do switchu, ktorý by mal byť na tej istej doske a že potrebujete napr. jeden extra female konektor aby ste mohli celú dosku pripojiť do switchu. Najlepšie ak im našpecifikujete aj test akým budú môcť overiť že riešenie funguje aby ste sa vyhli tomu že budete robiť testera.
Verím že v ČR nájdete podobnú firmu. Možno keď hodíte celú špecifikáciu, tak Vám tu niekoho odporučia. Takisto budem rád keď si Váš vyvinutý board nenecháte len pre seba a uvoľníte verejnosti či už ako open source, alebo predajom Vášho proprietárneho riešenia :).
-
Prave z tech minimalnich odberu, nebo minimalnich cen mam strach. Koupit 100xsftp a zapojit to je otazkou par korun i kdyz to neni tak hezke a elegantni reseni jako s tim pcb. Uvidim jeste jak to bude s mistem ve skrini, ty svazky kabelu muzou ve finale zabirat vice mista nez chci.
-
Minule nám vyrábali dosku, ktorú sami navrhovali pre náš tester a bol to len jeden exemplár. Samozrejme že to bude drahšie ako pri stovkách kusov, ale oni nie sú FoxConn a bežne robia malosériovú výrobu. Niektoré boardy pre nás vyrábajú len v desiatkach kusov. Určite sa môžete dopytovať na cenu. Za to nič nedáte.
Ešte lepšie keby ste našli človeka ktorý v podobnej firme pracuje a možno by Vám to spravil vo voľnom čase za symbolickú cenu. Iná možnosť je to spraviť ručne ako prototyp na lepšie vybavenej spájkovacej stanici. Každopádne návrhu PCBčka sa nevyhnete. Vyrobia Vám ju za pár desiatok EUR aj s dopravou napríklad aj tu: https://www.seeedstudio.com/fusion_pcb.html (https://www.seeedstudio.com/fusion_pcb.html). Potom už len naniesť pastu uložiť pinzetou súčiastky a teplovzdušnou pištoľou zapiecť. Je to určite piplačka ale zručný človek to zvládne. Už len nájsť človeka na design takej dosky a človeka ktorý ju osadí :)
-
Já jsem schopnej to jak navrhnout, tak i vyrobit. Chybí jen specifikace - jak/co kkt1 vlastně chce.
-
To už mi přijde zbytečné konvertovat to na ten ethernet. Může mít jedno FPGA, do kterého povedou SPI linky ze všech RPi v clusteru (předpokládám že jich zatím nechce mít víc než třeba 32) a tam se to bude switchovat přimo jako SPI.
A ethernet PHY se kterými se bavíš po SPI existujou, netřeba to vyrábět na FPGA.
Myslíš omyly jako ENC28J60? Tam by to v reálu bylo pomalejší, než holý SPI. A Ethernet ven se hodí, pokud chce ten cluster i někam připojit, nějak ho ovládat,...