Fórum Root.cz

Hlavní témata => Sítě => Téma založeno: k0rignal 09. 03. 2021, 21:33:46

Název: Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: k0rignal 09. 03. 2021, 21:33:46
Uz delsi dobu se snazim najit nejakou krabici s recentnim kernelem, ktera by obsahovala aspon ty 3 ethernet porty.
Je mi celkem jedno jestli to bude x86 nebo arm, jde mi spise o tu podporu ethernetu.
Ted jsem narazil na PC motherboard ASRock, ktery tomu idealne vyhovuje:
https://www.asrock.com/mb/Intel/Z390%20Taichi%20Ultimate/index.us.asp#Specification
Problem je, ze to budu muset jeste obalit nejakou krabici a cele dovybavit.
Kdyby aspon ta deska nebyla full ATX, ale neco mensiho :(
Cilem je mit linuxovy box, na kterem pujde generovat jak rucni provoz (pcap), tak provadet ruzne skopicinky pri vyvoji ethernet driveru.
Podle toho, co jsem tak ruzne nasel, tak hlavni zadrhel je ten port 10G, ten se moc nevyskytuje.
Nemate nejaky tip?

Diky.
Honza
Název: Re:Nejaky devboard ci box s 1x10G a aspon 2x1G ethernet porty?
Přispěvatel: _Jenda 09. 03. 2021, 21:54:06
A nemůžeš si koupit miniITX desku a síťovku se dvěma SFP+ do PCIe? A jestli chceš něco malého (ale to asi nebude mít výkon na zpracování těch 10G), tak totéž s miniPCIe… By to možná šlo i do nějakého NUCu se správným breakoutem.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: PanVP 09. 03. 2021, 22:41:11
A) Kolik 10 Gb síťovek
B) Jaké ty 10 Gb síťovky mají být (SFP+ nebo Ethernet)
C) Kolik do toho chceš vrazit (litr, pět, dva, deset)
D) Jak velké to má být (Malý boxík, 1U, 2U)
E) Jak dlouho to pojede (jestli tě omezuje spotřeba, nároky na kvalitu boardu)
F) Rozšiřitelnost, co bys do toho chtěl přidat a replikovatelnost (třeba plánuješ 10 tisíc kusů)
G) Co na tom má jet, asi Linux ne?

Kámoš něco určitě má, můžu mu říct.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 09. 03. 2021, 23:33:50
Staci chvili hledat:
https://www.supermicro.com/en/products/motherboard/X10SDV-12C-TLN4F+ (https://www.supermicro.com/en/products/motherboard/X10SDV-12C-TLN4F+)

Tohle ma 10GE v ramci SoC, a podobne reseni nabizi i AMD v embedded verzi (Ryzen V1000 series).
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 10. 03. 2021, 16:42:55
Staci chvili hledat:
https://www.supermicro.com/en/products/motherboard/X10SDV-12C-TLN4F+ (https://www.supermicro.com/en/products/motherboard/X10SDV-12C-TLN4F+)
Jojo, ta má plnotučný a relativně úsporný 14nm Broadwell Xeon, 45W. Ty dva 10Gb porty vytažené ze SoCu vedou do SFP+ šachet.

Ještě jsem našel rodinku pár kousků s 14nm ATOMem C3000 series (Denverton (https://ark.intel.com/content/www/us/en/ark/products/97934/intel-atom-processor-c3708-16m-cache-up-to-1-70-ghz.html)):
https://www.supermicro.com/en/products/motherboard/A2SDV-8C-TLN5F
https://www.supermicro.com/en/products/motherboard/A2SDV-12C+-TLN5F
https://www.supermicro.com/en/products/motherboard/A2SDV-16C-TLN5F
SoC má TDP 17-31 W , podle počtu jader (8/12/16).
Onboard 4x 10GBase-T Ethernet = metalika a až v datasheetu čipu X557-AT4 (https://ark.intel.com/content/www/us/en/ark/products/88341/intel-ethernet-connection-x557-at4.html) se dá dočíst, že by to snad mělo na metalice podporovat 100/1G/10G.
Formát těch desek je lehce úchylný Flex-ATX (http://www.10stripe.com/featured/form/atx.php#flex) = o něco menší než microATX, soudělné díry.
Bohužel v Mini-ITX je od tohoto výrobce k dispozici jenom ATOM s 2x 1Gb.
Jako skříň na Flex-ATX nejsnáz asi nějaký microATX minitower.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: k0rignal 10. 03. 2021, 21:32:42
Staci chvili hledat:
https://www.supermicro.com/en/products/motherboard/X10SDV-12C-TLN4F+ (https://www.supermicro.com/en/products/motherboard/X10SDV-12C-TLN4F+)
Jojo, ta má plnotučný a relativně úsporný 14nm Broadwell Xeon, 45W. Ty dva 10Gb porty vytažené ze SoCu vedou do SFP+ šachet.

Ještě jsem našel rodinku pár kousků s 14nm ATOMem C3000 series (Denverton (https://ark.intel.com/content/www/us/en/ark/products/97934/intel-atom-processor-c3708-16m-cache-up-to-1-70-ghz.html)):
https://www.supermicro.com/en/products/motherboard/A2SDV-8C-TLN5F
https://www.supermicro.com/en/products/motherboard/A2SDV-12C+-TLN5F
https://www.supermicro.com/en/products/motherboard/A2SDV-16C-TLN5F
SoC má TDP 17-31 W , podle počtu jader (8/12/16).
Onboard 4x 10GBase-T Ethernet = metalika a až v datasheetu čipu X557-AT4 (https://ark.intel.com/content/www/us/en/ark/products/88341/intel-ethernet-connection-x557-at4.html) se dá dočíst, že by to snad mělo na metalice podporovat 100/1G/10G.

Ty SuperMicro jsou uplny ideal. Bohuzel ty nejmensi, 4-jadrove, zacinaji na 11kKc.
Diky za tip.

/Honza
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: k0rignal 10. 03. 2021, 21:41:53
A) Kolik 10 Gb síťovek
Staci jedna, prece jenom je to stale dost draha zalezitost.
Citace
B) Jaké ty 10 Gb síťovky mají být (SFP+ nebo Ethernet)
Metalika nebo SFP+, asi to spise zavisi, aby k tomu byl ovladac do kernelu
Citace
C) Kolik do toho chceš vrazit (litr, pět, dva, deset)
Ideal je do 10k za celek, tak nejak ale tusim, ze to bude vic
Citace
D) Jak velké to má být (Malý boxík, 1U, 2U)
At se da nekam soupnout na stul, neslouzi to do racku
Citace
E) Jak dlouho to pojede (jestli tě omezuje spotřeba, nároky na kvalitu boardu)
Pojede to vlastne dost sporadicky, v nejhorsim pres pracovni dobu,
nema to slouzit na kontinualni testovani
Citace
F) Rozšiřitelnost, co bys do toho chtěl přidat a replikovatelnost (třeba plánuješ 10 tisíc kusů)
Cil je mit aspon 10 kousku, proste pro maly tym
Citace
G) Co na tom má jet, asi Linux ne?
Jasne ze linux. A idealne dost recentni, ty zmeny v networkingu jsou dostatecne zajimave, aby tam slapalo neco kolem aktualniho jadra
Citace
Kámoš něco určitě má, můžu mu říct.
Budu rad za jakykoliv tip.

/Honza
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: kotelgg 10. 03. 2021, 22:16:29
Tyhle síťovky mi jedou v pohodě na linuxu (konkrétně kernel 5.2.14-zen):
https://www.ebay.com/itm/Supermicro-AOC-STG-i2T-V2-10GbE-RJ45-10GBASE-T-Ethernet-Adapter-Intel-X540-T2/363071550075

podpora 100/1G/10G

Karet s chipem Intel-X540 je celkem dost a chodit by měly všechny, tak možná vyjde levněji koupit ty karty zvlášť do levnějších desek.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: _Jenda 10. 03. 2021, 22:18:41
A) Kolik 10 Gb síťovek
Staci jedna, prece jenom je to stale dost draha zalezitost.
ASUS XG-C100F stojí trojku. V Linuxu funguje out of the box. Pro propojení dvou počítačů bych použil Direct Attach Cable, https://www.czc.cz/ubiquiti-unifi-direct-attach-copper-cable-10gbps-1m/238739/produkt.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: k0rignal 11. 03. 2021, 20:44:02
Jak se ukazuje, tak jsem zapomnel zminit podstatnou vec, ze ta 10G musi podporovat i 5G a 2.5G rychlosti.
Cimz odpadaji cipy, ktere maji "jen" 10G/1G.

PS: Stale bych radeji nejaky box, nez sestavovat vlastni hw.

/Honza
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 11. 03. 2021, 21:39:31
Jak se ukazuje, tak jsem zapomnel zminit podstatnou vec, ze ta 10G musi podporovat i 5G a 2.5G rychlosti.
Cimz odpadaji cipy, ktere maji "jen" 10G/1G.

PS: Stale bych radeji nejaky box, nez sestavovat vlastni hw.

/Honza

Neznam zadny onboard NIC ktery umi vsechna N-baseT, takze pro tohle pouziti Ti zustava klasicky jakykoliv ITX - s procesorem podle zamyslene zaukolovanosti stroje, a do PCIe strcit x4 kartu s jednim metalickym RJ45 a chipsetem napr. od Aquantia (a tim si zadelat na problemy s verzi jadra atd). V optice (SFP) se na 2.5G/5G nikdy snad ani nehralo.

To co chcete by se mozna snaz realizovat na Win, kvuli ovladacum. Takze.. poradte si :)
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: PanVP 12. 03. 2021, 08:51:27
(SFP) se na 2.5G/5G nikdy snad ani nehralo.

Tak to nemáš pravdu kamaráde :-)

Jak to tedy je:
- síťová karta s SFP+ slotem je takový domeček pro výkonný prvek, což je v tomhle případě SFP+ modul
- SPF+ modul zajišťuje komunikaci s protikusem a signály přenáší do síťové karty maximální společnou rychlostí
- 10 Gbitová síťová karta z Aliexpressu stojí třeba 500,- Kč, já je kupuji levněji

A teď se pojďme podívat na generické SPF+ moduly s metalikou.

Jako vzorový si vezmeme třeba generický a poměrně široce kompatibilní modul Mikrotik S+RJ10 r2
Nejprve se podíváme na Alzu, kde jsou popisy samozřejmě NAPROSTO ŠPATNĚ
https://www.alza.cz/mikrotik-s-rj10-d5258279.htm (https://www.alza.cz/mikrotik-s-rj10-d5258279.htm)
Už už se nám zdá, že jsi měl pravdu ty a já se pletl.
Ale protože víme, že na Alze ...no... ::) ... raději si ověříme informace u výrobce.
https://mikrotik.com/product/s_rj10 (https://mikrotik.com/product/s_rj10)

A tradááá: Data Rate   10 Mbps, 100 Mbps, 1 Gbps, 2.5 Gbps, 5 Gbps, 10 Gbps

A ano, jsou SPF+ moduly, které oficiálně 2.5G nebo 5G neumí.
Nicméně to nelze prohlásit za vlastnost té technologie.

PS: A na samotné optice jsou pomalejší moduly zcela běžné, třeba pro SAN.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: farbydos2 12. 03. 2021, 11:07:56
Ano, PanVP má pravdu. Je ale dobré se před případnou koupí HW podívat do manuálu. Někdy je starší HW trošku specifický. Pokud se nepletu, data rates 2.5 Gbps a 5Gbps na SFP+ byly přidány až poměrně nedávno: https://en.wikipedia.org/wiki/10_Gigabit_Ethernet#Standards. Třeba starší, ale na bazarech rozšířený Intel X550 může podporovat explicitní volbu 2.5 a 5 Gbps podle systému: https://www.intel.com/content/www/us/en/support/articles/000030131/network-and-io/ethernet-products.html.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: PanVP 12. 03. 2021, 11:24:58
Je ale dobré se před případnou koupí HW podívat do manuálu.

Nechci být rýpal, ale nahradil bych slovíčko "dobré" za "naprosto nezbytné".

Tak například:
UFQantia (UFO+Aquantia) umí 10 Gb Ethernet až na XY metrů po Cat 5e.
Běžné 10 GbE prvky (původně navržené do serveroven) ovšem umí 10 Gb Ethernet umí na 30 metrů, ale nejméně po Cat 6a.
Další prvky umí 10 GbE na 45 metrů po Cat 6a a po Cat 5e umí 10 GbE na 15 metrů, chaos, chaos, chaos...

Je v tom neskutečný chaos.
Obecně se dá říct:
- prvky určené do serveroven 10 GbE umí spolehlivě na 15 metrů po Cat 6a.
- prvky určené do domácností 10 GbE to umí i po Cat 5e do 30m, ale jejich spolehlivost je...no...řekl bych pochybná
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 12. 03. 2021, 12:10:26
(SFP) se na 2.5G/5G nikdy snad ani nehralo.

Tak to nemáš pravdu kamaráde :-)


Sorry, ale mam? :-)

Proc Ti vypadl z citace pocatek vety? V optice (SFP) se na 2.5G/5G nikdy snad ani nehralo.

Myslel jsem tim standard ktery by byl nazyvan 2.5GBASE-[SR|LR|ER] ci 5GBASE-[SR|LR|ER].
Existuje jenom -KR, coz je SFI rozhrani po tistaku, ne po optice.

To co jsi linkoval, nejsou opticke rozhrani, ale klasicky NBASE-T po metalice.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: PanVP 12. 03. 2021, 12:38:26
Uznávám i neuznávám, že máš pravdu i nemáš pravdu - pojal bych to v principu kvantové neurčitosti ;D  ;D
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: k0rignal 12. 03. 2021, 17:05:21
Nepotrebuji optiku, v podstate si vystacim s metalikou.
Dulezita je podpora 5G/2.5G  na tom 10G.

Aquantie jsou pro to asi nejlevnejsi reseni, spravne
tu ale bylo vzpomenuto, ze muze byt problem s driverem.
Ja si takhle jednu PCIe s Aquantii oddelal - nekde jsem
objevil firmware 4.x a hned jsem si ho tam flashnul.
Bohuzel mi pak prestala sitovka v linuxu (jadro 5.10)
fungovat a maintainer mi na muj problem ani neodpovedel :(

Stale mam spise vizi nejake "krabicky". Napriklad
Mikrotik. Ten je ale zaseknuty na RouterOSu,
jak jsem vyrozumel z hledani po netu.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: neregistrovany 12. 03. 2021, 17:25:09
Sorry, ale mam? :-)

Proc Ti vypadl z citace pocatek vety? V optice (SFP) se na 2.5G/5G nikdy snad ani nehralo.

Myslel jsem tim standard ktery by byl nazyvan 2.5GBASE-[SR|LR|ER] ci 5GBASE-[SR|LR|ER].
Existuje jenom -KR, coz je SFI rozhrani po tistaku, ne po optice.

To co jsi linkoval, nejsou opticke rozhrani, ale klasicky NBASE-T po metalice.

Treba u tech SANu se na jine rychlosti nez 1G/10G hralo, mam tu par prebytecnych MM SFP 4Gbps od Picolightu....
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 12. 03. 2021, 18:03:53
Treba u tech SANu se na jine rychlosti nez 1G/10G hralo, mam tu par prebytecnych MM SFP 4Gbps od Picolightu....

To neni ethernet, ale FC (1/2/4/8/10/16/32/... Gb/s)

I kdyz rychlostne to ty SFP treba zvladaj, tak ty moduly casto nemaj ve sve identifikaci vyplnenou kompatibilitu s 1G/10G standardem - viz SFP MSA - organizaci eeprom, a typicky intel ixgbe driver (pro x520/i82599) takove SFP odmitne pouzivat (neco lze obejit domluvou pres parametry modulu, neco upravou kodu a prekompilaci). Na ty samotne SFP jsem davneji delal editor (hw/sw), takze to lze samozrejme pohackovat kdyz to nekdo potrebuje a je schopen si spojeni promerit na funkcnost.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 12. 03. 2021, 18:12:04
Nepotrebuji optiku, v podstate si vystacim s metalikou.
Dulezita je podpora 5G/2.5G  na tom 10G.

Stale mam spise vizi nejake "krabicky". Napriklad Mikrotik. Ten je ale zaseknuty na RouterOSu, jak jsem vyrozumel z hledani po netu.

Ale co na tom pak chces provozovat za soft? Mikrotik neni otevrene reseni a ty systemy ktere maj 10G jsou bud zalozeny na EOL Tilera, nebo pak armu od Annapurna. Ten se samozrejme prodava i jako standalone (videl jsem nejake 1U reseni pro storage), ale melo to jen 1/10G rezimy.

Co do toho budes s 2.5G/5G pripojovat? Jake zarizeni, chipset, phy tam je?

Pokud ne Aquantia, tak holt ten intel X550, co zna oproti X540 tyhle mezi rezimy. Jestli najdes zakladovku s tou sitovkou jako onboard.. tak mas co chces. Ale vyjde levneji jednodussi zakladovka + diskretni pcie sitovka.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 12. 03. 2021, 21:57:35
Stale mam spise vizi nejake "krabicky". Napriklad
Mikrotik. Ten je ale zaseknuty na RouterOSu,
jak jsem vyrozumel z hledani po netu.

Nojo... podle toho co vidím, CRS305 nemá zatím podporu v OpenWRT...
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 12. 03. 2021, 22:05:37
Na ty samotne SFP jsem davneji delal editor (hw/sw), takze to lze samozrejme pohackovat kdyz to nekdo potrebuje

Ona se ta "SPD EEPROM" dá nějakým generickým způsobem změnit? Jako že je otevřená pro zápis?
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 13. 03. 2021, 00:45:40
Na ty samotne SFP jsem davneji delal editor (hw/sw), takze to lze samozrejme pohackovat kdyz to nekdo potrebuje

Ona se ta "SPD EEPROM" dá nějakým generickým způsobem změnit? Jako že je otevřená pro zápis?

Vetsina bajtu je zapisovatelna (mel jsem tam prikaz i na detekci "bitmapy" co lze/nelze prepsat). Prakticky to je cele "soft" implementace, protoze na jine adrese pak sedi DD (digital diagnostics), ktere poskytuje ruzne metriky o sile signalu, teplotach a pod... a vse je to imho jen jedno mcu.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 13. 03. 2021, 07:24:20
Na ty samotne SFP jsem davneji delal editor (hw/sw), takze to lze samozrejme pohackovat kdyz to nekdo potrebuje

Ona se ta "SPD EEPROM" dá nějakým generickým způsobem změnit? Jako že je otevřená pro zápis?

Vetsina bajtu je zapisovatelna (mel jsem tam prikaz i na detekci "bitmapy" co lze/nelze prepsat). Prakticky to je cele "soft" implementace, protoze na jine adrese pak sedi DD (digital diagnostics), ktere poskytuje ruzne metriky o sile signalu, teplotach a pod... a vse je to imho jen jedno mcu.

Aha... :-D Já měl SFP napíchnuté když jsem se hrabal v driveru igb (i210) ve snaze zprovoznit SGMII režim. Což se mi nepovedlo (z různých důvodů, prostě další prozkoumaná slepá ulička) ale s tím SFP jsem si přes i2c povídal. A ani mě nenapadlo, zkusit ho přepsat, právě když jsem viděl, že to zjevně není standardní 24c01, ale jakýsi dynamický hybrid.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 13. 03. 2021, 07:50:24
Btw zatím co koukám a čtu, tak těch 2.5/5G je spíš exot než rozšířený standard. Ale připomnělo mi ti, že mi nedávno kolega představil síťovky Mellanox ConnectX, což je celá rodinka za poměrně příjemné ceny... nejnižší model v rodině umí klasických 1/10Gb, ale větší bráškové dávají 1/10/25G, nebo taky 10/25/40/50/100/200 Gbps :-) K tomu zřejmě driver ve vanilce... Konkrétně generace ConnectX-4 umí maximálně 50 Gbps. Transceivery "z rodiny SFP" (= s jakousi vzájemnou kompatibilitou) jdou zřejmě napříč rychlostmi 1/10/25 Gbps : říká se jim SFP / SFP+ / SFP28, mechanicky a pinoutově je to shodné, otázkou je jenom trefit společnou podmnožinu podporovaných rychlostí SERDESu mezi šachtou a transceiverem. Konkrétně ten Mellanox zřejmě není na transceivery nijak mlsný - jednak to o sobě netvrdí, druhak v té 10Gb variantě mi chodily levné čínské SFP+ od Alternetiva. Pravda je, že mi chvíli zlobil náběh linku v určitých situacích, než jsem zjistil, že propojuju MM transceivery SM patchcordem :-D

První 10Gb síťovky, co mi prošly rukama, byly někdy před rokem 2010 ultra-klasické kousky od Myricomu. Teď koukám, že u téhle značky zřejmě vývoj poměrně záhy zamrznul. O pár let později jsem jako reálně dostupnou levnější variantu zahlédl Chelsio. A teď Mellanox... a celou dobu je tu s námi samozřejmě Intel, starý dobrý a bezkonkurenčně nejdražší :-) Docela hezký přehled trhu je zřejmě k vidění v e-shopu německé speciálky Stordis (https://stordirect.com/product-category/adapter-cards/network-interface-cards/)... jo a sorry za OT :-)
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: neregistrovany 13. 03. 2021, 10:25:36
Treba u tech SANu se na jine rychlosti nez 1G/10G hralo, mam tu par prebytecnych MM SFP 4Gbps od Picolightu....

To neni ethernet, ale FC (1/2/4/8/10/16/32/... Gb/s)

I kdyz rychlostne to ty SFP treba zvladaj, tak ty moduly casto nemaj ve sve identifikaci vyplnenou kompatibilitu s 1G/10G standardem - viz SFP MSA - organizaci eeprom, a typicky intel ixgbe driver (pro x520/i82599) takove SFP odmitne pouzivat (neco lze obejit domluvou pres parametry modulu, neco upravou kodu a prekompilaci). Na ty samotne SFP jsem davneji delal editor (hw/sw), takze to lze samozrejme pohackovat kdyz to nekdo potrebuje a je schopen si spojeni promerit na funkcnost.

Asi dvace mi jich tu uz spousty let jede v ethernet switchi na 1G rychlosti, hackovat nebylo treba vubec nic... vyzkouseno ve vice switchich
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: Michal Kubeček 13. 03. 2021, 13:41:02
Mellanox ConnectX ... K tomu zřejmě driver ve vanilce...
U Mellanoxu bych se o linuxové drivery opravdu nebál, ono není dnes moc výrobců síťových zařízení, kteří by byli v Linuxu tak aktivní jako Mellanox.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 13. 03. 2021, 14:08:26
Mellanox ConnectX ... K tomu zřejmě driver ve vanilce...
U Mellanoxu bych se o linuxové drivery opravdu nebál, ono není dnes moc výrobců síťových zařízení, kteří by byli v Linuxu tak aktivní jako Mellanox.

Ty nedavno koupila NVIDIA a pokud na ne aplikuje svuj pristup k opensource, tak si priste k 200Gb/s sitovce budete muset stahnout jejich binarni distro a nazdar :P
(soudim podle pristupu k Tegra SoC - kde v mainline je maximalne tak boot s UARTem, bez podpory veskereho hw ktery ten SoC ma)
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: k3dAR 13. 03. 2021, 16:01:04
[...] (soudim podle pristupu k Tegra SoC - kde v mainline je maximalne tak boot s UARTem, bez podpory veskereho hw ktery ten SoC ma)
jak ktera, Tegra 250 je v mainline a na Toshiba AC100 najede(resp. posledni sem zkousel asi 1.5 rokem?) ciste mainline jadro :-)
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: k0rignal 13. 03. 2021, 18:41:51
Nepotrebuji optiku, v podstate si vystacim s metalikou.
Dulezita je podpora 5G/2.5G  na tom 10G.

Stale mam spise vizi nejake "krabicky". Napriklad Mikrotik. Ten je ale zaseknuty na RouterOSu, jak jsem vyrozumel z hledani po netu.

Ale co na tom pak chces provozovat za soft? Mikrotik neni otevrene reseni a ty systemy ktere maj 10G jsou bud zalozeny na EOL Tilera, nebo pak armu od Annapurna. Ten se samozrejme prodava i jako standalone (videl jsem nejake 1U reseni pro storage), ale melo to jen 1/10G rezimy.
Chci tam Linux a muj puvodni predpoklad byl, ze jsem kolem tech Mikrotiku jen spatne hledal a ze na to Linux je.
Ted vidim, ze neni, takze to pada.
Citace
Co do toho budes s 2.5G/5G pripojovat? Jake zarizeni, chipset, phy tam je?
Aktualne je nezbytnost ona 2.5G, jedna se o NXP SoCy pro automotiv, ty desky
mivaji PHY Aquantie AQR107.

Citace
Pokud ne Aquantia, tak holt ten intel X550, co zna oproti X540 tyhle mezi rezimy. Jestli najdes zakladovku s tou sitovkou jako onboard.. tak mas co chces. Ale vyjde levneji jednodussi zakladovka + diskretni pcie sitovka.
Vypada to jako jedine reseni. Bude treba neco postavit.
Diky vsem za vase nazory.

/Honza
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 14. 03. 2021, 12:31:50
Citace
Co do toho budes s 2.5G/5G pripojovat? Jake zarizeni, chipset, phy tam je?
Aktualne je nezbytnost ona 2.5G, jedna se o NXP SoCy pro automotiv, ty desky
mivaji PHY Aquantie AQR107.


Diky - to info o uziti uz pomaha nalezt idealnejsi reseni:

V tomto nasazeni bych volil osazeni stroju 50:50 s tim AQT vs Intel - at je tam nejaka pestrost (kdyz jsi psal neco o 10 stanicich). Pokud to nekde bude blbnout - tak je alespon moznost vymenit protistranu rovnou na miste. Kdybych mel volit jen jeden model, tak naopak to spis tahne k AQT - protoze delate odladeny system, ktery si bude povidat nejspis s podobnym zarizenim.

A taky si poridil ruzne delky kabelaze na civkach (jako Automotive zrejme nepotrebujes 100m.. ale je dobre vedet jak se to zachova v extremech). Pripadne tam mit nachystano i nizsi Cat, nez by dana rychlost vyzadovala - v podstate to je takovy accelerated aging, pokud tedy neni u vas nejaky zazracny kabel s garantovanou 20-ti letou zivotnosti. 
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 16. 03. 2021, 15:23:59
...v nesouvisející debatě na linuxptp-devel mě Miroslav Lichvář zrovna upozornil na existenci čipu Intel i225 (https://ark.intel.com/content/www/us/en/ark/products/184676/intel-ethernet-controller-i225-v.html) (Foxville). 10/100/1000/2500 Mbps. Teda zatím mi není jasné, jestli to jde aktuálně koupit, nebo je to momentálně spíš vapourawre (https://www.cnews.cz/sitove-karty-ethernet-intel-i225-hardwarova-chyba-opravena-revize-b2), každopádně to vypadá jako nástupce i210 a třeba v oblasti PTP by to mohlo umět zase pár vychytávek navíc oproti osvědčené i210. Ve vanilce to má připravený driver igc. Bohužel v1 měla nějaký HW bug, v2 měla vyjít na podzim... a bohužel není k nalezení slušný datasheet.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 16. 03. 2021, 15:37:34
Teda zatím mi není jasné, jestli to jde aktuálně koupit...

Aha, tohle zřejmě čerstvě vyšlo:
https://ark.intel.com/content/www/us/en/ark/products/211808/intel-ethernet-network-adapter-i225-t1.html
Zkusím příležitostně slídit u distributorů - zatím to v ceníkách nevidím.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 16. 03. 2021, 15:48:43
A ještě jeden úlovek:
http://www.commell.com.tw/Product/Peripheral/PCI%20Express%20mini%20card/MPX-225.HTM
...jasně, u Taiwanců papír snese hodně (a co teprve PDFko) ale bez ohledu na dostupnost mi ta kartička přijde dost boží :-)
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 16. 03. 2021, 15:56:21
Ve vanilce to má připravený driver igc. Bohužel v1 měla nějaký HW bug, v2 měla vyjít na podzim... a bohužel není k nalezení slušný datasheet.

A co za podstatnou informaci hledate v datasheetu? Intel to pod NDA poskytne. Cip to je realny - vzdyt se nachazi na temer rok starych zakladovkach (to, zda funguje, je jiz vec jina.. AQT melo podobne detske nemoci).
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 16. 03. 2021, 16:13:15
Popravdě mě hodně zajímají věci, které na tomto fóru nejsou relevantní: IEEE1588 PTP a potenciálně SyncE. Což mi připomíná, že automotive segment má taky svůj profile PTP, ale v průměru pochybuji, že by zrovna tazatele toto zajímalo...

BTW ještě dva linky. Vím že jsem objevil ameriku s těmi motherboardy (gamesnické železo mě obvykle naprosto nezajímá) - viz první odkaz, diskuse pod deskou B550
https://www.czc.cz/asus-rog-strix-b550-e-gaming-amd-b550/289967/produkt/afmqj1b5bmh2q81duml4sn20he/diskuse
(BTW, respect CZC že necenzurujou)

A tady je dokonce nějaká fotka:
https://www.alza.cz/qnap-qxg-2g1t-i225-d6276557.htm
je mi ale otázkou, jestli tohleto odpovídá intelímu reference designu i225-T1.

Podepsat s Intelem NDA jsem už jednou zkusil, v případě, kde mi o něco doopravdy šlo. Takže už vím, že zkoušet to jenom tak ze štěněcí zvědavosti je ztráta času a marné úsilí. Prostě až to bude vidět u distributorů v ceníku, tak to mohu zkusit koupit a sám lupou na dílně zjistím, kterou to má revizi čipu :-)
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: RDa 16. 03. 2021, 17:25:33
A tady je dokonce nějaká fotka:
https://www.alza.cz/qnap-qxg-2g1t-i225-d6276557.htm
je mi ale otázkou, jestli tohleto odpovídá intelímu reference designu i225-T1.

cituji:
Síťová karta přenáší data rychlostí až 20000 Mb/s
Přenosová rychlost  20 000 Mb/s

Asi nejaky overclockersky model, nebo Intel aplikuje Turbo a PL2 Tau i do tohoto.. jen to nejak nevyslo :P
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 16. 03. 2021, 18:14:00
https://www.alza.cz/qnap-qxg-2g1t-i225-d6276557.htm

cituji:
Síťová karta přenáší data rychlostí až 20000 Mb/s
Přenosová rychlost  20 000 Mb/s

Asi nejaky overclockersky model, nebo Intel aplikuje Turbo a PL2 Tau i do tohoto.. jen to nejak nevyslo :P
no je to divný, kdyžtak 25 Gbps by v ethernetovém rastru vypadalo realističtěji :-)

Takováhle kartička v sortimentu QNAP je zjevně exot, a je to exot i na poměry alzáče. Z popisu produktů v e-shopech je vidět na první pohled, jestli kartu zakládal někdo disponující šedou kůrou a znalý svého zboží, nebo zelená obluda. Je to o lidech. A o předpokládaném obratu dotyčné skladové karty = jak moc si člověk dá záležet s popisem. Pokud je to víceméně "křoví na e-shop", tak někteří kolegové s oblibou převezmou Ctrl+Cizí/Ctrl+Vlastní původní popis produktu od výrobce, který bývá "marketingový", a tady ho možná někdo navíc pro větší přidanou hodnotu prohnal Google translátorem, načež provedl maximálně lingvistickou korekturu... garbage in, garbage out. Sorry za OT, do tohoto jsem taky fušoval...
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 16. 03. 2021, 23:55:10
Popravdě mě hodně zajímají věci, které na tomto fóru nejsou relevantní: IEEE1588 PTP a potenciálně SyncE.
Pardon, SyncE v kontextu i225 je hloupost. Ale IEEE1588 ten čip podporuje - resp. obsahuje PHC a hardwarové registry pro snímání časových značek.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: PanVP 17. 03. 2021, 07:45:50
Když 2.5 GbE tak snad raději Realteka ne?

https://pctuning.tyden.cz/hardware/site-a-internet/61227-zrychlete-jednoduse-stavajici-sit-2-5-gbps-se-switchem-qnap?start=5
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: Michal Kubeček 17. 03. 2021, 10:20:32
Když 2.5 GbE tak snad raději Realteka ne?
Když vidím, jak to poslední dobou vypadá s jejich drivery (např. neustálé tanečky kolem toho, kde ASPM náhodou funguje, kde je rozbité a kde úplně rozbité) a jak Realtek "spolupracuje", tak... raději ne.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: PanVP 17. 03. 2021, 10:29:31
jak to poslední dobou vypadá s jejich drivery

Takže chceš říct, že je na tom Intel líp?
Snad tě neurazí, že se tu budu delší dobu smát...
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: Michal Kubeček 17. 03. 2021, 10:43:24
Takže chceš říct, že je na tom Intel líp?
Snad tě neurazí, že se tu budu delší dobu smát...
Wired rozhodně (wireless, to je poslední dobou smutný příběh). Kdyby nic jiného, tak už tím, že ty drivery primárně vyvíjejí přímo vývojáři z Intelu. U Realteku je to dobrovolník zvenku a dá se mluvit o úspěchu, když se z Realteku podaří vyrazit aspoň nějaké střípky dokumentace. Např. mezi 5.0 a 5.11 bylo 1346 commitů zasahujících do drivers/net/ethernet/intel a 1038 z nich má autora s @intel.com adresou; do drivers/net/ethernet/realtek to bylo 346 commitů a autora s @realtek.com má z nich... 0.

Smát se samozřejmě můžete čemu chcete.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 17. 03. 2021, 11:21:43
Když 2.5 GbE tak snad raději Realteka ne?
Když vidím, jak to poslední dobou vypadá s jejich drivery (např. neustálé tanečky kolem toho, kde ASPM náhodou funguje, kde je rozbité a kde úplně rozbité) a jak Realtek "spolupracuje", tak... raději ne.

A hele, RTL8125, další hezký čip, nebo spíš rodinka...

Já bych byl k Realteku ohledně ASPM shovívavý. Tohle zlobí porůznu všem a už hodně dlouho. Pokud v daném případě nepotřebuju ždímat miliwatty spotřeby, což asi nepotřebuju nikdy, a něco mi v systému drhne směrem k periferiím, tak ASPM je první věc kterou vypínám. Bohužel vypnout ASPM v BIOSu na desktop/embedded motherboardech často nejde, k vidění je to spíš na serverových deskách... Ještě že Linux tohle umí vypnout i sám, tuším genericky.

Realteku palec nahoru za hezkou novou hračku a za údajnou podporu IEEE1588 (moje divná libůstka). Hm takže další čip, na který jsem zvědavý, a zatím kolem mě neprošel. Koukám že diskrétní karty tady prodává DeLock: 89531, 89532 (dual port! :-), 89564 . Hmmmmm ! :-) Škoda že není k dispozici datasheet RTL8125. Pokud byste měli někdo výpis 'ethtool -T' tak se pochlubte.

Jo kdyby tak Realtek protlačil funkční IEEE1588 TC šmahem do všech Eth switchů (nejlíp s volbou P2P nebo E2E), to by byla pohoda. Vedle čipsetů jde taky o podporu ve firmwaru. Zatím Marvell a Realtek nemají zřejmě dohromady nic a Broadcom se o něco snaží, ale co jsem viděl tak spíš kulhalo. Kdo má ve switchi PTP, má ho přilepené nějak po svém (FPGA v cestě MII).
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: PanVP 17. 03. 2021, 12:01:12

Kámoš mi dvě tyhle karty poslal (má je taky z Číny) a nepadají, chodí velmi spolehlivě, nehřejou a rozběhnout je bylo celkem easy. Navíc fungují i s tím výše uvedeným SFP+ převodníkem.

Navíc je ASUS vyšívá na desky, kam nedává Intel: RTL8125
https://www.asus.com/cz/news/oyzeidqsvnfqsdnx/

Ten 2.5 GbE je u lepších základovek dneska standard, mrkni sem, jsou na těchhle všech základovkách:
https://www.heureka.cz/?h%5Bfraze%5D=rtl8125

A s podporou to taky ujde: https://linuxreviews.org/Realtek_RTL_8125

Navíc z Číny...za čtyři sta... ::)

Mimochodem v tom článku je zmíněný NAS i ASUS router s 2.5 GbE.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: Michal Kubeček 17. 03. 2021, 12:32:21
Škoda že není k dispozici datasheet RTL8125. Pokud byste měli někdo výpis 'ethtool -T' tak se pochlubte.
Jak tak koukám do zdrojáků, realtek phy driver nic neposkytuje a žádný realtek NIC driver neposkytuje nic jiného než ethtool_op_get_ts_info(), takže vrátí SOF_TIMESTAMPING_TX_SOFTWARE | SOF_TIMESTAMPING_RX_SOFTWARE | SOF_TIMESTAMPING_SOFTWARE. Nevím, co umí ten hardware, ale ať umí cokoli, driver to nepodporuje.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 17. 03. 2021, 12:38:27
Škoda že není k dispozici datasheet RTL8125. Pokud byste měli někdo výpis 'ethtool -T' tak se pochlubte.
Jak tak koukám do zdrojáků, realtek phy driver nic neposkytuje a žádný realtek NIC driver neposkytuje nic jiného než ethtool_op_get_ts_info(), takže vrátí SOF_TIMESTAMPING_TX_SOFTWARE | SOF_TIMESTAMPING_RX_SOFTWARE | SOF_TIMESTAMPING_SOFTWARE. Nevím, co umí ten hardware, ale ať umí cokoli, driver to nepodporuje.
Odvedl jste práci za mě, děkuji :-)
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: František Ryšánek 18. 03. 2021, 14:23:04
Škoda že není k dispozici datasheet RTL8125. Pokud byste měli někdo výpis 'ethtool -T' tak se pochlubte.
Jak tak koukám do zdrojáků, realtek phy driver nic neposkytuje a žádný realtek NIC driver neposkytuje nic jiného než ethtool_op_get_ts_info(), takže vrátí SOF_TIMESTAMPING_TX_SOFTWARE | SOF_TIMESTAMPING_RX_SOFTWARE | SOF_TIMESTAMPING_SOFTWARE. Nevím, co umí ten hardware, ale ať umí cokoli, driver to nepodporuje.
Ha. Ona to není celá pravda. Zkusil jsem se mrknout do zdrojáku, co je ke stažení u Realteku (https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software) a ejhle:

Kód: [Vybrat]
int rtl8125_get_ts_info(struct net_device *netdev,
                        struct ethtool_ts_info *info)
{
        struct rtl8125_private *tp = netdev_priv(netdev);

        /* we always support timestamping disabled */
        info->rx_filters = BIT(HWTSTAMP_FILTER_NONE);

        if (tp->HwSuppPtpVer == 0)
                return ethtool_op_get_ts_info(netdev, info);

        info->so_timestamping =  SOF_TIMESTAMPING_TX_SOFTWARE |
                                 SOF_TIMESTAMPING_RX_SOFTWARE |
                                 SOF_TIMESTAMPING_SOFTWARE |
                                 SOF_TIMESTAMPING_TX_HARDWARE |
                                 SOF_TIMESTAMPING_RX_HARDWARE |
                                 SOF_TIMESTAMPING_RAW_HARDWARE;

        if (tp->ptp_clock)
                info->phc_index = ptp_clock_index(tp->ptp_clock);
        else
                info->phc_index = -1;

        info->tx_types = BIT(HWTSTAMP_TX_OFF) | BIT(HWTSTAMP_TX_ON);

        info->rx_filters = BIT(HWTSTAMP_FILTER_NONE) |
                           BIT(HWTSTAMP_FILTER_PTP_V2_EVENT) |
                           BIT(HWTSTAMP_FILTER_PTP_V2_L4_EVENT) |
                           BIT(HWTSTAMP_FILTER_PTP_V2_SYNC) |
                           BIT(HWTSTAMP_FILTER_PTP_V2_L4_SYNC) |
                           BIT(HWTSTAMP_FILTER_PTP_V2_DELAY_REQ) |
                           BIT(HWTSTAMP_FILTER_PTP_V2_L4_DELAY_REQ);

        return 0;
}

...atd. Dotyčný soubor se jmenuje r8125_ptp.c .
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: Michal Kubeček 18. 03. 2021, 17:57:30
Ha. Ona to není celá pravda. Zkusil jsem se mrknout do zdrojáku, co je ke stažení u Realteku (https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software) a ejhle:
...a to je přesně ten problém, na který jsem narážel v předchozích komentářích. Doba, kdy stačilo čas od času někde vystavit tarball a vendor byl oslavován jako super vstřícný k Linuxu, je už dávno pryč. Zrovna v oblasti ethernetových karet je dost výrobců, kteří s upstreamem opravdu spolupracují - ale Realtek mezi ně bohužel nepatří. Proto už také dávno neplatí, že Realtek má mizerný hardware a skvělé linuxové drivery; hardware už není tak špatný, ale u driverů je te vývoj bohužel opačný.
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: Juraj Kvasnica 20. 03. 2021, 16:02:31
V Novej generacii dosiek od Intelu aj AMD uz ma byt 10Gbit Ethernet standard.
Dufam ze bude nebude nanutene v kazdej High-End doske WiFi.
(a dufam ze uz ziadny vyrobca nebude pchat na ventilatory na dosky na chipset)
Název: Re:Nějaký devboard či box s 1×10GE a aspoň 2×1GE porty?
Přispěvatel: PanVP 20. 03. 2021, 21:39:36
Fučák na chipsetu je brutální fail.
Bohužel, když chceš solidní napájecí kaskádu, potřebuješ nejvyšší řadu chipset = s fučákem.
FUJ

Asus tam dává fučáky od Delty, ta dělá fučáky i pro servery, takže to je menší, ale pořád svinstvo.