Mate nekdo zkusenosti qsfp28 ethernetem?

Jose D

  • *****
  • 850
    • Zobrazit profil
Re:Mate nekdo zkusenosti qsfp28 ethernetem?
« Odpověď #15 kdy: 10. 12. 2017, 18:52:50 »
ethernet je drahý, nikdy mě ani nenapadlo zkoušet kolik to dá
má to určitý využití když propojuješ víc systémů - ať už jde o externí konektivitu, nebo propojení různých systémů v baráku, tak Eth je jednodušší interface než IB.

Přes  IPoIB by to mělo jít vytížit naplno, musí se ale zvýšit mtu, trochu poladit tcp stack na OS a nic tomu nebrání.
u nás na firmě koluje empirické pravidlo že přes 56Gbit IB FDR protáhneš tak 40Gbit IPoIB. Lepší čísla jsem se nikdy ani nepokoušel získat. Je to nějak konzistentní s tvým měřením?


Tomas2

  • ****
  • 310
    • Zobrazit profil
    • E-mail
Re:Mate nekdo zkusenosti qsfp28 ethernetem?
« Odpověď #16 kdy: 10. 12. 2017, 20:55:13 »
jasně, ethernet je univerzální, od toho to tam je, jinak by to nebylo konkurence schopné.

IPoIB má režii asi 25 %, záleží na typu komunikace a jde o to, že do IB dataframů musí zabalit ethernet dataframy a pak ti stejně ve využití celého pásma brání čekání na ACK, UDP je v tomhle případě vhodnější. Pokud to myslíš takhle, tak opravdu do 56G IB se vyjde tak akorát 40G ETH.

Málokdy ale máme jednu kartu, vždy kvůli HA dáváme dvě dvou portové karty a pak je otázka pár korunek i ty porty zapojit, takže kvůli potřebě mít nominálních 40 Gb/s na server najednou máme 4 x 56 Gb/s. Umožní to poté dělat údržbu za provoz a mít rezervu na výpadky.