Upload na Amazon AWS rychlostí jen 3 Mbps

[Hamparle]

Dobrý den, opravte mě, pokud můj pohled na tohle je špatný. Ale je mi divné, že když jsem dnes dělal upload na amazonaws, šlo to 3Mbps. ( Mám 100/100). Chápu, že každá služba si může určit jak rychle dovolí uživateli uploadovat(například když má účet premium či běžný nebo anonymně) a také že rychlost uploadu závisí jednak (mezi)trase (to by u amazon aws neměl být problém, to není nějaká bídná linka přes Zakarpatskou rus, to jsou rychlé cdn atd ) a také na cílovém serveru (nějaký domácí servřík na vyřazeném Atomu se 100Mbps síťovkou, to taky není myslím případ tento)

Takže i když je to takhle obecný dotaz, dá se odpovědět, proč to "do amazon.AWS" nefičí rychleji? Není 3Mbps poněkud málo?

[Reklama]

[Jan Forman]

100/100 asi nebudeš mít do tranzitu, ale jen po ČR. Málo to je, o tom žádná.
Internet je docela nehomogenní byznys, každý si může objednat konektivitu dle svých finančních možností.
Tranzit je řádově dražší, než ČR dost často s limitem dat, takže se škrtí normálně.

[🇺🇦 cjohn]

A co je "upload" v tvojom pripade? Aky protol (http, ftp, sftp, scp) a aka AWS sluzba (EC2, S3, ...) je na druhej strane?
Viem si predstavit, ze tvoje ocakavania 100Mbs pri urcitych kombinaciach nebudu naplnene - napr. EC2 t2.nano cez scp protokol.

[RandomGuy]

presne jak rika cjohn. Mam upload do S3 1Gbps, upload na nejakou malou EC2 instanci mam par Mbitu...

[TWVzc2E]

internet je džungle. Běžně se mi stávalo, že upload do zahraničí tunelovaný skrz malý virtuál v master.cz jel mnohem rychleji, než napřímo (z domácího připojení). Nebo třeba minulý týden jsem měl packet lossy do jistého lowcost německého hostingu - ale jen na ipv4, ipv6 jelo v pohodě.

Třeba máš špatnou konfiguraci ipv6 (zapnuté 6to4?) a když se ti zdá, že to jede rychle, tak je to přes ipv4.

[Reklama]

[janevim11165123]

presne jak rika cjohn. Mam upload do S3 1Gbps, upload na nejakou malou EC2 instanci mam par Mbitu...

Jak to děláš? Já 1 Gbps dosahuju do Azure pomocí jejich azcopy, což je silně optimalizovaná utilita napsaná v go, která pravděpodobně využívá HW akceleraci (1 Gpbs dám na svém notebooku s i3-8130U při vytížení CPU okolo 40%), ale do AWS se mi to nikdy nepovedlo. Respektive nanašel jsem nic co by SSL provoz šifrovalo pomocí HW akcelerace. Jejich utilita v pythonu je výkonově úplná katastrofa a i když jsem si napsal klient pomocí API (zkoušel jsem C# a javu) s paralelním odesíláním bloků, tak to vždy stroskotalo, že i Xeony horto těžko ušifrovaly víc než 600 Mbps. Proto by mě zajímalo jak do AWS S3 dosahuješ 1 Gbps?

[RandomGuy]

presne jak rika cjohn. Mam upload do S3 1Gbps, upload na nejakou malou EC2 instanci mam par Mbitu...

Jak to děláš? Já 1 Gbps dosahuju do Azure pomocí jejich azcopy, což je silně optimalizovaná utilita napsaná v go, která pravděpodobně využívá HW akceleraci (1 Gpbs dám na svém notebooku s i3-8130U při vytížení CPU okolo 40%), ale do AWS se mi to nikdy nepovedlo. Respektive nanašel jsem nic co by SSL provoz šifrovalo pomocí HW akcelerace. Jejich utilita v pythonu je výkonově úplná katastrofa a i když jsem si napsal klient pomocí API (zkoušel jsem C# a javu) s paralelním odesíláním bloků, tak to vždy stroskotalo, že i Xeony horto těžko ušifrovaly víc než 600 Mbps. Proto by mě zajímalo jak do AWS S3 dosahuješ 1 Gbps?

server s 10Gbit sitovkou s w2019 a nejaky zalohovaci sw od CloudBerry. To same dela kazdy server poskytujici SSL a nevsiml jsem si ze by zadny z nich neumel 1Gbit... Podle me mas problem nekde s IOPS nebo pouzivas nejakeho sileneho klienta. Pokud mas dobrou konektivitu do amazonu tak by jsi mohl dosahovat 1Gbps.

[Hamparle]

100/100 asi nebudeš mít do tranzitu, ale jen po ČR. Málo to je, o tom žádná.
Internet je docela nehomogenní byznys, každý si může objednat konektivitu dle svých finančních možností.
Tranzit je řádově dražší, než ČR dost často s limitem dat, takže se škrtí normálně.

Zkusil jsem pár testů (Down/up:
Itálie: 51/12
Japonsko: 26/6
Slováci: 25/15

To EC2 a S4  a nano  a instance jsem nepobral. To jsou nějak segmentované služby, kde je rychlost horší/sdílená/nezaručené?

[RandomGuy]

tak treba EC2 instance ma nejake IOPS, nejaky vykon. TLS potrebuje nejaky sifrovaci vykon a kdyz mu data 0.0prd tak i kdyby jste mel 100Gbit tak vice nez par mega neprotlacite... To same pokud ukladate na storage ktery ma 2IOPS tak nemuzete cekat ze tam narvete v tech 2IOPS 100Mb...

[🇺🇦 cjohn]

EC2 maju aj oficialne vagne definovane rychlosti siete pre rozne instance types (https://aws.amazon.com/ec2/instance-types/), napr.: very low, low, moderate, ...
Ked pogoglis tak nejdes aj realne merania: https://cloudonaut.io/ec2-network-performance-cheat-sheet/
Teda od t2.nano sa da dlhodobo ocakavat iba ~30Mbps, ale od m5.24xlarge uz 21Gbps

[neregistrovany]

Hodte sem traceroute a uvidime zda ma vas provider primy peer na tier1 carrier, nebo zda si platite Xkrat preprodany bazmek.