Upload na Amazon AWS rychlostí jen 3 Mbps

Hamparle

  • ****
  • 360
  • junior developer ucho
    • Zobrazit profil
    • E-mail
Upload na Amazon AWS rychlostí jen 3 Mbps
« kdy: 20. 09. 2020, 11:29:15 »
Dobrý den, opravte mě, pokud můj pohled na tohle je špatný. Ale je mi divné, že když jsem dnes dělal upload na amazonaws, šlo to 3Mbps. ( Mám 100/100). Chápu, že každá služba si může určit jak rychle dovolí uživateli uploadovat(například když má účet premium či běžný nebo anonymně) a také že rychlost uploadu závisí jednak (mezi)trase (to by u amazon aws neměl být problém, to není nějaká bídná linka přes Zakarpatskou rus, to jsou rychlé cdn atd ) a také na cílovém serveru (nějaký domácí servřík na vyřazeném Atomu se 100Mbps síťovkou, to taky není myslím případ tento)

Takže i když je to takhle obecný dotaz, dá se odpovědět, proč to "do amazon.AWS" nefičí rychleji? Není 3Mbps poněkud málo?
« Poslední změna: 20. 09. 2020, 18:27:26 od Petr Krčmář »


Re:upload na amazonaws 3Mbps?
« Odpověď #1 kdy: 20. 09. 2020, 16:58:01 »
100/100 asi nebudeš mít do tranzitu, ale jen po ČR. Málo to je, o tom žádná.
Internet je docela nehomogenní byznys, každý si může objednat konektivitu dle svých finančních možností.
Tranzit je řádově dražší, než ČR dost často s limitem dat, takže se škrtí normálně.
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

Re:Upload na Amazon AWS rychlostí jen 3 Mbps
« Odpověď #2 kdy: 20. 09. 2020, 21:14:41 »
A co je "upload" v tvojom pripade? Aky protol (http, ftp, sftp, scp) a aka AWS sluzba (EC2, S3, ...) je na druhej strane?
Viem si predstavit, ze tvoje ocakavania 100Mbs pri urcitych kombinaciach nebudu naplnene - napr. EC2 t2.nano cez scp protokol.

Re:Upload na Amazon AWS rychlostí jen 3 Mbps
« Odpověď #3 kdy: 21. 09. 2020, 14:42:21 »
presne jak rika cjohn. Mam upload do S3 1Gbps, upload na nejakou malou EC2 instanci mam par Mbitu...

Re:Upload na Amazon AWS rychlostí jen 3 Mbps
« Odpověď #4 kdy: 21. 09. 2020, 16:15:48 »
internet je džungle. Běžně se mi stávalo, že upload do zahraničí tunelovaný skrz malý virtuál v master.cz jel mnohem rychleji, než napřímo (z domácího připojení). Nebo třeba minulý týden jsem měl packet lossy do jistého lowcost německého hostingu - ale jen na ipv4, ipv6 jelo v pohodě.

Třeba máš špatnou konfiguraci ipv6 (zapnuté 6to4?) a když se ti zdá, že to jede rychle, tak je to přes ipv4.


Re:Upload na Amazon AWS rychlostí jen 3 Mbps
« Odpověď #5 kdy: 22. 09. 2020, 08:37:22 »
presne jak rika cjohn. Mam upload do S3 1Gbps, upload na nejakou malou EC2 instanci mam par Mbitu...

Jak to děláš? Já 1 Gbps dosahuju do Azure pomocí jejich azcopy, což je silně optimalizovaná utilita napsaná v go, která pravděpodobně využívá HW akceleraci (1 Gpbs dám na svém notebooku s i3-8130U při vytížení CPU okolo 40%), ale do AWS se mi to nikdy nepovedlo. Respektive nanašel jsem nic co by SSL provoz šifrovalo pomocí HW akcelerace. Jejich utilita v pythonu je výkonově úplná katastrofa a i když jsem si napsal klient pomocí API (zkoušel jsem C# a javu) s paralelním odesíláním bloků, tak to vždy stroskotalo, že i Xeony horto těžko ušifrovaly víc než 600 Mbps. Proto by mě zajímalo jak do AWS S3 dosahuješ 1 Gbps?

Re:Upload na Amazon AWS rychlostí jen 3 Mbps
« Odpověď #6 kdy: 23. 09. 2020, 12:49:47 »
presne jak rika cjohn. Mam upload do S3 1Gbps, upload na nejakou malou EC2 instanci mam par Mbitu...

Jak to děláš? Já 1 Gbps dosahuju do Azure pomocí jejich azcopy, což je silně optimalizovaná utilita napsaná v go, která pravděpodobně využívá HW akceleraci (1 Gpbs dám na svém notebooku s i3-8130U při vytížení CPU okolo 40%), ale do AWS se mi to nikdy nepovedlo. Respektive nanašel jsem nic co by SSL provoz šifrovalo pomocí HW akcelerace. Jejich utilita v pythonu je výkonově úplná katastrofa a i když jsem si napsal klient pomocí API (zkoušel jsem C# a javu) s paralelním odesíláním bloků, tak to vždy stroskotalo, že i Xeony horto těžko ušifrovaly víc než 600 Mbps. Proto by mě zajímalo jak do AWS S3 dosahuješ 1 Gbps?
server s 10Gbit sitovkou s w2019 a nejaky zalohovaci sw od CloudBerry. To same dela kazdy server poskytujici SSL a nevsiml jsem si ze by zadny z nich neumel 1Gbit... ;) Podle me mas problem nekde s IOPS nebo pouzivas nejakeho sileneho klienta. Pokud mas dobrou konektivitu do amazonu tak by jsi mohl dosahovat 1Gbps.

Hamparle

  • ****
  • 360
  • junior developer ucho
    • Zobrazit profil
    • E-mail
Re:upload na amazonaws 3Mbps?
« Odpověď #7 kdy: 23. 09. 2020, 14:04:24 »
100/100 asi nebudeš mít do tranzitu, ale jen po ČR. Málo to je, o tom žádná.
Internet je docela nehomogenní byznys, každý si může objednat konektivitu dle svých finančních možností.
Tranzit je řádově dražší, než ČR dost často s limitem dat, takže se škrtí normálně.
Zkusil jsem pár testů (Down/up:
Itálie: 51/12
Japonsko: 26/6
Slováci: 25/15

To EC2 a S4  a nano  a instance jsem nepobral. To jsou nějak segmentované služby, kde je rychlost horší/sdílená/nezaručené?

Re:Upload na Amazon AWS rychlostí jen 3 Mbps
« Odpověď #8 kdy: 23. 09. 2020, 14:38:29 »
tak treba EC2 instance ma nejake IOPS, nejaky vykon. TLS potrebuje nejaky sifrovaci vykon a kdyz mu data 0.0prd tak i kdyby jste mel 100Gbit tak vice nez par mega neprotlacite... To same pokud ukladate na storage ktery ma 2IOPS tak nemuzete cekat ze tam narvete v tech 2IOPS 100Mb...

Re:Upload na Amazon AWS rychlostí jen 3 Mbps
« Odpověď #9 kdy: 23. 09. 2020, 14:58:14 »
EC2 maju aj oficialne vagne definovane rychlosti siete pre rozne instance types (https://aws.amazon.com/ec2/instance-types/), napr.: very low, low, moderate, ...
Ked pogoglis tak nejdes aj realne merania: https://cloudonaut.io/ec2-network-performance-cheat-sheet/
Teda od t2.nano sa da dlhodobo ocakavat iba ~30Mbps, ale od m5.24xlarge uz 21Gbps

Re:Upload na Amazon AWS rychlostí jen 3 Mbps
« Odpověď #10 kdy: 23. 09. 2020, 21:18:46 »
Hodte sem traceroute a uvidime zda ma vas provider primy peer na tier1 carrier, nebo zda si platite Xkrat preprodany bazmek.