Fórum Root.cz

Hlavní témata => Sítě => Téma založeno: MiroslavPragl 21. 11. 2024, 14:40:30

Název: SMB client - multichannel support
Přispěvatel: MiroslavPragl 21. 11. 2024, 14:40:30
Ahoj, je tu nejaky zkuseny CIFS/Samba odbornik? Nedari se mi prinutit smb klienta, aby pouzival 2 sitovky v multichannel modu:

Konfigurace klienta: UBUNTU server, Samba client 4.19.5-Ubuntu.
 
Problem:
server ma 2 GBe adapters, IP addresses: 10.0.0.242, 10.0.0.243 (fixed)
client ma 2 GBe adapetrs, IP addresses: 10.0.0.19, 10.0.0.36 (DHCP)
(takze celkem 4 kabely v temze switchi)
 
1) primountuji share ze smb serveru pomoci libovolne z jeho IPs:
mount -t cifs -o multichannel,username=******,pass=******,vers=3.11 //10.0.0.243/WindowsImageBackup /mnt/WindowsImageBackup
 
2) samba client korektne pozna obe server IPs a pouzije je, viz log:
[   19.356382] CIFS: Attempting to mount //10.0.0.243/WindowsImageBackup
[   19.471326] CIFS: VFS: successfully opened new channel on iface:10.0.0.242
 
3) ale klient ma bind jen na JEDNU local IP (.19). Druha klientova IP (.36) se flaka:
netstat -n|grep 10.0.0.24[23]
tcp        0      0 10.0.0.19:45554         10.0.0.243:445          ESTABLISHED
tcp        0      0 10.0.0.19:33314         10.0.0.242:445          ESTABLISHED
 
Takze rychlost je samozrejme jen 1 Gbps misto ocekavanych 2. Bottleneck je pouzivani jedineho adapteru klienta.
Server ma pouzite / vytizerne oba adaptery, celkem rovnomerne  (kazdy ~ 500 Mbps)

Pokud na teze konfiguraci nabootuji Win 11, mam samozrejme rychlost 2 Gbps dle ocekavani

Predem dik za rady

MP
 
Název: Re:SMB client - multichannel support
Přispěvatel: M Z 21. 11. 2024, 15:15:01
Pokud se za poslednich par mesicu nic nezmenilo, tak linuxovi cifs klient multichannel nepodporuje.

Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 21. 11. 2024, 15:25:34
Mohl bys poslat odkaz?
Ze je to experimentalni feature vim, ale jak vidis, klient pouziva 2 kanaly, jen oba z jedne klientske sitovky.

Treba je omezene podporovany jen multichannel pomoci RSS jedne sitovky, ale nikde jsem nenasel jasnou informaci.

Dik

MP
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 21. 11. 2024, 15:35:44
Jeste doplnim kernel 6.8.0-49

Multichannel by MEL BYT podporovan jadernym modulem (dle https://wiki.samba.org/index.php/LinuxCIFSKernel) od kernelu 5.5

MP
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 21. 11. 2024, 20:01:02
Wel yes, but actually no.

Resp. dostal jsem prvni odpoved od samba.org, kam jsem hlasil jako potencialni chybu, volne prekladam:
"neni to chyba, je to vlastnost; multichannel znamena, ze klient pouziva jednu sitovku, a server 2 a vice"
Neslusne jsem odpovedel neco jako ze take dokazu zvysit vykon zasuvky tim, ze do ni dam rozdvojku.

Asi jsem ti mel verit, nicmene bez odkazu na ofiko dokumentaci jsem neduverivy.

MP

Název: Re:SMB client - multichannel support
Přispěvatel: ja. 21. 11. 2024, 20:36:39
Ako tu už bolo spomenuté, libsmbclient (súčasť samby) nepodporuje multichannel. Multichannel podporuje samba iba na strane serveru.

Modul z jadra možno áno, ale to nie je to, čo Ubuntu (gvfs, kio) používajú.

Multichannel samozrejme môžu podporovať aj klienti a to je presne to, čo robí napríklad Windows alebo MacOS. Viacero sieťových rozhraní je pritom len jedna alternatíva, ďalšou je použitie sieťových rozhraní s asymetrickou kapacitou (napr. klient má 2.5 GbE a server niekoľko 1 GbE rozhraní; keď klient vytvorí 2-3 spojenia multichannel, pôjde mu to rýchlejšie aj s jedným rozhraním), alebo ďalšou alternatívou je použitie iných transportov ako tcp (RoCE/RDMA, ktoré sú z pohľadu protokolu ďalší kanál). Ďalšia možnosť je teaming/bonding, keď klient chce vyťažiť jeho kapacitu, tak nutne potrebuje viacero tcp spojení. Dokonca aj keď má zariadenie len jednu sieťovku, ktorej bandwidth je menší ako naproti na serveri, môže multichannel priniesť zrýchlenie, pretože RSS.

No ale presne toto je to, čo libsmbclient používaný v linuxových DE nevie. Niektoré, nebudem teraz ukazovať prstom, jeden dokonca robí kontraproduktívne veci, ako je rozsekanie trafficu na 64kB segmenty, čím spoľahlivo zabije možnosť mať viacero paralelných async requestov (ktoré libsmbclient vie).
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 21. 11. 2024, 21:33:54
Dik.
Jak uz jsem psal, kdyby neumel vubec, byl bych s tim OK. Ale zere me, ze umi udelat 2 klientske sockety proti 2 serverovym IP/if, jen ne z ruznych zdrojovych IP/if.

Je to skoda, smb je solidni protokol/filesystem. Mozna nejlepsi.

MP

P.S. Proc to delam: dostal jsem vyrazenou SAS paskovou mechaniku, jsou brzo vecery, hraju si:

- Pro Win jsem nenasel solidne optimalizovany tar (da na 2gigabitove siti ledva 1 gigabit, evidentne mu nesedi \\.\tape0).
- V linuxu je zase brzdou sit (viz vyse), tar jsem musel naspeedovat pres mbuffer, jinak s malymi soubory je to tragedie na kvadrat.
- Veeam community jede pres \\.\tape0 jak z praku,kesuje si sam, pokud mechanika komprimuje tak mu nestaci ani ty 2 Gb, ale je to moloch s proprietarnim formatem a principialne neumi o moc vic nez ten dedek tar. Nechci nechci. Nechci nechci.
Název: Re:SMB client - multichannel support
Přispěvatel: Michal Šmucr 21. 11. 2024, 23:53:40
V poslední době jsem neměl moc potřebu tohle řešit, protože jsem používal buď rychlejší rozhraní nebo bonding (a víc klientů), ale je to zajímavé.

Zkusil jsem si to nasimulovat a musím říct, že se to chová dost specificky.
Pokus jsem dělal jen teď na QEMU/KVM virtuálu, kde jsem pak zalimitoval rychlost dvou síťovek na fyzický počítač (který byl zároveň CIFS klientem) na cca 1Gbit.
SMB multichannel připojení se povedlo.
Pro jistotu jsem to ověřil přes

echo 1 >/proc/sys/kernel/sysrq
echo 1 >/proc/fs/cifs/cifsFYI

cat /proc/fs/cifs/DebugData

...kde pak bylo následující:

   Server interfaces: 2   Last updated: 570 seconds ago
   1)   Speed: Unknown
      Capabilities: None
      IPv4: 192.168.202.240
      Weight (cur,total): (1,1)
      Allocated channels: 1
      [CONNECTED]

   2)   Speed: Unknown
      Capabilities: None
      IPv4: 192.168.202.134
      Weight (cur,total): (1,1)
      Allocated channels: 1
      [CONNECTED]

Při čtení ze serveru to pak jelo pokaždé pouze přes adresu a síťovku, kterou jsem použil při připojování CIFS sdílené složky (tedy v mém případě první).
Ať jsem nastavoval, co chtěl, měnil způsoby čtení (iodepth, vlákna..), zkoušel různé nastavení SAMBY na serveru atp.
Monitoroval jsem na serveru i device statistiku přes sar (ze sysstatu) a data šla vždy jen přes jednu síťovku.

Ano podle toho by se zdálo, že to opravdu nefunguje (minimálně na agregaci rychlosti, failover jsem nezkoušel)
Nicméně pak jsem testoval zápis.
Pokud to bylo jednovláknový zápis s iodepth=1 (nebo třeba jednoduchý zápis z urandom přes dd), tak se to chovalo úplně stejně jako čtení - vše přes první síť.
Ale když jsem zvedl iodepth třeba na 4, nebo na server zapisoval víc souborů naráz, tak to vysaturovalo obě linky na max.
I při kopírování souboru v Nautilu (GNOME) na server to šlo v pohodě až na 220MB/s - kopírování tady evidentně také naplní delší frontu IO operací a ty pak jedou přes obě spojení/adresy.

Takže v tomhle testovacím prostředí to vypadá, že multichannel smysl má i z Linuxového CIFS klienta, ale jen pro zápis.

Možná by na to čtení teoreticky mohlo mít vliv i to, že mám s těmi virtuály specifickou topologii sítě s bridgem a pokud bych to opakoval třeba na dvou fyz. počítačích, kdy by měl každý dvě fyz. síťovky, tak by se to mohlo chovat odlišně.. Ale moc bych na to nesázel. Plus jsem dělal teď jen rychlý test, nehledal jsem nikde ve fórech, mailing listech atp.
Název: Re:SMB client - multichannel support
Přispěvatel: Michal Šmucr 22. 11. 2024, 02:10:50
Tak ještě další věci.
Teď jsem si všiml, že v předchozím příspěvku jsem psal o tom povolení sysrq a cifsFYI přes sysfs.. To jsem omylem zkopíroval z historie terminálu, kde to bylo pro ukecanější debug přes dmesg, což by to info o spojeních v DebugData nemělo být třeba, pardon.
Dělal ještě test s víc jádry, resp cifs moduly.
U 5.15 a CIFS modulem 2.33 (Oracle UEK) to chodí přes jednu síťovku jak pro čtení, tak i zápis.
To, co jsem psal předtím, že zápis využije obě síťovky, fungovalo s kernelem 5.11 a CIFS modulem 2.50 (jak Oracle UEK Next, tak OpenSUSE Tubmleweed).
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 22. 11. 2024, 08:47:11
Dik moc.
Jeste zkusim zcela jine distro

MP

P.S. hadej kterou sitovku si smb client vybral jako tu jedinou, pres kterou bude komunikovat? Spravne, tu suplikovou USB3 bez podpory RSS.
Název: Re:SMB client - multichannel support
Přispěvatel: M Z 22. 11. 2024, 11:20:09
Zkousej , zkousej pokud by se ti to podarilo tak by se mi to moc hodilo ;D. Ale z me zkusenosti je vzhledem k nefunkcnimu multichannelu a SMB direct cokoliv rychlejsiho nez 10Gb naprosty overkill. Pokud si dobre pamatuji maximalne jsme se dostali na rychlost 800MB/s zatimco s Windows 10 to brzdil NVME disk na 3400MB/s, testovano na 100Gb siti.
Název: Re:SMB client - multichannel support
Přispěvatel: Michal Šmucr 22. 11. 2024, 11:27:11
Uvidíš, jak se to bude chovat na tvé konfiguraci. Asi by měla stačit jakákoliv živá distribuce s novějším jádrem. Třeba Clonezilla je založená na posledním Ubuntu resp. Debianu Sid a mají obě také 6.11. Když to naběhne a zkonfiguruje se síť, tak je tam normálně dostupný apt a dá se přidat třeba fio pro rychlé testy oproti SAMBA serveru.

Já, pokud to někdy vyjde, zkusím otestovat ještě na fyz. hardware. Tohle byl jen takový rychlý pokus.

fungovalo s kernelem 5.11 a CIFS modulem 2.50 (jak Oracle UEK Next, tak OpenSUSE Tubmleweed).

A ještě se omlouvám za další překlep, myslel jsem kernel 6.11 (aktuální stable).
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 22. 11. 2024, 11:37:24
Pises 5.11 -> ctu 6.11 :)

Udelam nejdriv upgrade na nejnovejsi (non-LTS) Ubuntu Server verzi, tam by mel byt kernel 6.11

Samozrejme dam vedet, treba se nekomu bude vydledek hodit

Dik!

MP
Název: Re:SMB client - multichannel support
Přispěvatel: rushlife 22. 11. 2024, 11:54:50
https://www.samba.org/samba/history/samba-4.4.0.html
Název: Re:SMB client - multichannel support
Přispěvatel: Michal Šmucr 22. 11. 2024, 12:15:37
https://www.samba.org/samba/history/samba-4.4.0.html

?

To je strana CIFS serveru, dostalo se to tam v první podobě zhruba před osmi lety. Jak už zaznělo v prvním příspěvku, tak z Windows ten multichannel proti Sambě chodí. Problém je dosáhnout téhož při připojení z Linuxu klienta a CIFS modulem v jádře.
Název: Re:SMB client - multichannel support
Přispěvatel: M Z 22. 11. 2024, 14:27:05
smb.conf option: "server multi channel support"
nomen omen  8)
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 22. 11. 2024, 14:56:00
Uz to, ze jednou se v dokumentaci pise o multichannel, pak o multi-channel, pripadne Multi-Channel o necem hovori a hrozne blbe se to hleda.

Zpet k me konfiguraci:
upgrade na kernel 6.11.0-9-generic #9-Ubuntu, samba 4.20.4-Ubuntu-4.20.4+dfsg-1ubuntu1, STEJNE CHOVANI

MP
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 22. 11. 2024, 14:58:07
smb.conf option: "server multi channel support"
nomen omen  8)
Ale ja mam problem na KLIENTU (-o multichannel), server slape jak z praku!

MP
Název: Re:SMB client - multichannel support
Přispěvatel: LolPhirae 22. 11. 2024, 15:07:45
To bude asi tím, že ta volba je pro server a ne pro klienta, jak název napovídá.  ;D ::)
Název: Re:SMB client - multichannel support
Přispěvatel: Michal Šmucr 22. 11. 2024, 23:49:57
Zpet k me konfiguraci:
upgrade na kernel 6.11.0-9-generic #9-Ubuntu, samba 4.20.4-Ubuntu-4.20.4+dfsg-1ubuntu1, STEJNE CHOVANI

Tak jsem se k tomu ještě na chvíli vrátil.

Dva virtuály..
- klient je Clonezilla (založeno na Ubuntu Oracular verze s kernelem 6.11.0-8-generic, abych se trochu přiblížil tvé konfiguraci)
- server pak openSUSE Leap 15.6 (kernel 6.4.0)
Je tam distr. balíček samba-4.19.8+git.368.51d32c069f-150600.3.6.11.x86_64
Server je totéž, co jsem používal včera.

Každý virtuál má dvě přidané virt. síťovky, co jsou limitované v QEMU na 1 Gbit a dedikované jen na test. Samba na serveru je pak nastavená tak, aby poslouchala jen na těchhle rozhraních.

Ale napadla mě od minula ještě drobná změna - dal jsem každou z těch párových síťovek do jiné virtuální síťě (isolated, každá svůj bridge) a nastavil jiný subnet.
Začalo to vše chodit - i pro čtení ze serveru se to rozkládá přes obě síťovky. Jediné, kdy to pak jede jen přes jednu je při zápisu s iodepth 1, ale to by bylo pořád docela logické.

Všechno tady:
https://youtu.be/RD3x8W-JE_A

Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 23. 11. 2024, 09:08:42
Dik moc.

To me uz take napadlo (je to sice spise scenar pro redundancy a ten muj je spise pro throughput).
Ale uplne se mi uplne nechce prekonfigurovavat server.

Dava to logiku / odhad, kde je problem:
Server nahlasi dalsi IP a moznost multichannel pripojeni.
Pri druhem spojeni na server se pouzije sitovka (pokud maji stejnou rychlost), ktera ma vyhodnejsi trasu do druhe IP.  Pokud je to extra sit, je vyber jasny. Pokud stejna sit, vybere smbclient tu 1. v poradi, tedy stejnou, jako pro prvni pripojeni.

MP
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 23. 11. 2024, 10:28:30
Ted mi doslo, ze jsem nezkontroloval metriky tech interfaces ve stejne siti, treba je prob jeste tam

MP
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 23. 11. 2024, 14:41:47
Metriky jsou stejne. Zda se, ze se bere prvni v poradi.

MP
Název: Re:SMB client - multichannel support
Přispěvatel: Michal Šmucr 23. 11. 2024, 16:25:30
Metriky na síťovkách na to podle mě nemají vůbec vliv, i když jsem to taky zkoušel (na serveru a klientu).

Mě teď šlo primárně o to zjistit, jestli to je možné rozchodit, agreguje to šířku pásma a nebude tedy platit, že to vůbec nefunguje.

Dělal jsem ještě pár dalších pokusů a víceméně se to chová konzistentně.
Pokud jsou tam odlišné subnety, tak mi ta agregace fungovala jak pro čtení, tak pro zápis. Potvrdil jsem si, že to funguje i v případě, že jsou oba subnety v jedné L2 síti (trochu prasečinka jako když skončí víc různých podsítí v unmanaged switchi).
Otestoval jsem si i situaci, kde bych měl server, v kterém jsou dvě síťovky s různými subnety, a klienta s jednou, rychlejší síťovkou v třetím subnetu za routerem. Chodilo to taky.

Zkoušel jsem pak i víc verzí Samba serveru (4.19, 4.20, 4.21 pre v Tumbleweedu) a chovalo se to také stejně.
S FreeBSD a Sambou 4.19 se to podařilo rozchodit taky (což mě zajímá třeba kvůli ZFS NASům), ale tam ten mount z Linux klienta šel udělat jen na jednu IP adresu z těch dvou. Na druhou z nich se to chvíli o něco snažilo, ale finálně na serveru proběhlo mnoho hlášek o špatném ověření SMB podepisování a klient se nepřipojil.

Když to bylo všechno v jedné podsíti, tak se mi sice také podařilo připojit na server dvěma kanály (ověřeno přes DebugData), ale agregovalo je to jen ve směru z klienta na server, jak jsem psal poprvé.
Jednou jsem to dostal do stavu, že se klient sice vypsal, že server má víc rozhraní, ale otevřel oba kanály na jedno rozhraní (allocated v DebugData). Ale tenhle stav už se mi to nepodařilo podruhé zreplikovat.

Jinak ten mechanismus výběru kanálu je evidentně sofistikovanější, není to vždy jen round-robin, řeší to i aktuální vytížení atp.
Určitě by se dalo zjistit ještě víc s nějakým hustším debugováním, nebo studiem kódu, ale na to mi upřímně teď chybí dost znalostí jak ohledně SMB3 samotného, tak i fungování CIFS modulu.
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 23. 11. 2024, 16:50:55
Ze supportu/bugreportu samby mi napsali, ze mam napsat na bugreport kernelu. Pozal jsem je aspon o vyjadreni zda je to ocekavane chovani, nebo bug.

Zatim se pokorne vracim k Win 11

MP
Název: Re:SMB client - multichannel support
Přispěvatel: RDa 24. 11. 2024, 01:20:15
A proc to proste neupgradnes na 10G/25G ?
Název: Re:SMB client - multichannel support
Přispěvatel: Petr Branik 24. 11. 2024, 04:30:31
A proc to proste neupgradnes na 10G/25G ?
5 sitovek a 5 kabelu je lepsi nez 1x 25G, to da rozum, ne?  ;D Cela tahle diskuse me pobavila, linuxovy klient proste multichannel nepodporuje.
Název: Re:SMB client - multichannel support
Přispěvatel: LeosB 24. 11. 2024, 09:50:49
Nepomohlo by nastavit statické routy? Třeba takhle (za eth0 a eth1 si dosaďte svoje názvy síťovek):

ip route add 10.0.0.242 dev eth0
ip route add 10.0.0.243 dev eth1

Případně pokud máte na síťovkách víc IP adres, ještě k těm statickým routám přidejte parametr src s požadovanou zdrojovou IP adresou.
Název: Re:SMB client - multichannel support
Přispěvatel: Michal Šmucr 24. 11. 2024, 10:16:57
A proc to proste neupgradnes na 10G/25G ?
5 sitovek a 5 kabelu je lepsi nez 1x 25G, to da rozum, ne?  ;D Cela tahle diskuse me pobavila, linuxovy klient proste multichannel nepodporuje.

Jasně, že upgrade síťové infrastruktury je možnost. Proto jsem taky na začátku psal, že jsem to CIFS z Linuxového klienta předtím prakticky nesetkal. Buď tam byl rychlejší ethernet, nebo kombinace LACP bonding na serveru (a víc klientů).
To ale neznamená, že je to k ničemu a nemá smysl to řešit. Pořád můžeš mít třeba v síti hardware, co má fixně dva pomalejší porty (např. malý NAS s 2x1GbE nebo dneska i 2x2.5/5GbE) a pokud má protistrana dostatečnou konektivitu, je škoda toho nevyužít.
Stejně tak se dá otevřít víc kanálů na server i v případě jednoho rychlého připojení s RSS, protože to na serveru pomáhá rozkládat zátěž na více jader CPU (což může být bottleneck zvlášť na 25/50/100 GbE).

Jinak jsem rád, že tě diskuze pobavila, ale závěr je nesmysl. Kdyby to [em]prostě[/em] nepodporoval, tak vůbec nemá podporu toho SMB3 rozšíření. Jak jsem psal, v tom testovacím prostředí jsem agregaci rozběhl oběma směry, akorát bohužel s podmínkou různých subnetů na serveru.
Takže mi to bohužel nepřijde až tak prosté.
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 24. 11. 2024, 12:00:47
Nepomohlo by nastavit statické routy? Třeba takhle (za eth0 a eth1 si dosaďte svoje názvy síťovek):

Dik, trochu me to bude iritovat (na dhcp klientu...), ale za pokus to stoji! Hlavne bude solidni dokumentace v pripadnem bugreportu

Nicmene trochu to jde proti failoveru, i kdyz v mem pripade je opravdu prioritou rychlost. A zase: failover je take tragedie, vytahl jsem kabel z 1. sitovky a cekal az smb client pochopi a zacne pouzivat druhou ... a cekal .. a cekal :(

MP
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 24. 11. 2024, 22:50:53
Po nastaveni routes:
10.0.0.242      0.0.0.0         255.255.255.255 UH    0      0        0 enp3s0
10.0.0.243      0.0.0.0         255.255.255.255 UH    0      0        0 enx00e04c3f69fd

je po namountovani smb share konecne vytvoren 2x socket z obou klientskych  IP:
tcp        0      0 10.0.0.32:46168         10.0.0.242:445          ESTABLISHED
tcp        0      0 10.0.0.26:35462         10.0.0.243:445          ESTABLISHED

ale realne jede veskety traffic na obe serverove z jedine klientovy IP (.32)

Giving up.

MP
Název: Re:SMB client - multichannel support
Přispěvatel: RDa 24. 11. 2024, 23:16:41
Nevzdavej to a dopis do SMB klienta ten multipath :D Vzdyt je to OSS !
Název: Re:SMB client - multichannel support
Přispěvatel: M Z 25. 11. 2024, 14:53:28
No jo, nic se nezmenilo. Jen pro zajimavost, jak jsi na tom s rychlosti kopirovani? Z mych zkusenosti je to na gigabitu cca. 60% maximalni rychlosti(70MB/s) a s rychlejsi siti se ten pomer jen zhorsuje.
Smutna pravda je ze na linuxu neni v soucasne dobe rychly, jednoduse konfigurovatelny a rozumne bezpecny protokol pro sdileni souboru pres 10+ Gb site.
Schvalne pisu "jednoduse konfigurovatelny", protoze NFS + Kerberos pres RDMA opravdu zadneho uzivatele konfigurovat nedonutite a jeste ke vsemu se lisi konfigurace v Ubuntu, Redhat a Arch linuxu.
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 25. 11. 2024, 18:17:02
Tesne pod gigabit, takze jako s jednou sitovkou.

SMB je efektivni protokol s domluvou vseho mozneho (client side write cache, jumbo MTU ...). Ve Windows jsem zvykly blizit se 125 MB/s (se dvema lacinyma sitovkama fakt skoro 250) na gigabitove siti. Takze skoro stejne efektivni jako SMB1 na starickem NetBEUI :)

MP
Název: Re:SMB client - multichannel support
Přispěvatel: jjrsk 26. 11. 2024, 11:38:08
Jen pro zajimavost, jak jsi na tom s rychlosti kopirovani? Z mych zkusenosti je to na gigabitu cca. 60% maximalni rychlosti(70MB/s) ...
Samba (tux vs tux nebo tux vs widle) vpohode saturuje 10Gbit. Je to ciste o tom, co ti server da z pohledu disku pripadne cpu. Nemam aktualne dost velkej soubor, ale 8GB iso a rychlost vyskoci nekam k 1TB/s

Na gigu to vpohode da nejakych 110MB/s.

Pricemz v tomhle pripade se bavime o enforced encrypt smb3. Tzn obe strany tu komunikaci sifrujou a desifrujou.

Se 4ma diskama v R5 se dostanes na nejakych +- 600MB/s linear (tuxi raid z mechanickych 7k disku).
Název: Re:SMB client - multichannel support
Přispěvatel: ja. 26. 11. 2024, 13:53:01
Samba (tux vs tux nebo tux vs widle) vpohode saturuje 10Gbit. Je to ciste o tom, co ti server da z pohledu disku pripadne cpu. Nemam aktualne dost velkej soubor, ale 8GB iso a rychlost vyskoci nekam k 1TB/s

Na gigu to vpohode da nejakych 110MB/s.

Pricemz v tomhle pripade se bavime o enforced encrypt smb3. Tzn obe strany tu komunikaci sifrujou a desifrujou.

Se 4ma diskama v R5 se dostanes na nejakych +- 600MB/s linear (tuxi raid z mechanickych 7k disku).

Áno, ale... To ale je, že nie v GUI (kio, gvfs). Smbclient cez CLI to dá, ale grafické nadstavby robia psie kusy a výkon ide radikálne dole. (Pri skúmaní vo wiresharku: Windows, mac - a aj smbclient - majú naraz niekoľko, 3-4, async requestov, každý vo veľkosti 0,5-1 MB. Gvfs má jeden, 64kB, a čaká na jeho dokončenie, až potom pošle ďalší, teda v podstate synchrónny. A to len preto, aby prekreslil progress bar. Gvfs používa ako backend smbclient, ale to, že rozseká všetko na malé segmenty bráni backendu, aby použil optimalizáciu).

Čím sa dostávame k  60-70 MB/s a gvfs cez gigabit a pri zhoršenej situácií pri 10 gigabite: z malého NAS (Synology, 4 disky v dmraid RAID5+ssd cache, D-ckovy Xeon), kde Windows dá 800 MB/s, dá Ubuntu+Gnome nejakých slabých 260-280.
Název: Re:SMB client - multichannel support
Přispěvatel: MiroslavPragl 26. 11. 2024, 17:30:11
Diskuse je o SMB clientu na linuxu. Konkretne jsem zminoval, ze pouzivam Ubuntu server, asi jsem mel presto zduraznit, ze nepouzivam zadne desktop managery.

Kdyz budu chtit OS s rychlym grafickym rozhranim, nainstaluji si MS Windows s Desktop Experience a pripadne jine problemy budu diskutovat jinde.

MP