Spolehlivé úložište založené na Samba + owncloud

Spolehlivé úložište založené na Samba + owncloud
« kdy: 20. 10. 2020, 15:43:39 »
Ahoj,

potřebuji vyřešit spolehlivé úložiště dat, pro sebe na doma. Už jsem z toho dost zoufalý.
Pro moje účely je nejlepší kombinace frontend Owncloud, který má data na externím úložišti Samba.  K datům potřebuji zároveň přístup i přímo přes smb a to protokolem NT1 (jeden starý přístroj).

Vyzkoušel jsem Debian Buster v Proxmoxu v Turnkey a i v OpenMediaVault všude je Samba verze 4.9.5. Tahle verze  mi vždycky spadne po přístupu k cca desítkám tisíc souborů  - server je pak nedostupný. Přístup k tolika souborům je při synchronizaci přes Owncloud cca několik málo hodin prvotní synchronizace. Celkem mám poměrně dost souborů všichni uživatelé možná k 500 000 souborů dohromady. Samba pak padá i při dalších synchronizacích, ale ne vždy.

Další pokus byl, na radu z fóra Proxmox, že jsem v OpenMediaVaultu udělal pomocí neoficiálních Samba packages z https://apt.van-belle.nl/  upgrade na poslední Samba 4.13.
To celkem funguje - Samba nepadá, ale občas zůstane smbd proces běžet a za chvíli je cpu na 100%. Podobné chování lidé reportují i pro nějaké starší verze - ale bez řešení. Udělal jsem si script je je po chvíli zabije, ale to není řešení.
Navíc pak některé soubory nelze synchronizovat a owncloud se o to pokouší stále dokola. To nechci.

Máte někdo opravdu vyzkoušené řešení úložiště na založené na Samba ideálně s owncloud nad ním co skutečně funguje? S podobným počtem souborů, stovky tisíc?
Prosím i s verzí systému a Samby.
Už začínám uvažovat i o MS Windows Server, ale to není cesta co chci jít.
Nevěřím, že nikdo řešení owncloud/samba nepoužívá.

Chci ještě zkusil Ubuntu server, tam je jiná verze Samba, ale to ověření je vždy dost časově náročné. Takže se raději ptám jestli někdo nemá osvědčené řešení.
Server je ve vnitřní domácí síti s přístupem přes VPN na routeru, takže klidně i starší verze, ale funkční.
Už nemám sílu vše předělávat. Jen záloha všech dat na externí disk trvá skoro 2 dny.

Díky
Martin



ja.

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #1 kdy: 20. 10. 2020, 16:17:33 »
A na com konkretne ta samba pada?

Zo skusenosti aj stare verzie samby bezia stabilne, len nemaju niektore ficury, ktore sa tohto pripady netykaju. Vo firme  rok pouzivame centos7 a jeho sambu, nikdy nebol problem. Doma pouzivam Synology, ktore ma uz historicku verziu (4.4) a tiez nie je problem. Aktualne robim pokusy so sambou od tranqil.it (centos verzia nema podporu ad dc, pretoze ma cddb), ta vyzera tiez velmi stabilne.

Takze zacal by som zistovanim, preco vlastne samba pada. Nebude to napr. overclocknutou pamatou a naslednymi chybami? Memtest vam dopadol dobre?

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #2 kdy: 20. 10. 2020, 16:46:35 »
Díky za radu,

najít problém jsem zkoušel, více viz jiné forum, kde jsem neuspěl:
https://forum.openmediavault.org/index.php?thread/34524-stability-issue-with-smb-cifs/&postID=252197&highlight=crash#post252197

HW je Dell PowerEdge server Intel Xeon + ECC ram, takže HW problém je nepravděpodobný, ale vždy možný. Memtest OK.

Problémy se na některých souborech opakují, tedy že na nich zůstane smbd běžet, ale jen při přístupu z owncloud synchronizančního klienta. Jinak přes smb z file manageru Windows jsou normálně přístupné a plně funkční.
To padání s verzí Samba 4.9.5 bylo na náhodných souborech.

Na email o bugu na samba.org nikdo nereagoval.
Bohužel bych úložiště potřeboval zprovoznit a ne si ho ladit ve zrojácích.

Pokud data byla na NAS Dlink dns-320 tak s nimi kromě pomalé rychlosti (max 40mb/s) nebyl žádný problém. Tam je také nějaká prastará Samba.

Mám opravdu hodně souborů, dlouhé názvy, různé znakové sady v názvech a podobně.

Martin







Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #3 kdy: 20. 10. 2020, 16:49:00 »
Ještě jednou díky, vypadla mi z odpovědi otázky:

jakou verzi Samba má ten CentOS?
Používáte owncloud ?  Při běžném přístupu k souborů přes smb z windows jsme také problémy nezaznamenal.

Moc díky za rady
Martin

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #4 kdy: 20. 10. 2020, 18:03:14 »
Díky za radu,

najít problém jsem zkoušel, více viz jiné forum, kde jsem neuspěl:
https://forum.openmediavault.org/index.php?thread/34524-stability-issue-with-smb-cifs/&postID=252197&highlight=crash#post252197

HW je Dell PowerEdge server Intel Xeon + ECC ram, takže HW problém je nepravděpodobný, ale vždy možný. Memtest OK.

Problémy se na některých souborech opakují, tedy že na nich zůstane smbd běžet, ale jen při přístupu z owncloud synchronizančního klienta. Jinak přes smb z file manageru Windows jsou normálně přístupné a plně funkční.
To padání s verzí Samba 4.9.5 bylo na náhodných souborech.

Na email o bugu na samba.org nikdo nereagoval.
Bohužel bych úložiště potřeboval zprovoznit a ne si ho ladit ve zrojácích.

Pokud data byla na NAS Dlink dns-320 tak s nimi kromě pomalé rychlosti (max 40mb/s) nebyl žádný problém. Tam je také nějaká prastará Samba.

Mám opravdu hodně souborů, dlouhé názvy, různé znakové sady v názvech a podobně.

Martin

S jakým je to jádrem? Na novém mi v debianu samba taky blbne - se 4 něco je to lepší


Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #5 kdy: 20. 10. 2020, 18:51:50 »
Ahoj,

problémy byly v Proxmox odvozeném z Debian Buster
Linux version 5.4.65-1-pve (build@pve) (gcc version 8.3.0 (Debian 8.3.0-6)) #1 SMP PVE 5.4.65-1 (Mon, 21 Sep 2020 15:40:22 +0200)

a také v OpenMediaVault  puštěném jako VM nad Proxmox
Linux version 5.8.0-0.bpo.2-amd64 (debian-kernel@lists.debian.org) (gcc-8 (Debian 8.3.0-6) 8.3.0, GNU ld (GNU Binutils for Debian) 2.31.1) #1 SMP Debian 5.8.10-1~bpo10+1 (2020-09-26)

Oboje je standardně Samba4.9.5

Asi se odhodlám na ten aktuální ubuntu Server tam je jiná verze asi 4.11.x - ale nemám teď kde to ověřit.

Do OpenMediaVault  jsem nainstalovat tu 4.13, ale ani to není spolehlivé, viz výše.

Martin

ja.

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #6 kdy: 20. 10. 2020, 18:58:40 »
Keď sme ten server inštalovali, tak sme začínali na CentOS 7.2, tam bola Samba 4.2. Dnes, na CentOS 7.9 je Samba 4.10. (Vyššie spomenutá Samba od Tranquil má stable 4.11.x a testing 4.12.x, na rozdiel od originál CentOS nemá clustering a má AD DC). OwnCloud nepoužívame, klasicky klienti Windows a Mac. S ownCloudom a nextCloudom u nás prebehli nejaké pokusy, ale moc sa to neosvedčilo, pri pokusnom update medzi major release na teste sa napr. rozsypal konektor SAML2 a už sa nedalo do neho vôbec prihlásiť. Mňa tiež nebaví zbytočne rýpať sa v zdrojákoch... Tak momentálne máme jedno nové Synology a vyzerá to, že na tento účel začneme používať Synology Drive.

Naspäť k Sambe: skúste zvýšiť ukecanosť logov Samby. Pokiaľ sa to prejavuje iba s ownCloudom, tak je dosť možné, že on vyčerpáva nejaký zdroj, na ktorom to potom zhasne a to by sa mohlo v logu objaviť.

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #7 kdy: 21. 10. 2020, 13:47:54 »
Ahoj,

co zkusit nextcloud?

Případně zkusit připojit data přes NFS na owncloud linux a připojit jako externí/interní uložiště.

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #8 kdy: 21. 10. 2020, 18:38:33 »
Ahoj,

o nextcloudu jsem uvažoval, ale už jinde používám owncloud, tak nechci dva klienty.
Klienti nejsou kompatibilní, že?
To s NSF mě taky napadlo, ale připojit NSF jako externí úložiště přímo v owncloudu nejde na rozdíl od smb. NSF jde připojit na úrovni OS to je asi vcelku dobrý nápad. Jen bych musel dělat některé věci jinak než do teď . Budu o tom uvažovat.
Obdobně může nasdílet disk přímo v Proxmoxu, ale opět to nebude jak jsem zvyklý, ale asi to bude nejlepší řešení.
Přeorganizovat data není takový problém.
Díky za radu.
Ale pořád mě nespolehlivost Samba serveru lehce děsí. To jsem vždy považoval za dobře běžící klíčovou službu, ale zřejmě to tak úplně není. A to nevyužívám doménu ani nic pokročilého. Jen standalone režim a nasdílených cca 10 adresářů pro 6 uživatelů.

Martin

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #9 kdy: 22. 10. 2020, 11:34:27 »
K čomu je nutný v 2. tisícročí protokol NT1? SMB2 ovládajú aj veľmi staré stroje a to minimálne 20 rokov. Napadá ma jedine zdielanie bez hesla. Všade mám min protokol SMB2 a všetko fuguje bez problémov. To, s čím býva na Linuxe problém je služba Avahi na špeciálnej doméne .local, pomocou ktorej sa zisťujú okolité počítače.

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #10 kdy: 22. 10. 2020, 13:56:28 »
Ahoj,

o nextcloudu jsem uvažoval, ale už jinde používám owncloud, tak nechci dva klienty.
Klienti nejsou kompatibilní, že?
To s NSF mě taky napadlo, ale připojit NSF jako externí úložiště přímo v owncloudu nejde na rozdíl od smb. NSF jde připojit na úrovni OS to je asi vcelku dobrý nápad. Jen bych musel dělat některé věci jinak než do teď . Budu o tom uvažovat.
Obdobně může nasdílet disk přímo v Proxmoxu, ale opět to nebude jak jsem zvyklý, ale asi to bude nejlepší řešení.
Přeorganizovat data není takový problém.
Díky za radu.
Ale pořád mě nespolehlivost Samba serveru lehce děsí. To jsem vždy považoval za dobře běžící klíčovou službu, ale zřejmě to tak úplně není. A to nevyužívám doménu ani nic pokročilého. Jen standalone režim a nasdílených cca 10 adresářů pro 6 uživatelů.

Martin

Samba umí zařídit spoustu legrace - zažil jsem, že nešla ani nainstalovat (na debianu stable) - natož rozběhnout. O různých rychlostech na různých systémech na STEJNÉM železe ani nemluvím...

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #11 kdy: 26. 10. 2020, 09:26:49 »
Ahoj,

díky všem za rady, nakonec jsem pokusně nainstaloval do Proxmox VM s Ubuntu server 20.04.1 LTS se skoro jen samotnou Sambou.
A po 4 dnech a cca 30 000 souborech (přes 300 BG) zatím Samba nespadla a ani nezůstávají běžet samotné zaseklé smbd.
Takže to vypadá na plně funkční systém, včetně připojení klienta s NT1 - opravdu takové zařízení mám a je z roku 2012.
Funkční kombinace pro File Server je Ubuntu Server 20.04.1  s jádrem 5.4.0-52-generic a Samba version 4.11.6-Ubuntu. Systém ve stavu po aktualizaci 23.10.2020 bez úprav, jen nastavena konfigurace Samba.
Výkon je OK, plně saturuje 1Gbps síť, CPU by stačilo dát i jen 1 jádro, dal jsem 2 jádra a paměť je used 120MB, přiřazen 1GB.

Jen musím tedy Sambu nastavovat ručně místu GUI v OpenMediaVault, ale to vlastně udělám jen jednou - je to na doma, takže uživatelé se nemění.

Díky
Martin