Spolehlivé úložište založené na Samba + owncloud

Spolehlivé úložište založené na Samba + owncloud
« kdy: 20. 10. 2020, 15:43:39 »
Ahoj,

potřebuji vyřešit spolehlivé úložiště dat, pro sebe na doma. Už jsem z toho dost zoufalý.
Pro moje účely je nejlepší kombinace frontend Owncloud, který má data na externím úložišti Samba.  K datům potřebuji zároveň přístup i přímo přes smb a to protokolem NT1 (jeden starý přístroj).

Vyzkoušel jsem Debian Buster v Proxmoxu v Turnkey a i v OpenMediaVault všude je Samba verze 4.9.5. Tahle verze  mi vždycky spadne po přístupu k cca desítkám tisíc souborů  - server je pak nedostupný. Přístup k tolika souborům je při synchronizaci přes Owncloud cca několik málo hodin prvotní synchronizace. Celkem mám poměrně dost souborů všichni uživatelé možná k 500 000 souborů dohromady. Samba pak padá i při dalších synchronizacích, ale ne vždy.

Další pokus byl, na radu z fóra Proxmox, že jsem v OpenMediaVaultu udělal pomocí neoficiálních Samba packages z https://apt.van-belle.nl/  upgrade na poslední Samba 4.13.
To celkem funguje - Samba nepadá, ale občas zůstane smbd proces běžet a za chvíli je cpu na 100%. Podobné chování lidé reportují i pro nějaké starší verze - ale bez řešení. Udělal jsem si script je je po chvíli zabije, ale to není řešení.
Navíc pak některé soubory nelze synchronizovat a owncloud se o to pokouší stále dokola. To nechci.

Máte někdo opravdu vyzkoušené řešení úložiště na založené na Samba ideálně s owncloud nad ním co skutečně funguje? S podobným počtem souborů, stovky tisíc?
Prosím i s verzí systému a Samby.
Už začínám uvažovat i o MS Windows Server, ale to není cesta co chci jít.
Nevěřím, že nikdo řešení owncloud/samba nepoužívá.

Chci ještě zkusil Ubuntu server, tam je jiná verze Samba, ale to ověření je vždy dost časově náročné. Takže se raději ptám jestli někdo nemá osvědčené řešení.
Server je ve vnitřní domácí síti s přístupem přes VPN na routeru, takže klidně i starší verze, ale funkční.
Už nemám sílu vše předělávat. Jen záloha všech dat na externí disk trvá skoro 2 dny.

Díky
Martin



ja.

  • ****
  • 316
    • Zobrazit profil
    • E-mail
Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #1 kdy: 20. 10. 2020, 16:17:33 »
A na com konkretne ta samba pada?

Zo skusenosti aj stare verzie samby bezia stabilne, len nemaju niektore ficury, ktore sa tohto pripady netykaju. Vo firme  rok pouzivame centos7 a jeho sambu, nikdy nebol problem. Doma pouzivam Synology, ktore ma uz historicku verziu (4.4) a tiez nie je problem. Aktualne robim pokusy so sambou od tranqil.it (centos verzia nema podporu ad dc, pretoze ma cddb), ta vyzera tiez velmi stabilne.

Takze zacal by som zistovanim, preco vlastne samba pada. Nebude to napr. overclocknutou pamatou a naslednymi chybami? Memtest vam dopadol dobre?

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #2 kdy: 20. 10. 2020, 16:46:35 »
Díky za radu,

najít problém jsem zkoušel, více viz jiné forum, kde jsem neuspěl:
https://forum.openmediavault.org/index.php?thread/34524-stability-issue-with-smb-cifs/&postID=252197&highlight=crash#post252197

HW je Dell PowerEdge server Intel Xeon + ECC ram, takže HW problém je nepravděpodobný, ale vždy možný. Memtest OK.

Problémy se na některých souborech opakují, tedy že na nich zůstane smbd běžet, ale jen při přístupu z owncloud synchronizančního klienta. Jinak přes smb z file manageru Windows jsou normálně přístupné a plně funkční.
To padání s verzí Samba 4.9.5 bylo na náhodných souborech.

Na email o bugu na samba.org nikdo nereagoval.
Bohužel bych úložiště potřeboval zprovoznit a ne si ho ladit ve zrojácích.

Pokud data byla na NAS Dlink dns-320 tak s nimi kromě pomalé rychlosti (max 40mb/s) nebyl žádný problém. Tam je také nějaká prastará Samba.

Mám opravdu hodně souborů, dlouhé názvy, různé znakové sady v názvech a podobně.

Martin







Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #3 kdy: 20. 10. 2020, 16:49:00 »
Ještě jednou díky, vypadla mi z odpovědi otázky:

jakou verzi Samba má ten CentOS?
Používáte owncloud ?  Při běžném přístupu k souborů přes smb z windows jsme také problémy nezaznamenal.

Moc díky za rady
Martin

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #4 kdy: 20. 10. 2020, 18:03:14 »
Díky za radu,

najít problém jsem zkoušel, více viz jiné forum, kde jsem neuspěl:
https://forum.openmediavault.org/index.php?thread/34524-stability-issue-with-smb-cifs/&postID=252197&highlight=crash#post252197

HW je Dell PowerEdge server Intel Xeon + ECC ram, takže HW problém je nepravděpodobný, ale vždy možný. Memtest OK.

Problémy se na některých souborech opakují, tedy že na nich zůstane smbd běžet, ale jen při přístupu z owncloud synchronizančního klienta. Jinak přes smb z file manageru Windows jsou normálně přístupné a plně funkční.
To padání s verzí Samba 4.9.5 bylo na náhodných souborech.

Na email o bugu na samba.org nikdo nereagoval.
Bohužel bych úložiště potřeboval zprovoznit a ne si ho ladit ve zrojácích.

Pokud data byla na NAS Dlink dns-320 tak s nimi kromě pomalé rychlosti (max 40mb/s) nebyl žádný problém. Tam je také nějaká prastará Samba.

Mám opravdu hodně souborů, dlouhé názvy, různé znakové sady v názvech a podobně.

Martin

S jakým je to jádrem? Na novém mi v debianu samba taky blbne - se 4 něco je to lepší


Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #5 kdy: 20. 10. 2020, 18:51:50 »
Ahoj,

problémy byly v Proxmox odvozeném z Debian Buster
Linux version 5.4.65-1-pve (build@pve) (gcc version 8.3.0 (Debian 8.3.0-6)) #1 SMP PVE 5.4.65-1 (Mon, 21 Sep 2020 15:40:22 +0200)

a také v OpenMediaVault  puštěném jako VM nad Proxmox
Linux version 5.8.0-0.bpo.2-amd64 (debian-kernel@lists.debian.org) (gcc-8 (Debian 8.3.0-6) 8.3.0, GNU ld (GNU Binutils for Debian) 2.31.1) #1 SMP Debian 5.8.10-1~bpo10+1 (2020-09-26)

Oboje je standardně Samba4.9.5

Asi se odhodlám na ten aktuální ubuntu Server tam je jiná verze asi 4.11.x - ale nemám teď kde to ověřit.

Do OpenMediaVault  jsem nainstalovat tu 4.13, ale ani to není spolehlivé, viz výše.

Martin

ja.

  • ****
  • 316
    • Zobrazit profil
    • E-mail
Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #6 kdy: 20. 10. 2020, 18:58:40 »
Keď sme ten server inštalovali, tak sme začínali na CentOS 7.2, tam bola Samba 4.2. Dnes, na CentOS 7.9 je Samba 4.10. (Vyššie spomenutá Samba od Tranquil má stable 4.11.x a testing 4.12.x, na rozdiel od originál CentOS nemá clustering a má AD DC). OwnCloud nepoužívame, klasicky klienti Windows a Mac. S ownCloudom a nextCloudom u nás prebehli nejaké pokusy, ale moc sa to neosvedčilo, pri pokusnom update medzi major release na teste sa napr. rozsypal konektor SAML2 a už sa nedalo do neho vôbec prihlásiť. Mňa tiež nebaví zbytočne rýpať sa v zdrojákoch... Tak momentálne máme jedno nové Synology a vyzerá to, že na tento účel začneme používať Synology Drive.

Naspäť k Sambe: skúste zvýšiť ukecanosť logov Samby. Pokiaľ sa to prejavuje iba s ownCloudom, tak je dosť možné, že on vyčerpáva nejaký zdroj, na ktorom to potom zhasne a to by sa mohlo v logu objaviť.

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #7 kdy: 21. 10. 2020, 13:47:54 »
Ahoj,

co zkusit nextcloud?

Případně zkusit připojit data přes NFS na owncloud linux a připojit jako externí/interní uložiště.

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #8 kdy: 21. 10. 2020, 18:38:33 »
Ahoj,

o nextcloudu jsem uvažoval, ale už jinde používám owncloud, tak nechci dva klienty.
Klienti nejsou kompatibilní, že?
To s NSF mě taky napadlo, ale připojit NSF jako externí úložiště přímo v owncloudu nejde na rozdíl od smb. NSF jde připojit na úrovni OS to je asi vcelku dobrý nápad. Jen bych musel dělat některé věci jinak než do teď . Budu o tom uvažovat.
Obdobně může nasdílet disk přímo v Proxmoxu, ale opět to nebude jak jsem zvyklý, ale asi to bude nejlepší řešení.
Přeorganizovat data není takový problém.
Díky za radu.
Ale pořád mě nespolehlivost Samba serveru lehce děsí. To jsem vždy považoval za dobře běžící klíčovou službu, ale zřejmě to tak úplně není. A to nevyužívám doménu ani nic pokročilého. Jen standalone režim a nasdílených cca 10 adresářů pro 6 uživatelů.

Martin

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #9 kdy: 22. 10. 2020, 11:34:27 »
K čomu je nutný v 2. tisícročí protokol NT1? SMB2 ovládajú aj veľmi staré stroje a to minimálne 20 rokov. Napadá ma jedine zdielanie bez hesla. Všade mám min protokol SMB2 a všetko fuguje bez problémov. To, s čím býva na Linuxe problém je služba Avahi na špeciálnej doméne .local, pomocou ktorej sa zisťujú okolité počítače.

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #10 kdy: 22. 10. 2020, 13:56:28 »
Ahoj,

o nextcloudu jsem uvažoval, ale už jinde používám owncloud, tak nechci dva klienty.
Klienti nejsou kompatibilní, že?
To s NSF mě taky napadlo, ale připojit NSF jako externí úložiště přímo v owncloudu nejde na rozdíl od smb. NSF jde připojit na úrovni OS to je asi vcelku dobrý nápad. Jen bych musel dělat některé věci jinak než do teď . Budu o tom uvažovat.
Obdobně může nasdílet disk přímo v Proxmoxu, ale opět to nebude jak jsem zvyklý, ale asi to bude nejlepší řešení.
Přeorganizovat data není takový problém.
Díky za radu.
Ale pořád mě nespolehlivost Samba serveru lehce děsí. To jsem vždy považoval za dobře běžící klíčovou službu, ale zřejmě to tak úplně není. A to nevyužívám doménu ani nic pokročilého. Jen standalone režim a nasdílených cca 10 adresářů pro 6 uživatelů.

Martin

Samba umí zařídit spoustu legrace - zažil jsem, že nešla ani nainstalovat (na debianu stable) - natož rozběhnout. O různých rychlostech na různých systémech na STEJNÉM železe ani nemluvím...

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #11 kdy: 26. 10. 2020, 09:26:49 »
Ahoj,

díky všem za rady, nakonec jsem pokusně nainstaloval do Proxmox VM s Ubuntu server 20.04.1 LTS se skoro jen samotnou Sambou.
A po 4 dnech a cca 30 000 souborech (přes 300 BG) zatím Samba nespadla a ani nezůstávají běžet samotné zaseklé smbd.
Takže to vypadá na plně funkční systém, včetně připojení klienta s NT1 - opravdu takové zařízení mám a je z roku 2012.
Funkční kombinace pro File Server je Ubuntu Server 20.04.1  s jádrem 5.4.0-52-generic a Samba version 4.11.6-Ubuntu. Systém ve stavu po aktualizaci 23.10.2020 bez úprav, jen nastavena konfigurace Samba.
Výkon je OK, plně saturuje 1Gbps síť, CPU by stačilo dát i jen 1 jádro, dal jsem 2 jádra a paměť je used 120MB, přiřazen 1GB.

Jen musím tedy Sambu nastavovat ručně místu GUI v OpenMediaVault, ale to vlastně udělám jen jednou - je to na doma, takže uživatelé se nemění.

Díky
Martin

Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #12 kdy: 18. 12. 2020, 11:20:34 »
SMB je plná úžasných překvapení! :-))) Teď zrovna se potýkám s problémem, který ale opravdu nechápu. Historicky jsem na svém FreeNASu  (teď 11.3) měl dvě služby: na data a TimeMachine AFP (máme v podstatě jenom MACy) a kvůli KODI které jsem používal na filmy a do jisté doby i na muziku i Sambu. Muziku jsem si následně pořešil škatulkou Raspberry + Justboom DIGI HAT + Volumio. Kodi mi ale ze dne na den přestalo tu moji Sambu vidět a tak skončilo v šupleti.

Když se připojuju k serveru přes Finder (u PC přes file manager) Samba normálně funguje. Můžu vytvářet adresáře, mazat data, kopírovat, přesouvat, ..... Zmíněné Volumio si na smb šahá a tahá hudební soubory... Potud v pohodě.

Předvánoční tlak zvýrazněný vládníma opatřenma mě donutil udělat to, co jsem neudělal celé léto a podzim - kdo by čuměl na bednu, když se dá jet do lesa na kole nebo se jít courat po horách? Zkrátka jsem začal řešit jak dostat svoji filmovou sbírku do LGtv. Vsadil jsem na EMBY server. Přijde mi lepší než třeba PLEX.

Tak jsem oprášil na sambě Transmission, aby šlo tahat torrenty. To šlape jak švýcarské hodinky! Ale před tím (a v tom časovém sledu asi bude ten kámen úrazu) jsem nakonfiguroval právě EMBY. Na první dobrou zafungovalo, z metadatových serverů si to postahovalo postery, popisky, .... Na telce to jelo skvěle!

Ale to jenom do momentu, kdy jsem dva filmy stažené zkusmo přes ten Transmission přesunul do adresáře s filmy. Pak by automaticky mělo následovat to, že si dohledá metadata a složku sfilmem nabídne ke shlédnutí. No a to emby neudělal.....

Tak jsem začal bádat a nenašel nikde žádnou viditelnou chybu. Potom jsem teda EMBY plugin odinstaloval, že ho nahraju znova. A od toho okamžiku je po všem. Nainstaluju plugin, stopnu ho, vlezu do Jails, vyberu jail EMBY, přidám uložiště: najdu v "source" adresář s podadresáři videoobsahu, najdu v "destination" adresář /MEDIA a tyto slinkuju dohromady. Pak EMBY nastartuju a jdu do web rozhraní EMBY serveru. Naklikám přidat obsah: napíšu si co to má být - třeba movies a chci přidat zdroj. No a co se nestane? Já ten destination /MEDIA nevidím! :-)..... Ale je tam k vidění /mnt, což je druhá možnost. Vrátím se tedy do FreeNASu, tam topnu EMBY a překopu uložiště na /mnt. Nastartuju, znova vlezu do rozhraní EMBY a co se nestane? Vidím to co jsem neviděl v prvém pokusu: /media. Nevidím ale ten nově zvolený /mnt :-)))).

Když si zkusmo zkusím spustit EMBY na službě AFP, všechno jede jak na drátkách!

Ptám se: neexistuje nějaký nástroj na FreeNAS, jak dostat těch asi 600GB filmů ze SMB jedním klikem pod AFP, aniž bych musel kopírovat (přesouvat)? Pak bych měl po problémech: všechno by mi jelo pod afp a smb bych už tedy používal jenom na zdroj dat pro Volumio.

Díky

RDa

  • *****
  • 2 465
    • Zobrazit profil
    • E-mail
Re:Spolehlivé úložište založené na Samba + owncloud
« Odpověď #13 kdy: 18. 12. 2020, 11:40:06 »
K čomu je nutný v 2. tisícročí protokol NT1? SMB2 ovládajú aj veľmi staré stroje a to minimálne 20 rokov. Napadá ma jedine zdielanie bez hesla. Všade mám min protokol SMB2 a všetko fuguje bez problémov.

Kdyz provozujete WinXP, tak potrebujete SMB1. Zatim jsem jel mixovane nasazeni XP+W7, vuci linux file serveru, takze to uz chtelo trocha potunit smb.conf (ale stejny potize maji spravci windows based serveru). A kdyz o svatcich konecne nainstaluji W10, tak bude potreba provozovat vsechny tri protokoly zaroven:

SMB1: pro XP, s omezenou "bezpecnosti" (kdyz to mam na vlastni LAN, resp. vevnitr VM.. tak me to jiste nekdo napadne)
SMB2: pro W7, protoze tam nelze dostat smb3
SMB3: pro W10, protoze bych rad ziskal vyhodu multi-path

Takze me celkem stvou ty tendence "vsechno stary urezat/odstranit". To opravdu neni spravna cesta, nekdy je holt nutny provozovat i horsi varianty.