Příspěvky

31

Server / Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků

« kdy: 24. 03. 2021, 11:24:08 »

Ono CEPH je primárně block storage a vše ostatní je postavené nad tím. Nativně exportuje block device.
Proto je tam i rozhraní kompatibilní s S3 API a Swift API

V tomhle budgetu to nedává smysl, protože rozumná funkcionalita je tak od 5+ serverů.

Systém replikace připomíná NoSQL databáze jako Cassandra, takže škáluje donekonečna a jeho limit asi bude jen crushmap (mapa clusteru, která musí být přítomná v každém stroji).
Disková kapacita a jeho výkon se dynamicky mění dle připojených serverů - není třeba ruční zásah.
Replikaci lze měnit v reálném čase (výchozí je 3/2) - data jsou na minimálně 3 lokalitách (serverech) a minimálně 2 musí potvrdit zápis.

Filesystém nepoužívám, ale dle dokumentace je to POSIX kompatibilní a tedy vlastní implementace FS

Pokud se nám na tom v posledních letech někdy něco podělalo, tak to byly servery se sdíleným externím SAS polem (GFS2 filesystém), když nějak blbě lehnul některý z řadičů v řádu měsíc-dva po skončemí záruky na HW. :-)

...RedHat GFS2 pokud vím řeší hlavně mount téhož DAS zařízení/svazku na více hostitelích paralelně. Kdysi jsem na to koukal, tuším se to tvářilo zhruba jako EXT3 s dodělaným vícenásobným mountováním a nějakou vzájemnou synchronizací hostitelů. Redundanci toho DAS zařízení GFS2 neřeší = ten box je single point of failure, ledaže bude mít uvnitř dva řadiče se vzájemnou synchronizací na blokové vrstvě. Je to tak?

Citovaný "incident" se skonáním řadiče... to jenom odpadl konkrétní server, nebo se nějak hnusně zbořil FS ?

Představuju si, že CEPH se tváří cca jako Samba, ale zároveň replikuje data mezi více storage uzlů. Případně nad tímto základem umí emulovat i blokové zařízení.

32

Hardware / Re:Při kolika vadných sektorech vyměnit disk

« kdy: 11. 12. 2020, 18:21:46 »

Doplnil bych, že skoro každý větší disk od HDD po SSD už z výroby obsahuje různé mrtvé oblasti, jen jsou skryté.
Oba typy disků mají již z výroby volný prostor, který lze namapovat na ta vadná místa.

Řídil bych se tím nárůstem, jakmile se to začne měnit a nezastavuje to, je třeba to vzdát a vyměnit.

Pokud někoho ta čísla znervóznují, někdy stačí disk přepsat samými nulami a následně pustit longtest a "zmizí".
(jsou tam pořád, ale použije se ta volná oblast a SMART se vyresetuje)

33

Windows a jiné systémy / Re:Hardwarová akcelerace VP9 na Haswell, Windows 7.

« kdy: 06. 12. 2020, 15:31:23 »

Pokud chce víc jak 1080p musí mít VP9 nebo AV1 a bojím se, že částečnou podporou se myslí buhví co.

Zřejmě přes ovladač, pokud bude nastavený výchozí Windows Renderer, ale stejně to bude stát za starou bačkoru.
Chce to nativní podporu ve video části GPU. Ta částečná bude, že některé funkce lze akcelerovat, možná to trošku pomůže, ale... bude to o pár procent lepší jak jen CPU.

btw: v pripade ze bys neznal doplnek prohlizece h264ify...

34

Hardware / Re:Otázky na audiofilov - načo sú optické audio výstupy a káble toslink?

« kdy: 02. 12. 2020, 14:23:29 »

Používám toslink a můžu říct, že to pro tebe asi nemá praktický smysl. Pouze pokud by převodník na druhé straně byl opravdu kvalitní - pak ano.
toslink má limit, že protlačí jen stereo, dolby digital ac3 (<=640kbit/s 48khz/20bit) nebo DTS(<=1536kbit/s myslím také jen 48khz/24bit) nic jiného oficiálně. Optika by odfiltrovala brum, ale zase trpí na jitter.

Obojí mimo jiné vkládá určité zpoždění do výstupu, protože ten proces je pochopitelně celkem složitý.
Ani pro audiofily to nemá žádný smysl, je to prostě jen relikt minulosti. Pokud to lze zapojit a není jiné digitální řešení, tak dobré.

35

Hardware / Re:Nedaří se update RPi 4

« kdy: 30. 11. 2020, 23:25:58 »

Možná se ti nestartuje ta služba co to má aktualizovat.
USB3 jde aktualizovat i ručně přes binárku VIA, tak jsem to dělal já.

Zkus kouknout v systemd na

rpi-eeprom-update.service

u mě píše loaded active exited    Check for Raspberry Pi EEPROM updates

Snazim se o update rpi4:

Kód: [Vybrat]

sudo rpi-eeprom-update -a
BCM2711 detected
Dedicated VL805 EEPROM detected
*** INSTALLING EEPROM UPDATES ***
BOOTLOADER: update available
CURRENT: Út zář 10 10:41:50 UTC 2019 (1568112110)
 LATEST: Čt zář  3 12:11:43 UTC 2020 (1599135103)
 FW DIR: /lib/firmware/raspberrypi/bootloader/stable
VL805: update available
CURRENT: 000137ad
 LATEST: 000138a1
BOOTFS /boot
EEPROM updates pending. Please reboot to apply the update.

pak rebootnu a nestane se vubec nic, current stale ukazuje 1568112110 resp. 000137ad

Bootuju z SD karty, ale root mam na USB disku.

Nevite proc se neupdatuje?

36

Hardware / Re:SSD na častý zápis a dlhodobé udržiavanie dôležitých dát?

« kdy: 24. 11. 2020, 08:29:46 »

To byly ta stará SSD s MLC, ty vydrží hodně, ale můžou pak trpět Alzheimerem mám taky jeden takový.
Zápis cca 4PB, jenže to ty nové nedají a jinak moje zkušenost je taková, že SSD disk vám obvykle nereportuje chybu (může se lišit od modelu).
Prostě "něco" pošle a to i ty vyšumělé (zapomenuté v šuplíku). Nebral bych to tedy jako moc spolehlivé ukládání dat.
Bez replikace s kontrolou chyb je to docela špatný cold-storage.

Ve vpsFree.cz máme na některých nodech SSD stará čtyři roky a jedou naprosto spolehlivě. Píše se do nich keš a log záměrů ze ZFS a není s nimi žádný problém. Koukám na 240GB disk a má nalítáno přes 400 TB zápisů a bez problémů funguje. Konkrétně je to model OCZ-VERTEX3. Nebál bych se toho.

Doma mi odišlo niekoľko SSD, nejaký Kingston, lacnejší Intel, väčšinou mali viac rokov. Mám doma jeden OCZ-VERTEX3 60GB, podľa mňa má viac ako 5 rokov. Pred 2-3 rokmi som ho vybral z notebooku a dal do desktopu na "dožitie". Robí L2arc pre moje diskové pole, na ktorom sú normálne dáta (/home), virtuálne stroje, volume s BTRS pre zálohy snapshotov zo servera, okrem iných záloh aj záloha z vpsFree, Ten OCZ je fakt nezmar. Podľa Smart je už dávno po životnosti, ale ten disk stále drží a drží a drží..

37

Sítě / Re:100 Mbit, 1GBit, 10 GBit, 40 GBit k čemu vlastně?

« kdy: 24. 11. 2020, 08:12:42 »

Myslím, že dneska není problém saturovat alespoň 2.5 - 5 Gbit/s i pro běžného uživatele a tato diskuze mi příjde trošku mimo.
To bychom si mohli říkat, že 640kb stačí a procesor by neměl být zbytečně rychlý, protože žere.

Problémem jsou ty síťové prvky, ale do Synology nebo QNAPu jdou nacpat, FreeNAS poběží také.
Pokud váš diskový storage nedá víc jak 1Gbit/s je to opravdu smutné a uvědomte si, že většina disků je připojena 6Gbit/s. USB3 dokáže přenést 10Gbit/s ve starších verzích. HDMI dá okolo 40Gbit/s.

Jediné co tedy jde pochopit je ta narážka na spotřebu, která je opravdu problém a nikoho z vás nešokovalo jaký rozdíl je mezi 1Gbit a 10Gbit čipem? Že na jedno stačí pidi kostička bez chladiče a druhé potřebuje monstr chladič?
Evidentně ten proces není dotažený do takového stavu, zřejmě kvůli nižšímu tlaku od trhu.

Ono i ta lemra líná Raspberry PI by dokázalo alespoň 2Gbit/s kdyby to mělo kudy poslat.
Jediné místo, kde bych 100Mbit ethernet pochopil je asi TV nebo teplotní čidla/IoT, protože datový tok přes 80Mbit se obvykle neobjevuje.
Ve špičkách by ale klidně mohl.

Na přenos dat je 1Gbit zoufalý vždyť je to jen 125MB/s to i moje USB flashky jsou rychlejší. I blbý internet na doma už se dnes pohybuje i přes tuto hranici.

Abych nezapomněl - z čeho by běžný user tlačil data rychlostí vyšší, než 125 MB/s, když prodávané NASy mají 1 Gbps LAN? A i kdyby si někdo postavil NAS někde v PC a doma udělal síť 2,5 Gbps (což je max., čeho lze v domácích podmínkách dosáhnout), tak pořád je strop 312,5 MB/s. Výše uvedené hodnoty 400 a 500 MB/s jsou tedy zcela bezpředmětné...

38

Hardware / Re:NAS server pro domácí použití

« kdy: 19. 11. 2020, 11:18:48 »

Ten uživatel Synoforum je poněkud vlezlý, ale jinak má v podstatě pravdu. Prostě tam započítává celý ten ekosystém a další část jsou ti klienti do Windows a do Androidu.
Takže i ta část s Acronisem je relevantní, pokud to budete chtít hezky zálohovat pravděpodobně sáhnete po hotových nástrojích u Synology. Nebo synchronizovat disky, s tím, že to nemáte tak nahlouple uložené jako v Nextcloudu.
Je to prostě ucelené řešení, kde je na sebe vše napojené a spravovatelné přes web. Pak ten obchod s aplikacemi.

Když někdo chce jen sdílení disků, tak si vystačí s tím Raspberry PI, pokud bude chtít něco navíc je to nesmysl řešit to ručně. FreeNAS je opravdu nesrovnatelný, o čistém systému ani nemluvím. Pokud, ale někomu nezáleží na investovaném čase, nebo chce něco vyloženě specifického - proč ne. Některé věci lze řešit i tam přes roota.

39

Vývoj / Re:MQTT broker na raspberry

« kdy: 16. 10. 2020, 11:05:47 »

Jde to klidně i v bashi na zachytávání zprávy stačí použít Mosquitto SUB

https://github.com/eclipse/mosquitto

40

Hardware / Re:RAID1 z USB diskov

« kdy: 08. 10. 2020, 14:12:44 »

Už dlouho jsem neviděl HW Raid, dneska už se něco takového snad ani nedělá. Je to pořád SW jen běží v nějakém ARMu a tváří se to jako to bývalo kdysi.
Třeba ten linuxovej RAID je všude možně a pak ty distribuované věci jsou vždycky v SW.

Jinak rsync je docela enterprise nástroj, používá se hodně a to kolikrát i v "profi" grafických toolech, kde je jen přebitý GUI.
Je to hlavně o tom, jak moc peněz organizace má a prioritách. Pokud má hodně peněz netrápí jí si postavit nějaké openřešení na míru. Pokud má málo - nakoupí nějaké hotové krabice a je to.

Pokud pracujete opravdu s velkým množstvím dat, vaše nástroje budou "podezřele neenterprise" z pohledu správce malého množství dat.
Pojedete prostě nějakou tu cassandru, ceph, rsync a budete přemýšlet jak přistupovat k těm petabajtům pokud možno v rozumném čase. Všechno bude strašně pomalé i když to budou milisekundy.

Není to tak jednoduché jak to vypadá a obvykle vás žádná krabice nespasí.
Jinak k dotazu USB je použitelné, ale pouze se stabilním hardwarem. Raspberry PI může být v RAID1, ale přenosovka bude tak 4Gbit/s share na oba. Pokud SW systém bude robustní, tak mu to vlastně může být zcela ukradené na tom by klidně běžel CEPH.

Ono NVMe, SATA nebo USB prostě teoreticky se může odpojit a zmizet  je třeba se z toho nehroutit. USB je prostě o trošku horší. Praktické testy ukazují, že to lze. Otázkou je na co to je vhodné.

41

Server / Re:Normy pro serverovnu

« kdy: 01. 10. 2020, 11:35:21 »

Existují jasně definované standardy pro serverovny.

https://www.coolhousing.net/cz/stupne-a-pulstupne-tier-aneb-pravda-o-datovych-centrech

https://phoenixnap.com/blog/data-center-tiers-classification

Řešilo se to, když stát uvažoval nad nějakou správou datacenter pro cloud a došel k závěru, že 99.9% stávajících neodpovídá požadavkům tzn. je asi jen jedno datacentrum, které splňuje nějakou nižší úroveň.

42

Server / Re:Zabezpečení databáze

« kdy: 29. 09. 2020, 09:17:04 »

Odpíchl bych se od standardu, který existuje
https://en.wikipedia.org/wiki/Health_Level_7

Jinak ideální řešení opravdu je mít nějakou DB do které přistupuje middleware (generující SOAP nebo JSON) a ten ještě zakrytý nějakým aplikačním firewallem.

43

Software / Re:Jak komprimovat videoarchiv

« kdy: 20. 09. 2020, 17:06:13 »

Dle mého pokud reencode tak jedině s deep learningem a A.I. jinak ponechat tak jak je.
Levely u H.264-5 nejsou cargo cult, ale říkají výstupnímu zařízení maximální limity.
Pokud ho upravíte na nižší, tak zařízení video přehraje a v nekontrolovatelných okamžicích se obraz začne rozpadat.
Pokud je vyšší, zobrazí rovnou hlášku "video není podporováno".

U encoderu je to jasné, výsledek bude odpovídat levelu ideálně sladěném s výstupním zařízením.

Jinak x265 ve veryslow a crf je ideální volba.

44

Sítě / Re:upload na amazonaws 3Mbps?

« kdy: 20. 09. 2020, 16:58:01 »

100/100 asi nebudeš mít do tranzitu, ale jen po ČR. Málo to je, o tom žádná.
Internet je docela nehomogenní byznys, každý si může objednat konektivitu dle svých finančních možností.
Tranzit je řádově dražší, než ČR dost často s limitem dat, takže se škrtí normálně.

45

Hardware / Re:NAS server pro domácí použití

« kdy: 11. 09. 2020, 13:44:40 »

Pokud jde o DLNA tak to je úplně kapitola sama pro sebe.
Ten protokol je extrémně rozmáchnutej a chová se na každé kombinaci zařízení jinak.
Výsledek je potom "proč na mém Samsungu XYZab to nezobrazuje náhledy když na TCL ZYX123 to náhledy zobrazuje" 

Moje nápověda na to ale je, že to obvykle funguje dobře v MKV muxu (titulky uvnitř náhledy uvnitř). Jinak sázka do loterie.

Ahoj, dovolím si malou lamerskou otázku, protože jsem uvažoval o podobné koupi. Předestírám, že danému segmentu vůbec nerozumím.

Uvažuji o koupi 2 diskovém NAS, které bych využívat zejména pro zálohu (RAID 1), ale rád bych jej využil i jako multimediální centrum (video, fotky, hudba).

Synology DS220J má údajně nedostatečnou RAM. Dále jsem slyšel, že Synology má problémy s přehráváním titulků k filmům na Smart TV (rsp. titulky se musí jmenovat stejně jako soubor s filmem). Co je na tom prosím pravdy? Používám více titulků (anglické, české) a rád bych si zvolil, které chci použít. Máte prosím osobní zkušenosti, popř. znáte nějaký článek/test o porovnání jednotlivých NAS "multimediálních centrech"?

Předem moc děkuji za odpověď (snad ne moc odbornou) :-)