Poslední příspěvky

Stran: [1] 2 3 ... 10
1
Hardware / Re:Šifrování disku a poruchy na 54TB oddílu
« Poslední příspěvek od Michal Šmucr kdy Dnes v 01:46:23 »
Osobne mam ted hlavni uloziste...

To vypadá zajímavě, držím palce, ať to šlape.

I zmínka o tom rozkládání výkonu dm-cryptu, když je to pro každé zařízení zvlášť.
Já když to používám třeba na ty image, což je vlastně pak loop, tak i na tomhle jednom zařízení se určitě používá víc workerů, které se pak schedulují na různá jádra (max. na počet fyzických, bez HT).
Trochu to záleží na přístupu, třeba bez page-cache (direct, sync) a iodepth 1 to pojede přes jeden worker, ale jakmile to jsou v podstatě standardní bufferované zápisy s nějakou optimalizací scheduleru, případně pak třeba zápisy ze smbd, tak se to rozkládá hezky. A když jsem to testoval s image v tmpfs, tak je to výrazně rychlejší než bechmark z cryptsetup, který jede jen jednovláknově u té AES-XTS šifry. V reálu mě to nebrzdí primárně kvůli diskům pod tím a síťové konektivitě ven.
Ale samozřejmě pokud máš každý disk v RAIDové skupině zvlášť šifrovaný, tak to pralelizuješ vždycky a velmi intenzivně.
2
Hardware / Re:Šifrování disku a poruchy na 54TB oddílu
« Poslední příspěvek od Michal Šmucr kdy Dnes v 01:30:08 »
Jinak ještě k nějakým dalším možnostem k prozkoumání, resp. asi kdybych něco takového řešil, zvážil bych to :)

ZFS a jeho nativní šifrování datasetů.
Tohle mi z hlediska správy přijde ideální, je to integrované v rámci jednoho celku s RAID-Z a správou svazků a velmi flexibilní, protože to umožní kombinovat šifrovaná i nešifrovaná data v jednom poolu podle datasetu. Při zálohách přes zfs-send na jiný ZFS systém se dá zvolit jesti se bloky přenáší 1:1 v šifrované podobě, nebo se dešifrují (obojí může mít své opodstatnění).
Zkoušel jsem si to na čtyřdiskových NASech s FreeBSD, fungovalo mi to základně velice hezky.
Kde je mínus? - dá se dohledat relativně dost issues a sem tam i nějaká horror story. Asi bych s tím musel strávit ještě docela dost času a testování, než bych se rozhodl.
Na stranu druhou, mimo těch problému, kterých se dá najít pro oba pokročilé fs (i s BTRFS) tuny a záleží na verzi, systému, hardware, přesnému použití atp., tam jsou zas reporty od lidí, co už to někde mají roky bez potíží.
Btw. tohle používá QNAP coby "shared folder encryption" v QuTS Hero.

SED (self-encryption-drive).
Tohle se tak trochu nabízí a zas to může mít své výhody i nevýhody.
Výhody jsou, že se to po odemčení v systému tváří jako standardní disk a hlavně tam není žádný praktický výkonový dopad toho šifrování.
Věci ke zvážení.
- zatímco LUKS, ZFS atp. se po softwarovém rebootu, kexec reloadu samy neodemknou, tak SED většinou zůstanou odemčené, dokud se nevypne napájení. I když to také může záviset na řadiči (pokud se používá). Může, nemusí hrát roli.
- jsou typicky trochu dražší než disky bez šifrování, i když pokud uvažujete o DC Ultrastarech nemusí to být takový nárůst
- můžou nastat komplikace s nástroji okolo na odemykání, i jejich kompatibilitou.
SATA modely většinou implementují standard TGC Opal, SAS disky TGC Emerald (Enterprise), které definují i příkazy na správu šifrování, bezpečného mazání atp.
Odemčení může být buď z OS, případně SAS/SATA kontroleru z firmware, jestliže ten umí správu SED disků.
- můžou nastat komplikace při přesunu z jednoho vendora řadiče a úložiště na druhého

U těch Opal disků znám v podstatě jen jeden program, co běží na Linuxu, BSD, UEFI PBE - sedutil-cli. Existuje i pár jeho forků, co řeší různé změny. Používal jsem to na SSD, ale na HDD je stejný princip. Určitě bych si dopředu ověřil, jestli to funguje s konkrétním diskem a jestli bych to byl nějak schopen zapracovat do inicializace a odemykání toho úložiště.

Enterprise disky pak mají ekvivalentní SCSI příkazy a zároveň víc možností (víc hesel a uživatelů atp.). Tam osobně neznám žádnou obecnu utilitu pro Linux, co by to rovnou umožňovala spravovat SED. Tedy pokud neberu to, že by zkoušel posílat hexa příkazy z toho standardu pomocí sg_utils.
Na druhou stranu tu jejich správu zas umí některé řadiče (RAID i HBA). Často to funguje tak, že se ve skupině disků vygenerují a použijí samostatné klíče, které se pod společným heslem šifrovaně uloží v NVRAM řadiče.
Tohle heslo se pak může zadávat buď při startu serveru (např. UEFI op-rom aplikací), nebo je to propojeno s BMC serveru. To většinou vyžaduje režim externí správa klíčů a komunikuje to např. s iDracem nebo iLO, které pak můžou zas mít na síti i nějaký nadřazeý systém na ověřování a klíče. Další možnost bude pak v managment nástrojích od řadiče ze systému.
V případě Arecy mají jejich SAS/SATA řadiče dokonce svůj ethernet port a embeedovaný webserver a management přístupny mimo OS.

Já sám jsem se s SED setkal buď v nějakých enterprise úložištích (úplně mimo cenově), nebo v serverech od Dellu, HP (byť jsem je osobně nespravoval). Tde byly jejich brandované řadiče a integrace do BMC, jak jsem zmiňoval. Zároveň  disky byly také součástí, takže odpadl problém s případnou kompatibilitou.
Kdybych to měl řešit jako DIY skládačku, určitě bych to minimálně konzultoval s prodejci tady (jako Anafra), nebo se pokusil zařídit nějaký test.
3
Hardware / Re:Šifrování disku a poruchy na 54TB oddílu
« Poslední příspěvek od Michal Šmucr kdy Dnes v 01:29:12 »
Rovnou předesílám, že nic full disk encryption třeba přes dm-crypt spolu s nějakou formou sw RAIDu nemám trvale nasazenou v produkčním prostředí. Byť jsem si s těmi věcmi občas blbnul, tak jsem to naštěstí nikde přímo nepotřeboval úplně komplet a stačilo to řešit jen šifrovaným adresářem pro specifické věci, které nebyly tak zásadně kritické na výkon. Ať už přes LUKS image nebo nějakým FUSE overlayem jako je třeba gocryptfs.

Ale k tomu dm-cryptu a chybám, zajímalo mě to taky, i třeba pro použití na fleškách, a dělal jsem si před lety své omezené simulace s výchozím aes-xts algoritmem. Chovalo se to vcelku mravně a chyby se prostě propagovaly po blokách výš. Zkoušel jsem nulování sektorů, nějaké bit flipy, zkrácení image s LUKS formátem.
Pokud jsou chybná data v zařízení nebo image pod tím, pak se objeví i v tom zařízení s dekryptovaným obsahem, ale nezastaví se to. Respektive ani se o tom člověk nejspíš nedozví, pokud to nedoprovází ještě nějaký timeout blokového zařízení.
Samožřejmě pak platí to, co psal RDa, když u toho LUKS layoutu ta chyba blbě strefí do metadat (superbloku nebo keyslotů), tak je to v pytli a proto se musí tahle metadata zálohovat (při každé změně klíče).

Tím, že je to transparentní, pracuje to s bloky, IO errory se propagují dál, mdraid by měl fungovat standardně včetně timeoutů, degradovaného režimu s chybějícím diskem atd. Jak pod dm-cryptem, tak nad ním (každý disk, jak tu zaznělo). V obou případech si to bude samozřejmě chtít pohlídat celou správnou inicializaci všech elementů po startu systému, ideálně pro datové (ne systémové) pole to vyloučit ze všech možných autodetekcí, automatických mountů. A celé to řešit svým skriptem, resp. systemd službami.

Jestliže dojde na nejhorší a opravdu dojde k nějaké neobnovitelné chybě v sektorech, tak je to jako u kterékoliv jiné případné obnovy a závisí to na tom, kam se to přesně trefilo a v jakém rozsahu (nevím superblok, žurnál, inody, extent..) a co je to za fs.

BTRFS jsem na tom nezkoušel, prakticky s ním vůbec nepoužívám jeho multidisk - RAIDování. mdraid i ZFS s tím běží (a i to takhle někteří lidé na Linuxu používali a používají i po příchodu nativního šifrování).
Vloni přidalo podporu šifrování svazků i Synology do DSM 7 na vyšších modelech (s x86_64 CPU).
Tam je to: disky -> mdraid -> dm-crypt -> btrfs
Ale jen jsem to zaznamenal v release notes, všechny DSM, co řeším, mají doteď jen nešifrované svazky.
4
Hardware / Re:Šifrování disku a poruchy na 54TB oddílu
« Poslední příspěvek od RDa kdy 16. 03. 2025, 21:50:54 »
RAID6 btrfs? Tož tak tomu se říká odvážný harcovník :-)

V momente co staci zapnout backup stroj a zmenit mountpoint.. v pripade tak priserneho crashe, je to spise uz pohodlnost nez odvaha. Nepamatuji si kdy me tyhle dedikovane/jednoucelove (storage only) nody treba padli - a vlastne i reboot interval je dost dlouhej (treba 2x rocne max). Vse ostatni mimo uloziste je pak vice experimentalni.. a klidne padat muze (proto je tam NFS ven, ne napr. iSCSI).


A navíc trpělivý, protože scrub na tom trvá věčnost (ve srovnání s MD i ZFS) a generuje tak chaotické nesekvenční IOPS, že to téměř zastaví narmální provoz.

Zatim jsem na tom jediny klient ja.. malokdy nejaky dalsi proces, takze normalni provoz je spis zadnej a uloziste trpelive idluje. Spis se QoS zabiji tim, ze je to skrze nfs a kdyz neco moc zapisuje (flush dirty pages z lokalni ram cache), tak se mu uz uplne nechce v jinem vlakne cist (takovy a la ADSL experience).
5
Server / Re:Doporučte cloudové úložiště
« Poslední příspěvek od kuba77 kdy 16. 03. 2025, 21:31:17 »
Mám tam zálohy. Druhá kopie je navíc jinde. Takže mi to může být dost srdečně jedno. Proto píši jak na co. Nemluvě o to, že by mě jednak zajímalo, jak dlouho po podobném incidentu podobné věci pořád dokola hodláte řešit a za druhé nevím, co od služby za pár dolarů měsíčně čekáte.

Tak ono se to za rok(y) nasčítá, jen za roční cenu se dá koupit 6TB disk, nebude sice k dispozici online odkudkoli, ale záleží na využití. Jinak za poloviční cenu co stojí těch 5TB na Hertzner je 5TB na Ulož.to disk, s kterým jde rclone od verze 1.66 také použít. Dříve za tu cenu bylo i 10TB, ale pak se to rozšířilo v zahraničí jako levné úložiště a změnili to.
6
Server / Re:Doporučte cloudové úložiště
« Poslední příspěvek od JanBenicek kdy 16. 03. 2025, 21:28:26 »
cokoliv bych poslal nekam na cloud tak si jeste sam zasifruji.
vy se nebojite svoje veci davat ven, nekam do sveta, kde se muze stat cokoliv?
kraviny at jsou klidne na cloudu, ale opravdu dulezite veci mam jen u sebe a v nekolika kopiich
u babicky, u tchyne.

Osobně aktuálně již cloud úložiště nevyužívám, ale dřív jsem používal Hetzner storageBox pro offsite zálohy. Bohužel jak objem dat rostl a přišel požadavek na rychlý přístup odkudkoli, tak jsem se přinutil k provozu vlastního serveru v datacentru. To je pro vás asi ideál pro bezpečné uložení dat, kde si za jakýkoli únik nebo ztrátu může člověk sám
7
Sítě / Re:Jak funguje síť Cetinu?
« Poslední příspěvek od František Ryšánek kdy 16. 03. 2025, 21:08:38 »
Omluva za exhumaci, náhodou jdu kolem, jenom přípodotek do záznamu:

Citace
se vytočí PPPoE - autentizace už je potřeba, protože účastník není jednoznačně identifikován. Jen mi není úplně jasné, proč má username i doménovou část, když už celé PPPoE běží v síti operátora, je tam nějaká možnost dalšího přeprodávání, aby každý alternativní operátor nemusel mít SVLAN do každého OLT

Ta "doména" je nejspíš radiusový realm. Dává to například možnost, aby operátor prodávající internetovou službu mohl mít víc různých "kategorií služeb". Třeba dynamické IP koncovým zákošům, statickou IP, privátní propojení (VPN) apod. Podobnost radiusového realmu s internetovým doménovým jménem je spíš "čistě náhodná" (nebo klidně čistě záměrná), ale nejedná se technicky o totéž.

Tzn. pokud ten realm neslouží k rozlišení mezi operátory internetové konektivity, pak se může jednat o nějaké podrobnější rozlišení služeb v rámci konkrétního operátora. Tuším je možné podle realmu např. delegovat radiusovou autentikaci (a přiřazování služeb) na různé radiusové servery v pozadí.
8
Server / Re:Doporučte cloudové úložiště
« Poslední příspěvek od Martin Poljak kdy 16. 03. 2025, 20:52:59 »
cokoliv bych poslal nekam na cloud tak si jeste sam zasifruji.
vy se nebojite svoje veci davat ven, nekam do sveta, kde se muze stat cokoliv?
kraviny at jsou klidne na cloudu, ale opravdu dulezite veci mam jen u sebe a v nekolika kopiich
u babicky, u tchyne.

On je třeba s rclone a crypt backendem v tomto ohledu nějaký známý zásadní problém?
9
Server / Re:Doporučte cloudové úložiště
« Poslední příspěvek od Martin Poljak kdy 16. 03. 2025, 20:51:54 »
Já jsem tedy přešel k Hetzner Storage Boxes a vyjde mě to podstatně levněji. Backblaze chce 6 USD za TB/měsíc, u Hetznera je 5 TB za 13 USD. Záleží, co člověk potřebuje ale rozhodně bych netvrdil, že nemají konkurenci. Jak pro co.
Hetzner lost customer data and gave 20€ as compensation

Mám tam zálohy. Druhá kopie je navíc jinde. Takže mi to může být dost srdečně jedno. Proto píši jak na co. Nemluvě o to, že by mě jednak zajímalo, jak dlouho po podobném incidentu podobné věci pořád dokola hodláte řešit a za druhé nevím, co od služby za pár dolarů měsíčně čekáte.
10
Server / Re:Doporučte cloudové úložiště
« Poslední příspěvek od ogdru6jahad kdy 16. 03. 2025, 20:50:47 »
cokoliv bych poslal nekam na cloud tak si jeste sam zasifruji.
vy se nebojite svoje veci davat ven, nekam do sveta, kde se muze stat cokoliv?
kraviny at jsou klidne na cloudu, ale opravdu dulezite veci mam jen u sebe a v nekolika kopiich
u babicky, u tchyne.
Stran: [1] 2 3 ... 10