NAS nad iSCSI

NAS nad iSCSI
« kdy: 15. 06. 2017, 16:03:47 »
Zdravím,
vytvářím NASovou hlavu nad iSCSI úložištěm (točivé disky v raidu). Mělo by to umět iSCSI multipath, snadno si poradit s většími připojenými LUNy (>16 TB). Nabízet bude NFS, později možná i CIFS. Uloženy tam budou převážně menší soubory (jednotky, desítky MB), typickou operací náhodné čtení.

Vybírám vhodné distro (debian, centos) + filesystem (xfs, ext4, btrfs, ..), ev. nějaké polo- či ucelené řešení ala FreeNAS.

Díky za radu


drunkez

Re:NAS nad iSCSI
« Odpověď #1 kdy: 16. 06. 2017, 12:45:11 »
Nechcem byt za vopruzaka, ale otazku tam nevidim ziadnu:)
a tiez myslim ze trocha sa vam mylia pojmy...iscsi je storage networking standard (block storage protokol povedzme)
NAS je sice tiez network related:) ale je to vo vseobecnosti file-level network storage.

Ale mozno som ja mimo, a len nerozumiem co je NAS over iSCSI.

(ale isiel by som do Freenasu..to je fakt OK resp openmediavault openfiler.)

Re:NAS nad iSCSI
« Odpověď #2 kdy: 16. 06. 2017, 14:21:31 »
Díky za reakci, zkusím to přeformulovat ;)

Máme několik blokových polí, které přes iSCSI propagují své volumy. Vytvářím server, který si tyto volumy připojí, vhodným filesystémem zformátuje a přes NFS je bude nabízet jako file storage.

Základní otázka: Jaký filesystém zvolit? Specifika jsou:   

- data v objemu desítek (s výhledem stovek) TB,
- jednotlivé volumy budou >16TB (tuším, že tento limit byl u ext důležitý, ale pravděpodobně už padl),
- uloženo bude velké množství malých souborů (jednotky MB),
- převažovat budou čtecí operace,
- charakterem jde v podstatě o archív, filesystém by měl být otevřený, stabilní, dlouhodobě udržitelný.

Myslím, že zfs (FreeNAS) se na to moc nehodí, disky jsou v polích spojené do RAIDů, zfs rádo vidí disky přímo. Takže váhám mezi ext4, xfs, btrfs ...

Další otázka: Hodila by se na to nějaká  distribuce? Můžu ten server zkusit skládat od začátku (od čistého Debianu či Centosu, do FreeBSD bych se nepouštěl), ale vůbec bych se nebránil něčemu "ušitému". Požadované vlastnosti:

- využít iSCSI multipath pro připojení ke zmíněným block storage,
- podpora pro protokoly NFS, NFSv4, CIFS,
- monitoring zátěže, latence apod.,
- zálohování přes rsync,
- potěšila by možnost HA.

Díky za tip na Openmediavault. Podobně jsem narazil na Rockstor, má s ním někdo zkušenosti?



drunkez

Re:NAS nad iSCSI
« Odpověď #3 kdy: 16. 06. 2017, 16:16:23 »
Hm....imo postavit nieco co vyhovie aspon ciastocne poziadavkam (hlavne vykon, skalovanie,) bude na dlho....a neiste....nie nadarmo sa kupuju netappy, emccka a podobne sragory....oni to uz odladili ...
ak napriek tomu trvate na DIY  tak imo iscsi na backende nebude vhodne..predsa len je to nad IP...takze...proste cele plusy a minusy IP stacku si prenasate do storage-u...
Radsej nativne scsi nad fibrom...
imo co sa tyka backend FS tak asi brtfs alebo nieco inac obskurdne pac potrebujete snapshoty, fsck-less prevadzku checksuming atd atd...

Tuxik

  • *****
  • 1 473
    • Zobrazit profil
    • E-mail
Re:NAS nad iSCSI
« Odpověď #4 kdy: 16. 06. 2017, 18:08:01 »
No nechci do toho kecat, ale stovky TB... není skoro na zvážení SANka? Možná to bude dražší na pořízení, ale zbytek je téměř bez práce...

Ještě doplním, není potom problém nastrkat tam různé disky - SSD, FC, NL a vytvořit nad nimi různé volumy pro různé účely, thin provisioning, deduplikace...
« Poslední změna: 16. 06. 2017, 18:10:46 od Tuxik »


Re:NAS nad iSCSI
« Odpověď #5 kdy: 16. 06. 2017, 19:12:38 »
Ještě doplním, není potom problém nastrkat tam různé disky - SSD, FC, NL a vytvořit nad nimi různé volumy pro různé účely, thin provisioning, deduplikace...

Ano, ale to vše může být jen na blokové úrovni. Někde je to potřeba připojit a vytvořit filesystém. (Tedy pokud na to nechci jít s nějakou unified storage typu nettapího FASu.)   

Možná jsem se s těmi požadavky trochu moc rozohnil ;) Aktuálně řešíme, jak desítky TB sdílet mezi třemi stroji. Přičemž připojení rw by bylo jen na jednom, zbylé by byly read-only. Napadlo mě udělat jakousi NASovou hlavu, která by do jednoho konce dostala iSCSI (s tím momentálně nic neuděláme), z druhého by vylezlo NFS.

V úplném základu jde o to, kam rozumně začít sypat data. Btrfs má pěkné vlastnosti, ale nevím, jestli je vhodný pro tento účel, jestli se dá v současnosti považovat za produkčně stabilní, případně jak je  závislý na konkrétní implementaci, aby se to s případným přepojením jinam nerozpadlo...

RDa

  • *****
  • 3 034
    • Zobrazit profil
    • E-mail
Re:NAS nad iSCSI
« Odpověď #6 kdy: 16. 06. 2017, 21:50:45 »
Ja bych to videl na 4x 10GE, jedno k iSCSI, dalsi tri ke klientum, pres NFS/CIFS. A muzou jet klidne vsichni R/W - synchronizaci prave vyresi ten jeden centralni bod.

Pokud je pozadovano HA nebo skalovatelnost nad 1 hlavu, tak to uz pouzit radeji nejaky clusterovy fs ktery muze byt namounten z vice nodu v rw (s tim ze zamky si ty hlavy vyresi mezi sebou primo), viz https://en.wikipedia.org/wiki/Clustered_file_system

U EXT4 pozor na to, ze 32-bit system zvladne namountovat korektne jen 16TiB a pusteni 32bit fsck na >16TiB vam odrovna data pres false negative chyby.