Fórum Root.cz

Hlavní témata => Server => Téma založeno: Jose D 01. 07. 2022, 15:25:41

Název: iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: Jose D 01. 07. 2022, 15:25:41
je dneska iSCSI (@IPv4) ještě perspektivní protokol?

Začal jsem si na tom stavět nějaké prostředí, ale přijde mi, že jsem o něm dlouho neslyšel, a nejsem si jistý jestli to je oborovou echo-chamber..

Používáte iSCSI jako protokol pro blokovou storage ve svých projektech?
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: _Tomáš_ 01. 07. 2022, 15:40:14
to je stálice, pořád většina storage v enterprise světě je připojena přes iSCSI z diskového pole. Občas teda člověk najde iSER, ale to je hodně podobné. Začínáme ale pomalu testovat nvme-of, ale iSCSI to zatím nenahradí.

Když u serveru nechceš mít disk lokálně, tak příliš moc jiných možností jak připojit vzdáleně block device nemáš, iSCSI je nejuniverzálnější.

Osobně to používám i doma, většina HW mi běží v diskless režimu a data tahají přes iSCSI.

Trochu s tím mávají cloudy, ty totiž implementaci schovávají nebo se masivně používá na data HTTP api, ale uvnitř tam bude pořád něco na způsob iSCSI.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: Ivan Brezina 01. 07. 2022, 16:29:39
iSCSI je tu porad. Ted se o nem mluvi vice kvuli Kubernetes. I kdyz to neni na prvni pohled videt, tak nektera CSI pouzivaji pod kapotou iSCSI a z toho plynou ruzne problemy.

Jedine co IMHO muze iSCSI upozadit je rychla lokalni storage a sharding na urovni DB engine.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: Jose D 01. 07. 2022, 17:32:34
díky za odpovědi, mě nahlodala absence rozumných iscsi-related ansible modulů, tak jsem se lekl, jestli jsem se nedostal na za hranu normálních architektur...
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: bobprasak 01. 07. 2022, 21:19:35
Uprimne moc netusim o jakem enterprise svete kolegove mluvi :). Imho vnimam nekolik smeru a iscsi v nem moc nefiguruje.

1) Pokud chci slusnou blokovou storage a mam prachy pak je tu stary dobry fc
2) Pokud z nejakeho duvodu fc nemam rad (treba kvuli dedikovane inrastrukture) pak je to vetsinou reseny necim ala NetApp na dedikovane infrastrukture => tedy nfs like, ktere uz samo o sobe zajistuje paralelni pristup  (kolikrat nahrada vmfs) plus mrte cool ficur navic jako replikace, failover apod.
3) Diky rozmachu technologii podporujici sharding apod je tu takova skromna renesance DAS.

iscsi je porad jen publikovani blokove storage - nic vic nic min.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: bobprasak 01. 07. 2022, 21:21:04
….a samozrejme jsem zapomnel na ruzna objektova udelatka typu ceph, s3 apod.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: _Tomáš_ 01. 07. 2022, 22:11:46
FC a iSCSI jsou tady vedle sebe, SAN běžně umí oba. FC ale potřebují celou speciální infrastrukturu na l2, s nástupem SDN a ceph se iSCSI daří daleko lépe, FC prostě nemůžeš moc řetězit přes switche, latence roste do nebes. Nové FC jsem už několik let neviděl (chápu, mám omezený vzorek). V např. prostředí českých bank nebo operátorů je více dat a provozu na iSCSI než přes FC.

FC na kubernetes nebo do cloudů je dost neprůchozí. NFS můžeš použít na nějaká statická data, ale provozovat databáze nebo OS na tom nemůžeš.

Vedle ještě stojí infiniband, asi ho mám nejraději, ale jsem tady skoro osamonec.

Třeba ale to vidíš jinak, nechci se o tom přít, každý jsme asi někde jinde, pořád to ale nic nemění na tom, že iSCSI mrtvé není. Tohle se často přes ansible nekonfiguruje, buď se to dělá ručně nebo jinými nástroji, ansible je na to dost nespolehlivý a pomalý.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: RDa 01. 07. 2022, 22:32:59
Tak ono to iSCSI je nejjednodussi krok pro bezneho uzivatele, protoze FC i IB vyzaduje specialni HW.

U iSCSI jde jednak jen o software, a pak ho taky podporuji lepsi domaci NASky, kdyz si nechcete delat server sam (s provisioningem nad LVM je to ponekud slozitejsi).

Pokud ale chcete byt trocha futurista, tak si rozjedte NVMe-oF. Nevidim duvod proc by tam neslo nasdilet bezny disk skrze sw translaci, a da se ocekavat taky vetsi vykon (z principu hodne sirokeho paralelismu u NVMe.. pokud na druhe strane je taky patricne ssd).
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: k3dAR 02. 07. 2022, 02:44:00
pouzivam iSCSI s iPXE pro boot z image USBFlashdisku ;-)
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: Jose D 02. 07. 2022, 23:07:08
Vedle ještě stojí infiniband, asi ho mám nejraději, ale jsem tady skoro osamonec.

takže iser, jo?
IB taky mám, ale zatím jsem ho měl jako výpočetní síť pro MPI a občas NFS přes RDMA.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: _Tomáš_ 03. 07. 2022, 20:00:14
Vedle ještě stojí infiniband, asi ho mám nejraději, ale jsem tady skoro osamonec.

takže iser, jo?
IB taky mám, ale zatím jsem ho měl jako výpočetní síť pro MPI a občas NFS přes RDMA.


iSER je hodně silný a univerzální, já jsem odkojen ale jeho předchůzcem SRP a ten i pořád používám, je snažší na inicialiizaci a správu. Tu správu, ten přehled o celé síti, tu spolehlivost proti ethernetu, prostě úžasné. V infinibandu je dobře řešený multipathing, to v ethernetu je to malé peklo.

Hlavní důvod proč se mi to ale líbí je, že to dokážu bez problémů provozovat sám doma a stejně tak umím sám připravit síť pro zákazníky. V případě FC to je pro mě strašně obtížné, a SCSI nad TCP je prostě nemocná teta, zajistit tomu stabilní latency a šířku pásma není občas vůbec snadné. SCSI ale umím dotáhnout na klientské stanice, tam si FC ani IB nevrzne.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: xitop 04. 07. 2022, 20:02:06
S iSCSI môžete spraviť externý kryptovaný disk prakticky na každom NAS-e tak, že ten NAS žiadny kľúč nikdy neuvidí.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: lazywriter 04. 07. 2022, 23:50:24
Zrovna si hraju s diskless RPi (/boot na NFS, / na iSCSI). Ta malá podpora iSCSI targetu v Ansible mě taky překvapila. A existujicí volají složitě targetcli (to už by šlo použít command modul), který je vlastně jenom frontend pro python knihovnu (rtslib), takže by mohl být nativní modul.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: _Tomáš_ 05. 07. 2022, 11:58:21
modulům v ansiblu většinou moc neholduji, musím pak udržovat další závislost, rozbíjí se to mezi verzemi, raději si na tyhle věci buď píšou bash script jako wrapper nebo volám přímo command a detekuji si změny ručně. Většinou je takové řešení trvanlivější než zajišťovat na cílových strojích potřebné python knihovny.

S přechodem na python3 se nám většina modulů rozbila a bylo to dlouhé přepisování, teď to stejné zažíváme s python3.9, kde řada modulů nefunguje.

Dnes už na provisioning těhle věcí mám asi raději terraform a napsat si vlastního providera, pokud není. Lépe se to dlouhodobě udržuje.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: Max Devaine 07. 07. 2022, 00:09:54
Nesouhlasím s předřečníkem, že na NFS nelze provozovat DB. Třeba Oracle má přímou nativní podporu pro NFS a šlape to dobře. Teď ale migruji z NFS na iSCSI, protože nový storage neumí NFS. Jinak by mi to bylo jedno.
V testech vychází v některých situacích iSCSI rychleji, než NFS4.1
Každopádně iSCSI je naprosto běžné a není problém.
Zdar Max
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: _Tomáš_ 07. 07. 2022, 16:50:37
Nesouhlasím s předřečníkem, že na NFS nelze provozovat DB. Třeba Oracle má přímou nativní podporu pro NFS a šlape to dobře. Teď ale migruji z NFS na iSCSI, protože nový storage neumí NFS. Jinak by mi to bylo jedno.
V testech vychází v některých situacích iSCSI rychleji, než NFS4.1
Každopádně iSCSI je naprosto běžné a není problém.
Zdar Max

ano, Oracle si k tomu udělal Direct NFS gateway, která mu záplatuje neduhy NFS, drží cache, řeší paralelismus a asynchronní IO. Provozovat databázi na NFS prostě není dobrý nápad z mnoha důvodů, o tom se asi přít nemusíme.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: Ivan Brezina 08. 07. 2022, 19:30:51
ano, Oracle si k tomu udělal Direct NFS gateway, která mu záplatuje neduhy NFS, drží cache, řeší paralelismus a asynchronní IO. Provozovat databázi na NFS prostě není dobrý nápad z mnoha důvodů, o tom se asi přít nemusíme.

NFS ver 4.0, 4.1, 4.2 se lisi v detailech. Navic to komplikuje fakt, ze ruzne verze kernelu, implementuji/neimplementuji volitelne casti NFS 4.0, 4.1, 4.2 takze to neni uplne prehledne. Navic Oracle ma specialni pozadavky jako zamykani souboru, paralelismus, ...

Takze to dNFS je vlastne implementace NFS klienta primo v userspace v DB engine. Coz je svym zpusobem uchylarna, ale urcite k tomu mel nekdo nejaky duvod.
Název: Re:iSCSI - perspektivní protokol dnes (2022?)
Přispěvatel: Jose D 29. 07. 2022, 10:49:14
NFS ver 4.0, 4.1, 4.2 se lisi v detailech.

jj... když už jsme tady u NFS, měl jste tady někdo v ruce implementaci pNFS? (myslím, že vycházející ze specifikace NFS4.1 a vyšší? )

Mělo to, myslím, fungovat na principu NFS serveru, který byl de-facto metadata server vracející handly na iSCSI(?) targety, tj. mělo takhle jít dobře rozložit load, protože targety byly nezávislé.

Nicméně vím jen o tom, že to měl panasas ve svých fillerech, ve vanilkovém jádře se to na chvíli objevilo a snad už to zase zmizelo..

Obdobný usecase mám dneska řešený přes BeeGFS kde je tedy (na serverside) všechno v userspace, a vlastně nevím, proč se pNFS nedostalo do běžného IT..