iSCSI - perspektivní protokol dnes (2022?)

Jose D

  • *****
  • 850
    • Zobrazit profil
iSCSI - perspektivní protokol dnes (2022?)
« kdy: 01. 07. 2022, 15:25:41 »
je dneska iSCSI (@IPv4) ještě perspektivní protokol?

Začal jsem si na tom stavět nějaké prostředí, ale přijde mi, že jsem o něm dlouho neslyšel, a nejsem si jistý jestli to je oborovou echo-chamber..

Používáte iSCSI jako protokol pro blokovou storage ve svých projektech?


Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #1 kdy: 01. 07. 2022, 15:40:14 »
to je stálice, pořád většina storage v enterprise světě je připojena přes iSCSI z diskového pole. Občas teda člověk najde iSER, ale to je hodně podobné. Začínáme ale pomalu testovat nvme-of, ale iSCSI to zatím nenahradí.

Když u serveru nechceš mít disk lokálně, tak příliš moc jiných možností jak připojit vzdáleně block device nemáš, iSCSI je nejuniverzálnější.

Osobně to používám i doma, většina HW mi běží v diskless režimu a data tahají přes iSCSI.

Trochu s tím mávají cloudy, ty totiž implementaci schovávají nebo se masivně používá na data HTTP api, ale uvnitř tam bude pořád něco na způsob iSCSI.

Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #2 kdy: 01. 07. 2022, 16:29:39 »
iSCSI je tu porad. Ted se o nem mluvi vice kvuli Kubernetes. I kdyz to neni na prvni pohled videt, tak nektera CSI pouzivaji pod kapotou iSCSI a z toho plynou ruzne problemy.

Jedine co IMHO muze iSCSI upozadit je rychla lokalni storage a sharding na urovni DB engine.

Jose D

  • *****
  • 850
    • Zobrazit profil
Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #3 kdy: 01. 07. 2022, 17:32:34 »
díky za odpovědi, mě nahlodala absence rozumných iscsi-related ansible modulů, tak jsem se lekl, jestli jsem se nedostal na za hranu normálních architektur...

Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #4 kdy: 01. 07. 2022, 21:19:35 »
Uprimne moc netusim o jakem enterprise svete kolegove mluvi :). Imho vnimam nekolik smeru a iscsi v nem moc nefiguruje.

1) Pokud chci slusnou blokovou storage a mam prachy pak je tu stary dobry fc
2) Pokud z nejakeho duvodu fc nemam rad (treba kvuli dedikovane inrastrukture) pak je to vetsinou reseny necim ala NetApp na dedikovane infrastrukture => tedy nfs like, ktere uz samo o sobe zajistuje paralelni pristup  (kolikrat nahrada vmfs) plus mrte cool ficur navic jako replikace, failover apod.
3) Diky rozmachu technologii podporujici sharding apod je tu takova skromna renesance DAS.

iscsi je porad jen publikovani blokove storage - nic vic nic min.


Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #5 kdy: 01. 07. 2022, 21:21:04 »
….a samozrejme jsem zapomnel na ruzna objektova udelatka typu ceph, s3 apod.

Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #6 kdy: 01. 07. 2022, 22:11:46 »
FC a iSCSI jsou tady vedle sebe, SAN běžně umí oba. FC ale potřebují celou speciální infrastrukturu na l2, s nástupem SDN a ceph se iSCSI daří daleko lépe, FC prostě nemůžeš moc řetězit přes switche, latence roste do nebes. Nové FC jsem už několik let neviděl (chápu, mám omezený vzorek). V např. prostředí českých bank nebo operátorů je více dat a provozu na iSCSI než přes FC.

FC na kubernetes nebo do cloudů je dost neprůchozí. NFS můžeš použít na nějaká statická data, ale provozovat databáze nebo OS na tom nemůžeš.

Vedle ještě stojí infiniband, asi ho mám nejraději, ale jsem tady skoro osamonec.

Třeba ale to vidíš jinak, nechci se o tom přít, každý jsme asi někde jinde, pořád to ale nic nemění na tom, že iSCSI mrtvé není. Tohle se často přes ansible nekonfiguruje, buď se to dělá ručně nebo jinými nástroji, ansible je na to dost nespolehlivý a pomalý.

RDa

  • *****
  • 2 467
    • Zobrazit profil
    • E-mail
Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #7 kdy: 01. 07. 2022, 22:32:59 »
Tak ono to iSCSI je nejjednodussi krok pro bezneho uzivatele, protoze FC i IB vyzaduje specialni HW.

U iSCSI jde jednak jen o software, a pak ho taky podporuji lepsi domaci NASky, kdyz si nechcete delat server sam (s provisioningem nad LVM je to ponekud slozitejsi).

Pokud ale chcete byt trocha futurista, tak si rozjedte NVMe-oF. Nevidim duvod proc by tam neslo nasdilet bezny disk skrze sw translaci, a da se ocekavat taky vetsi vykon (z principu hodne sirokeho paralelismu u NVMe.. pokud na druhe strane je taky patricne ssd).

k3dAR

  • *****
  • 2 838
  • porad nemam telo, ale uz mam hlavu... nobody
    • Zobrazit profil
    • E-mail
Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #8 kdy: 02. 07. 2022, 02:44:00 »
pouzivam iSCSI s iPXE pro boot z image USBFlashdisku ;-)

Jose D

  • *****
  • 850
    • Zobrazit profil
Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #9 kdy: 02. 07. 2022, 23:07:08 »
Vedle ještě stojí infiniband, asi ho mám nejraději, ale jsem tady skoro osamonec.

takže iser, jo?
IB taky mám, ale zatím jsem ho měl jako výpočetní síť pro MPI a občas NFS přes RDMA.
« Poslední změna: 02. 07. 2022, 23:09:55 od Jose D »

Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #10 kdy: 03. 07. 2022, 20:00:14 »
Vedle ještě stojí infiniband, asi ho mám nejraději, ale jsem tady skoro osamonec.

takže iser, jo?
IB taky mám, ale zatím jsem ho měl jako výpočetní síť pro MPI a občas NFS přes RDMA.


iSER je hodně silný a univerzální, já jsem odkojen ale jeho předchůzcem SRP a ten i pořád používám, je snažší na inicialiizaci a správu. Tu správu, ten přehled o celé síti, tu spolehlivost proti ethernetu, prostě úžasné. V infinibandu je dobře řešený multipathing, to v ethernetu je to malé peklo.

Hlavní důvod proč se mi to ale líbí je, že to dokážu bez problémů provozovat sám doma a stejně tak umím sám připravit síť pro zákazníky. V případě FC to je pro mě strašně obtížné, a SCSI nad TCP je prostě nemocná teta, zajistit tomu stabilní latency a šířku pásma není občas vůbec snadné. SCSI ale umím dotáhnout na klientské stanice, tam si FC ani IB nevrzne.

Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #11 kdy: 04. 07. 2022, 20:02:06 »
S iSCSI môžete spraviť externý kryptovaný disk prakticky na každom NAS-e tak, že ten NAS žiadny kľúč nikdy neuvidí.

Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #12 kdy: 04. 07. 2022, 23:50:24 »
Zrovna si hraju s diskless RPi (/boot na NFS, / na iSCSI). Ta malá podpora iSCSI targetu v Ansible mě taky překvapila. A existujicí volají složitě targetcli (to už by šlo použít command modul), který je vlastně jenom frontend pro python knihovnu (rtslib), takže by mohl být nativní modul.

Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #13 kdy: 05. 07. 2022, 11:58:21 »
modulům v ansiblu většinou moc neholduji, musím pak udržovat další závislost, rozbíjí se to mezi verzemi, raději si na tyhle věci buď píšou bash script jako wrapper nebo volám přímo command a detekuji si změny ručně. Většinou je takové řešení trvanlivější než zajišťovat na cílových strojích potřebné python knihovny.

S přechodem na python3 se nám většina modulů rozbila a bylo to dlouhé přepisování, teď to stejné zažíváme s python3.9, kde řada modulů nefunguje.

Dnes už na provisioning těhle věcí mám asi raději terraform a napsat si vlastního providera, pokud není. Lépe se to dlouhodobě udržuje.

Re:iSCSI - perspektivní protokol dnes (2022?)
« Odpověď #14 kdy: 07. 07. 2022, 00:09:54 »
Nesouhlasím s předřečníkem, že na NFS nelze provozovat DB. Třeba Oracle má přímou nativní podporu pro NFS a šlape to dobře. Teď ale migruji z NFS na iSCSI, protože nový storage neumí NFS. Jinak by mi to bylo jedno.
V testech vychází v některých situacích iSCSI rychleji, než NFS4.1
Každopádně iSCSI je naprosto běžné a není problém.
Zdar Max