Co použít za SW radí ostatní, já bych ještě obohatil svým poznatkem. Snad to není off-topic.
FreeNAS opravdu není řešení pro málo RAM a pro málo disků. Funguje správně teprve ve chvíli, kdy máte na nějakém médiu instalaci (třeba SD karta, USB flash), na jiném médiu konfigurace, swap, ..., a teprve na třetím médiu data. Je to trochu náročnější approach, ale oni se snaží blížit se k enterprise segmentu (tam je výhodou pro správu, když se tyto části oddělí).
Teď můj postřeh. Pokud byste dospěl k tomu, že budete potřebovat dvě zařízení (NAS + server), je docela dobré i pro vzdělávání, postavit (nebo zakoupit) NAS a server postavit bezdiskový. ESXi potřebuje pro start obyčejné USB flash médium (doporučuji buďto SD s ECC nebo s průmyslovou odolností, protože se jinak po čase vyžhaví). NAS může být umístěný někde, kde nevadí hluk (chlazení, rotace disků), server je pak o dost tišší - potřebuje jen chlazení CPU, RAM a zdroje - některé skříně to dovedou kombinovat.
Mít NAS zvirtualizovaný jde, ale jakmile na stejném serveru běží víc VPS, řešíte dilema se správou. Jakékoliv operace na hypervizoru jsou složitější, musíte migrovat velká data a při správě musíte často vyřadit NAS (data) z provozu. Toto taky zvažte.