Nevidím dôvod, prečo by sa nemohol dať grub na USB, stači zistiť zariadenie, možno /dev/sdc a pri inštalácii ubuntu (asi nie z toho kľúča) vybrať daný kľúč, prípadne neskôr spustiť grub-install /dev/sdc..
Samozrej PC musí vedieť bootovať z USB.
Windows nepoužívam, ale inak neviem ako môže bootovanie zdržiavať grub, jedine viem, že niektoré aktualizácie grub zničili a musel sa inštalovať znova.