No, co se matiky na FITu týče, ta funguje jako filtr - nevím o nikom, koho by bavila IDA, ale IMA už byla lepší a INM už přišla zajímavá řadě lidí. Prostě tu nejtěžší matiku z bakalářského studia dali hned na první semestr.

Ale je fakt, že v jejím rámci se probere třeba teorie grafů, kterou pak zase potřebuješ v algoritmech, takže ony ty předměty na sebe celkem pěkně navazují. Další matematika je pak až na magisterském studiu, takže pokud přežiješ IDA, to nejhorší z matiky budeš nejspíš mít za sebou (no dobře, ještě bys ji měl vidět při přípravě na bc.

).
S programováním je to horší - já taky znal na začátku rozumně jen php+js a bash, další jazyky jsem akorát viděl z rychlíku. C se sice dělalo na střední, ale to jsem proflákal, jak se dalo (kdo ne?

), takže jsem s ním taky začínal. Projekty z IZP mi těžké nepřišly, o torchu horší byla zkouška, hlavně půlsemestrální - teoretická znalost syntaxe a chování při problémech, programování na papír...
Pokud ti ale dělá problémy už IZP, pak asi nejsi na správné škole, později v rámci jednoho předmětu probereš python+perl a v obou budeš dělat projekty, zároveň s tím ještě nejspíš přijde první seznámení s C++ hozením do vody...
Prostě pokud je pro tebe hlavní problém matika a ostatní věci se dají zvládnout, zvážil bych, zda se nepokusit vydržet. Pokud máš ale velké potíže i s jinými předměty, pak bych zkusil třeba to co navrhl to_je_jedno.