Rename je dobrý způsob, jde to takhle:
$ rename "s/csv$/txt/" *
Pro experimentování doporučuji přidat parametr -n, který zajistí, že se nic ve skutečnosti dělat nebude, ale rename jen vypíše, co by v případě ostré akce dělal. Dá se to takhle odladit a pak pustit bez toho parametru.