O skypu se povídá, že používá knihovnu Qt. Chrome používá GTK na linuxu, Cocoa na Macu a pro Widle mají vlastní, viz
http://dev.chromium.org/developers/design-documents/chromeviews . uTorrent je na Widlích tuším přímo přes Win32 api, ale je to jen můj dojem.
Co se týče Qt, jedná se o celkem povedený aplikační framework pro C++, kde si pomocí jazyka podobného CSS můžeš jednoduše měnit vzhled ovládacích prvků. Podobně funguje na JavaFX a WPF.
Pokud programuješ na Javě, tak doporučuji spíš JavaFX - je to sice ještě mladý projekt a chybí mu některé věci, na druhou stranu oddělení view/controller, nativní podpora databindingu a možnost dělat psí kusy se vzhledem aplikace jsou dost dobré věci. Určitě bych nešel do Swingu, pokud chceš aplikaci, která má kulervoucí vzhled a do toho ještě hraje a zpívá a animuje každou hovadinu - ne, že by to nešlo, ale původně k tomu nebyl určen a ohýbat ho není sranda. Chceš-li to na C++, pak moje doporučení je Qt.
Ad napodobení vzhledu jiné aplikace - myslím, že tady žádné knihy nejsou. Prostě se na ni podívej a udělej to podle toho :-) . Jestli chceš poradit s něčím konkrétním, pak na to asi založ samostatné vlákno, kde napíšeš v čem děláš (JavaFX/Qt...) a dáš screenshot konkrétní části UI.