Zatím OP nedodává žádný informace, na základě kterých by se dalo radit, takže to beru jako plkárnu... Takže pár plků přidám

Chci se zeptat na vaše zkušenosti se servery s více CPU, jak byste zhodnotili nárůst výkonu například v MS SQL či v php?
Záleží samozřejmě na aplikaci. Pokud máš aplikaci, která většinu času čeká na disk, tak tam můžeš mít CPU klidně deset a nic z toho.
Víc CPU znamená samozřejmě větší příkon a tím vyšší cenu v DC.
A máte nějaké zkušenosti s nákupem použitých serverů například z ebay?
Dobré. Ale tak to je samozřejmě kus od kusu. Je to jakoby ses ptal, jakou máme zkušenost s jabkama ze supermarketu a ani neřekl kterýho...
Na databázi bude spíše velké množství "malých" dotazů, proto se třeba bojím volby SSD (možná neoprávněně).
Irelevantní. Pokud se DB vejde do paměti a bude převládat čtení, tak se na disk skoro ani nešáhne. Když koupíte jánevím 32GB RAM, tak se vám tam většina každé běžné databáze vejde.
Vygoogli si, na jakým hw běží celý stackoverflow, garantuju ti, že budeš silně valit voči

Prosím omluvte mou možná hloupou otázku, ale nebylo by levnější si ten server pronajmout v cloudu ?
Když vlastně "nevíte" co potřebujete ? [...] Pak se zjistilo, že za stejné, ne-li menší, peníze se server mohl provozovat na HW daného datacentra.
Bez jakékoli urážky mám trochu obavu, jestli si tazatel prozkoumal dnešní možnosti, který jsou fakt enormní, přinejmenším:
1. vlastní hw na vlastní lince ve vlastní serverovně
2. vlastní hw v cizím DC
3. pronájem hw v DC (tip: hetzner.de)
4. pronájem virtuálu ala "mám jedniu svoji VPSku"
5. pronájem virtuálu ala IaaS (OpenStack apod.)
6. PaaS (OpenShift apod.)
7. managovaný server
Vzhledem ke znění dotazu si vůbec nejsem jistej, jestli je 2 pro něj správná volba... A volba konkrétního hw je celkem až poslední a celkem nedůležitá věc...