Asi jediný použitelný je ZFS. ZFS má ale velké nároky na RAM při deduplikaci. Doporučení se pohybují od 5 GB RAM + 1 GB RAM na každý 1 TB disku až po 5 GB RAM na každý 1 TB disku. Je možné, že během zálohování by Vám mohlo stačit i méně, pokud nebude na překážu horší výkon zápisu (já to tak v jednom případě mám a v pohodě).
ZFS bych asi spouštěl na FreeBSD, než na Linuxu.
Ale co zvažte víc:
1. Dokážete udělat zálohu dedup friendly? Tedy aby byla stejná šance, že stejná data "přistanou" zarovnána na stejné počátky bloků? Pokud totiž stejná data vyjdou jinak na bloky, nic nezdeduplikujete. V tomto směru vím, že dedup friendly zálohuje Veeam Backup, ale ten se týká jen vSphere a Hyper-V.
2. V kombinaci s Veeam Backup má dobrou a paměťově málo náročnou deduplikaci Windows Server. Tam dosáhnete s kompresí skoro až neuvěřitelných výsledků, které na Linuxu/FreeBSD nevím jak dosáhnout.
Na komentář Rhinoxe bych nebral velký ohled. Na deduplikaci je 16 GB jakš takš, pokud nechcete velký výkon. ARC u zálohovacího serveru nepotřebujete vůbec a lze ji vypnout.