Levný nevýkonný hardware na virtualizaci

[dj-bobr]

Résumé:

Mám to provisorně zprovozněné. Proxmox VE 8.3.0 na HP T640 zcela bez problémů; akorát jsem doplnil RAM (16GB), vytvořil VM s Windows a VM s Linuxem a zjistil, že v Linuxu funguje tvheadend s USB Astrometou promapovanou do VM úplně v pohodě. Jak jsem se bál nedostatečné realtimovitosti, tak na příjem DVB-T2 streamu to vůbec nehraje roli.

Load s běžícím Win2k8 serverem během instalace SP1 + běžícím Debianem se streamujícím tvheadendem skáče mezi 0.11 a 0.17, takže na CPU to fakt padat nebude.

Když bude někdo v budoucnu potřebovat nějaký benchmark nebo více info, stačí se ozvat.

[Reklama]

[redustin]

Jj, v mém případě T640/32GB RAM + 2x 1TB NVMe v ZFS mirroru + LZ4 komprese dává na pohodu 200GB mariadb pro vývoj rozsáhlého systému na MacBooku M? s omezenou RAM a SSD prostorem. Ty db tam běží dvakrát - jedna jako replikační slave stále napojená na master (když je T640 zapnutý), druhá naklonovaná ze slave přes zfs clone + obfuskovaná, používaná vyvíjeným systémem spouštěným v IntelliJ na tom macu. Plus navíc mac tahá další 40GB souborovou DB z toho ZFS přes sshfs (ale jen gigabit ethernet, takže to moc CPU ani PCI-e linky nezatíží).

Je to opravdu šikovný kvalitní HW za pár šupů.

[David]

ZFS používám všude, ale levné (obyč) M.2 NVMe SSD mi už odešlo docela brzy (nejspíš kvůli množství ZFS zápisů). Tak je potřeba s tím počítat, ale to obecně vždycky, že disk může odejít.

[fanoush]

Jj, v mém případě T640/32GB RAM + 2x 1TB NVMe

nema t640 jen jeden m2 slot na nvme? kde je ten druhy disk? jestli ve wifi slotu, kolik je tam pci-e linek, jedna nebo dve a jaka verze pci-e je pouzita, gen3? sudo lspci -vvv

[redustin]

ZFS používám všude, ale levné (obyč) M.2 NVMe SSD mi už odešlo docela brzy (nejspíš kvůli množství ZFS zápisů).

Snažím se vybírat NVMe s uváděným vyšším počtem zápisu. Ale samozřejmě je to spotřebka...

Tak je potřeba s tím počítat, ale to obecně vždycky, že disk může odejít.

Přesně tak, a proto tam mám ten mirror (i duplicitní záznam v EFI pro zfsbootmenu). Až budou NVMe trochu ošoupaná, postupně je vyměním, navíc budou zase levnější.

[Reklama]

[redustin]

nema t640 jen jeden m2 slot na nvme? kde je ten druhy disk? jestli ve wifi slotu, kolik je tam pci-e linek, jedna nebo dve a jaka verze pci-e je pouzita, gen3? sudo lspci -vvv

Viz https://forum.root.cz/index.php?topic=29812.msg413067#msg413067 . To lspci pošlu během týdne, až stroj poběží a budu tedy k němu mít vzdálený přístup.

[dj-bobr]

sudo lspci -vvv

Zde jest: https://dj-bobr.net/tmp/lspci-hp-t640.htm

[redustin]

 lspci -vvv pro obě NVMe:

Kód: [Vybrat]

01:00.0 Non-Volatile memory controller: MAXIO Technology (Hangzhou) Ltd. NVMe SSD Controller MAP1202 (rev 01) (prog-if 02 [NVM Express])
        Subsystem: MAXIO Technology (Hangzhou) Ltd. NVMe SSD Controller MAP1202 (DRAM-less)
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 38
        IOMMU group: 8
        Region 0: Memory at fea00000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [50] MSI: Enable- Count=1/32 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [70] Express (v2) Endpoint, MSI 1f
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 512 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq+ AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM not supported
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM+ AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s, Width x4
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Via message, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 16ms to 55ms, TimeoutDis- LTR- 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete+ EqualizationPhase1+
                         EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [b0] MSI-X: Enable+ Count=9 Masked-
                Vector table: BAR=0 offset=00003000
                PBA: BAR=0 offset=00002000
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [148 v1] Device Serial Number 00-00-00-00-00-00-00-00
        Capabilities: [158 v1] Alternative Routing-ID Interpretation (ARI)
                ARICap: MFVC- ACS+, Next Function: 0
                ARICtl: MFVC- ACS-, Function Group: 0
        Capabilities: [168 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Capabilities: [1d4 v1] Latency Tolerance Reporting
                Max snoop latency: 0ns
                Max no snoop latency: 0ns
        Capabilities: [1dc v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2- ASPM_L1.1- L1_PM_Substates+
                          PortCommonModeRestoreTime=10us PortTPowerOnTime=14us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us
                L1SubCtl2: T_PwrOn=0us
        Capabilities: [1ec v1] Vendor Specific Information: ID=0002 Rev=4 Len=100 <?>
        Capabilities: [2ec v1] Vendor Specific Information: ID=0001 Rev=1 Len=038 <?>
        Kernel driver in use: nvme
        Kernel modules: nvme

03:00.0 Non-Volatile memory controller: Phison Electronics Corporation PS5021-E21 PCIe4 NVMe Controller (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
        Subsystem: Phison Electronics Corporation PS5021-E21 PCIe4 NVMe Controller (DRAM-less)
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin A routed to IRQ 40
        IOMMU group: 10
        Region 0: Memory at fe800000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: [80] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
                        ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd- ExtTag+ PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 128 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq+ AuxPwr- TransPend-
                LnkCap: Port #1, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (downgraded), Width x1 (downgraded)
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp+ 10BitTagReq- OBFF Not Supported, ExtFmt+ EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCap2: Supported Link Speeds: 2.5-16GT/s, Crosslink- Retimer+ 2Retimers+ DRS-
                LnkCtl2: Target Link Speed: 16GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete+ EqualizationPhase1+
                         EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: Upstream Port
        Capabilities: [d0] MSI-X: Enable+ Count=33 Masked-
                Vector table: BAR=0 offset=00002000
                PBA: BAR=0 offset=00003000
        Capabilities: [e0] MSI: Enable- Count=1/32 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [f8] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [100 v1] Latency Tolerance Reporting
                Max snoop latency: 0ns
                Max no snoop latency: 0ns
        Capabilities: [110 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=10us PortTPowerOnTime=50us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=66560ns
                L1SubCtl2: T_PwrOn=50us
        Capabilities: [128 v1] Alternative Routing-ID Interpretation (ARI)
                ARICap: MFVC- ACS-, Next Function: 0
                ARICtl: MFVC- ACS-, Function Group: 0
        Capabilities: [1e0 v1] Data Link Feature <?>
        Capabilities: [200 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES- TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap- ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 04000001 0000200f 03070000 bd1ceb26
        Capabilities: [300 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Capabilities: [340 v1] Physical Layer 16.0 GT/s <?>
        Capabilities: [378 v1] Lane Margining at the Receiver <?>
        Kernel driver in use: nvme
        Kernel modules: nvme



[RDa]

TLDR:

Kód: [Vybrat]

                LnkSta: Speed 8GT/s, Width x4
                LnkSta: Speed 8GT/s (downgraded), Width x1 (downgraded)
* speed je downgraded protoze to Gen4 SSD jede v Gen3 rezimu

Osobne bych je v teto instalaci spis prohodil - aby Gen4x4 ssd jelo v Gen3x4, a Gen3x4 ssd jelo v Gen3x1, ale asi zalezi co na nich clovek ma.. by musel pripadne prohodit i obsah.

[redustin]

Osobne bych je v teto instalaci spis prohodil - aby Gen4x4 ssd jelo v Gen3x4, a Gen3x4 ssd jelo v Gen3x1, ale asi zalezi co na nich clovek ma.. by musel pripadne prohodit i obsah.

Jaký by v tom byl rozdíl? Disk Gen4x4  nepojede na Gen3x4 rychleji než disk Gen3x4, a ve finále to stejně brzdí Gen3x1, který je s tím Gen3x4 v ZFS mirroru. Navíc i disk na Gen3x4 dával na tom HW přes dd jen cca 1,3GB/s (Gen3x1 cca 650MB/s), je to tenký klient s pasivním chlazením. Na druhou stranu to pro dané použití úplně stačí a pořád je to rychlejší než SSD SATA3. Navíc větší SATA SSD jsou už dnes dražší než NVMe.

[RDa]

Osobne bych je v teto instalaci spis prohodil - aby Gen4x4 ssd jelo v Gen3x4, a Gen3x4 ssd jelo v Gen3x1, ale asi zalezi co na nich clovek ma.. by musel pripadne prohodit i obsah.

Jaký by v tom byl rozdíl? Disk Gen4x4  nepojede na Gen3x4 rychleji než disk Gen3x4, a ve finále to stejně brzdí Gen3x1, který je s tím Gen3x4 v ZFS mirroru. Navíc i disk na Gen3x4 dával na tom HW přes dd jen cca 1,3GB/s (Gen3x1 cca 650MB/s), je to tenký klient s pasivním chlazením. Na druhou stranu to pro dané použití úplně stačí a pořád je to rychlejší než SSD SATA3. Navíc větší SATA SSD jsou už dnes dražší než NVMe.

Ten, ze Gen4 model by mel mit lepsi radic nebo vetsi pasmo k pametim a pojede to lepe, proste Gen3x4 nebude nikdy saturovat Gen3x4 zbernici (hlavne v pripade techto podivnych asi noname / levnych disku), ale Gen4x4 i kdyz je levny, by Gen3x4 saturovat mohl. Ziskal bys proste z toho "vice uzitku" resp mel mene bottlenecku.

I kdyz je to mirror, tak by melo jit urcit cteci preferenci, namisto tupeho round robinu, ne? A to je prakticky prinos v tom nasazeni do mirroru. Ale vzhledem k tomu, ze tam pak nemas vetsi pasmo po siti ven.. tak je asi veskera diskuze bezpredmetna, ze.

[redustin]

Ten, ze Gen4 model by mel mit lepsi radic nebo vetsi pasmo k pametim a pojede to lepe, proste Gen3x4 nebude nikdy saturovat Gen3x4 zbernici

Jak jsem psal, reálná rychlost toho Gen3x4 je 1,3GB/s, tedy Gen3 disk to rozhodně nebrzdí.

v pripade techto podivnych asi noname / levnych disku

Model Number:                       Apacer AS2280P4U 1TB
https://www.alza.cz/apacer-as2280p4u-pro-1tb-d6984581.htm

Model Number:                       Apacer AS2280Q4 1TB
https://www.alza.cz/apacer-as2280q4u-1tb-d7625796.htm

Ale vzhledem k tomu, ze tam pak nemas vetsi pasmo po siti ven.. tak je asi veskera diskuze bezpredmetna, ze.

Jistě  nemá smysl řešit zda disk Gen3 nebo Gen4, daný HW to stejně výkonově nevyužije.

[RDa]

Ten, ze Gen4 model by mel mit lepsi radic nebo vetsi pasmo k pametim a pojede to lepe, proste Gen3x4 nebude nikdy saturovat Gen3x4 zbernici

Jak jsem psal, reálná rychlost toho Gen3x4 je 1,3GB/s, tedy Gen3 disk to rozhodně nebrzdí.

dd neni vhodny test pro NVMe, protoze jede single thread. NVMe vyzaduje vetsi paralelismus na dosazeni relevantnich hodnot prenosovky. Hodne davno kdyz jsem s nemi zacinal postacilo udelat mdraid stripe (raid0) na vice partisen stejneho disku a ejhle, hned to davalo v dd vetsi cisla. A zcela idealni by byl tester pres io_uring.

Schvalne je prohod, zda dostanes lepsi ci horsi vysledky (a testy udelej tak, aby byly prukazne, a ne nahodny generator)

[fanoush]

Jak jsem psal, reálná rychlost toho Gen3x4 je 1,3GB/s, tedy Gen3 disk to rozhodně nebrzdí.

dd neni dobry test, jede sekvencne a jenom jeden thread, nevyuzijou se command queues, realna pruchodnost muze by o dost vetsi pokud tam toho bezi vic naraz