Lokální AI modely pro citlivá data

[_Jenda]

Pro pobavení - jak přemýšlí lokální model qwen 2.5-coder (jinak celkem solidní, ale zjevně má trochu problém s češtinou)

To je skoro 2 roky starý model, ne? Je pro to nějaký důvod? (už je Qwen 3.6, obdobných velikostí).

[Reklama]

[noob]

To je skoro 2 roky starý model, ne? Je pro to nějaký důvod? (už je Qwen 3.6, obdobných velikostí).

Snažím se nechodit u modelů pod 4bit kvantizaci a nechávat místo pro 3GB kontextu. Nejmenší Qwen 3.6 IQ4_XS má 19GB a to už prostě nevychází

I když teď někde vychvalovali TurboQuant od Google, že umí solidně i 3bit, tak bych to mohl zkusit.

[RDa]

Z vlastní zkušenosti s Mac mini M4 / 24GB RAM, vyhrazeným pouze na hrátky s LLM:
- i starší RTX 3070 je několikanásobně rychlejší než M4  (ale taky žere 10x tolik elektřiny)

A co treba aktualni Intel B70 (32GB, cca 20 tis) ?
Je to vykonove cca jako RTX PRO 4000 (24GB, cca 40-48 tis)

Viz testy zde: https://www.youtube.com/watch?v=RcIWhm16ouQ