96 models at Q4 · 32 GB budget
Local AI models for 32GB+ VRAM
32 GB and above is where large open mixture-of-experts and high-quality image or video models stop feeling like a stretch. Headroom also means longer context without spilling to system RAM.
Typical fit: Larger open MoE and high-quality image generation. · Example:RTX 5090
- LayaConvai Innovations · 0.42B · 0.7 GB Q4
- Qwen 3 0.6BAlibaba · 0.6B · 0.8 GB Q4
- Qwen 3.5 0.8BAlibaba · 0.8B · 0.9 GB Q4
- Llama 3.2 1BMeta · 1B · 1 GB Q4
- Gemma 3 1BGoogle · 1B · 1 GB Q4
- Wan 2.1 T2V 1.3BAlibaba · 1.3B · 17 GB Q4
- Qwen 2.5 Coder 1.5BAlibaba · 1.5B · 1.3 GB Q4
- DeepSeek R1 1.5BDeepSeek · 1.5B · 1.3 GB Q4
- Qwen 3 1.7BAlibaba · 1.7B · 1.4 GB Q4
- LFM3 1.7BLiquid AI · 1.7B · 1.4 GB Q4
- d1 2BLiquid AI · 1.9B · 1.5 GB Q4
- Qwen 3.5 2BAlibaba · 2B · 1.5 GB Q4
- d1 Omni 2BLiquid AI · 2.2B · 1.6 GB Q4
- Llama 3.2 3BMeta · 3B · 2 GB Q4
- SmolLM3 3BHuggingFace · 3B · 2 GB Q4
- Granite 4.1 3BIBM · 3B · 2 GB Q4
- Ministral 3 3BMistral AI · 3B · 2 GB Q4
- Phi-4 Mini ReasoningMicrosoft · 3.8B · 2.4 GB Q4
- Gemma 3 4BGoogle · 4B · 2.5 GB Q4
- Qwen 3.5 4BAlibaba · 4B · 2.5 GB Q4
- FLUX.2 Klein 4BBlack Forest Labs · 4B · 14.6 GB Q4
- Qwen3-VL 4BAlibaba · 4.4B · 2.8 GB Q4
- pplx-decider Flash v1.2Perplexity · 4.5B · 2.8 GB Q4
- Gemma 4 E2B ITGoogle · 5B · 3.1 GB Q4
- Wan 2.2 TI2V 5BAlibaba · 5B · 21.2 GB Q4
- Z-Image TurboAlibaba · 6B · 15.7 GB Q4
- LongCat-ImageMeituan · 6B · 24.4 GB Q4
- Qwen 2.5 Coder 7BAlibaba · 7B · 4.1 GB Q4
- DeepSeek R1 Distill 7BDeepSeek · 7B · 4.1 GB Q4
- Qwen Image 2.1Alibaba · 7B · 26.2 GB Q4
- Gemma 4 E4B ITGoogle · 8B · 4.6 GB Q4
- Nemotron 3.5 Bolt E4BNVIDIA · 8B · 4.6 GB Q4
- Llama 3.1 8BMeta · 8B · 4.6 GB Q4
- Qwen 3 8BAlibaba · 8B · 4.6 GB Q4
- Granite 4.1 8BIBM · 8B · 4.6 GB Q4
- Ministral 8BMistral AI · 8B · 4.6 GB Q4
- ERNIE-Image TurboBaidu · 8B · 16.4 GB Q4
- HunyuanVideo 1.5Tencent · 8.3B · 13.7 GB Q4
- Qwen3-VL 8BAlibaba · 8.8B · 5 GB Q4
- GLM-4 9BZhipu AI · 9B · 5.1 GB Q4
- Nemotron Nano 9B v2NVIDIA · 9B · 5.1 GB Q4
- Qwen 3.5 9BAlibaba · 9B · 5.1 GB Q4
- Ornith 1.0 9BDeepReinforce · 9B · 5.1 GB Q4
- FLUX.2 Klein 9BBlack Forest Labs · 9B · 25.6 GB Q4
- Ideogram 4Ideogram · 9.3B · 22.9 GB Q4
- Clef FlashCloudflare · 9.4B · 5.3 GB Q4
- Ornith 1.5 9BDeepReinforce · 9.7B · 5.5 GB Q4
- Gemma 3 12BGoogle · 12B · 6.6 GB Q4
- Mistral Nemo 12BMistral AI · 12B · 6.6 GB Q4
- Mellum 2.1 12B-A2.5BJetBrains · 2.5B active · 6.6 GB Q4
- Gemma 4 12B ITGoogle · 12B · 6.6 GB Q4
- Krea 2 TurboKrea · 12.8B · 20.1 GB Q4
- Phi-4 14BMicrosoft · 14B · 7.7 GB Q4
- Qwen 3 14BAlibaba · 14B · 7.7 GB Q4
- DeepSeek R1 Distill 14BDeepSeek · 14B · 7.7 GB Q4
- Ministral 3 14BMistral AI · 14B · 7.7 GB Q4
- GLM-ImageZ.ai · 16B · 14.3 GB Q4
- LTX 2.3Lightricks · 19B · 14.1 GB Q4
- Qwen Image 2512Alibaba · 20B · 31.5 GB Q4
- GPT-OSS 20BOpenAI · 3.6B active · 11.3 GB Q4
- LFM2 24BLiquid AI · 2.3B active · 12.8 GB Q4
- LFM2.5 24B-A2BLiquid AI · 2.45B active · 12.8 GB Q4
- Devstral Small 2 24BMistral AI · 24B · 12.8 GB Q4
- Mistral Small 3.1 24BMistral AI · 24B · 12.8 GB Q4
- DiffusionGemma 26B-A4B ITGoogle · 4B active · 13.8 GB Q4
- pplx-decider v1.2Perplexity · 26B · 13.9 GB Q4
- Gemma 4 26B-A4B ITGoogle · 4B active · 14.3 GB Q4
- Qwen 3.8 27BAlibaba · 27B · 14.3 GB Q4
- Wan 2.2 T2V A14BAlibaba · 14B active · 30.1 GB Q4
- ClefCloudflare · 27B · 14.5 GB Q4
- Qwen 3.5 27BAlibaba · 27.8B · 14.7 GB Q4
- Qwen 3.6 27BAlibaba · 27.8B · 14.7 GB Q4
- JEV-27B-VLAutoTrust · 27.8B · 14.7 GB Q4
- Qwen 3 30B-A3BAlibaba · 3.3B active · 15.9 GB Q4
- Nemotron 3 Nano 30BNVIDIA · 3B active · 15.9 GB Q4
- Nemotron 3.5 Lightning 30B-A3BNVIDIA · 3B active · 15.9 GB Q4
- Granite 4.1 30BIBM · 30B · 15.9 GB Q4
- North Mini CodeCohere · 3B active · 15.9 GB Q4
- Qwen 3 Coder 30B-A3BAlibaba · 3B active · 15.9 GB Q4
- Muse Glimmer 30BMeta · 30B · 15.9 GB Q4
- Qwen3-VL 30B-A3BAlibaba · 3B active · 16.4 GB Q4
- Qwen 3 32BAlibaba · 32B · 16.9 GB Q4
- DeepSeek R1 Distill 32BDeepSeek · 32B · 16.9 GB Q4
- OLMo 2 32BAllen AI · 32B · 16.9 GB Q4
- Gemma 4 31B ITGoogle · 33B · 17.4 GB Q4
- Gemma 4 31BGoogle · 33B · 17.4 GB Q4
- MiniMax H3MiniMax · 33B · 31.7 GB Q4
- Agents-A1 35B-A3BInternScience · 3B active · 18.4 GB Q4
- Command R 35BCohere · 35B · 18.4 GB Q4
- Qwen 3.5 35B-A3BAlibaba · 3B active · 18.4 GB Q4
- Ornith 1.0 35B-A3BDeepReinforce · 3B active · 18.4 GB Q4
- Clef OmniCloudflare · 3B active · 18.4 GB Q4
- Ornith 1.5 35B-A3BDeepReinforce · 3B active · 18.9 GB Q4
- Qwen 3.6 35B-A3BAlibaba · 3B active · 18.9 GB Q4
- JEV-35BAutoTrust · 3B active · 18.9 GB Q4
- Mixtral 8x7BMistral AI · 12.9B active · 24.6 GB Q4
These sizes assume Q4_K_M plus a little runtime overhead.Grade the full catalog on your machineorpick a specific GPU.
Common questions
- Do I need 32GB to run local AI well?
- No. Most daily chat and coding fits in 8–16 GB. 32 GB matters when you want large MoE, long context, or local video at a usable resolution.