77 models at Q4 · 16 GB budget
Local AI models for 16GB VRAM
16 GB is the comfortable laptop and mid-range desktop budget — including many Apple Silicon Macs. 20B–27B dense models fit at Q4, and 14B models can run at higher quality.
Typical fit: 20B–27B at Q4, comfortable 14B at higher quality. · Example:Apple M4
- LayaConvai Innovations · 0.42B · 0.7 GB Q4
- Qwen 3 0.6BAlibaba · 0.6B · 0.8 GB Q4
- Qwen 3.5 0.8BAlibaba · 0.8B · 0.9 GB Q4
- Llama 3.2 1BMeta · 1B · 1 GB Q4
- Gemma 3 1BGoogle · 1B · 1 GB Q4
- Qwen 2.5 Coder 1.5BAlibaba · 1.5B · 1.3 GB Q4
- DeepSeek R1 1.5BDeepSeek · 1.5B · 1.3 GB Q4
- Qwen 3 1.7BAlibaba · 1.7B · 1.4 GB Q4
- LFM3 1.7BLiquid AI · 1.7B · 1.4 GB Q4
- d1 2BLiquid AI · 1.9B · 1.5 GB Q4
- Qwen 3.5 2BAlibaba · 2B · 1.5 GB Q4
- Strands Decider 2BAWS · 2B · 1.5 GB Q4
- d1 Omni 2BLiquid AI · 2.2B · 1.6 GB Q4
- Llama 3.2 3BMeta · 3B · 2 GB Q4
- SmolLM3 3BHuggingFace · 3B · 2 GB Q4
- Granite 4.1 3BIBM · 3B · 2 GB Q4
- Ministral 3 3BMistral AI · 3B · 2 GB Q4
- Phi-4 Mini ReasoningMicrosoft · 3.8B · 2.4 GB Q4
- Gemma 3 4BGoogle · 4B · 2.5 GB Q4
- Qwen 3.5 4BAlibaba · 4B · 2.5 GB Q4
- FLUX.2 Klein 4BBlack Forest Labs · 4B · 14.6 GB Q4
- Spark-X2.6 4BSparkLLM · 4.1B · 2.6 GB Q4
- Qwen3-VL 4BAlibaba · 4.4B · 2.8 GB Q4
- pplx-decider Flash v1.2Perplexity · 4.5B · 2.8 GB Q4
- Gemma 4 E2B ITGoogle · 5B · 3.1 GB Q4
- Strands Decider E2BAWS · 5B · 3.1 GB Q4
- Z-Image TurboAlibaba · 6B · 15.7 GB Q4
- Qwen 2.5 Coder 7BAlibaba · 7B · 4.1 GB Q4
- DeepSeek R1 Distill 7BDeepSeek · 7B · 4.1 GB Q4
- Gemma 4 E4B ITGoogle · 8B · 4.6 GB Q4
- Nemotron 3.5 Bolt E4BNVIDIA · 8B · 4.6 GB Q4
- Llama 3.1 8BMeta · 8B · 4.6 GB Q4
- Qwen 3 8BAlibaba · 8B · 4.6 GB Q4
- Granite 4.1 8BIBM · 8B · 4.6 GB Q4
- Ministral 8BMistral AI · 8B · 4.6 GB Q4
- Strands Decider E4BAWS · 8B · 4.6 GB Q4
- HunyuanVideo 1.5Tencent · 8.3B · 13.7 GB Q4
- Qwen3-VL 8BAlibaba · 8.8B · 5 GB Q4
- GLM-4 9BZhipu AI · 9B · 5.1 GB Q4
- Nemotron Nano 9B v2NVIDIA · 9B · 5.1 GB Q4
- Qwen 3.5 9BAlibaba · 9B · 5.1 GB Q4
- Ornith 1.0 9BDeepReinforce · 9B · 5.1 GB Q4
- Clef FlashCloudflare · 9.4B · 5.3 GB Q4
- Ornith 1.5 9BDeepReinforce · 9.7B · 5.5 GB Q4
- Gemma 3 12BGoogle · 12B · 6.6 GB Q4
- Mistral Nemo 12BMistral AI · 12B · 6.6 GB Q4
- Mellum 2.1 12B-A2.5BJetBrains · 2.5B active · 6.6 GB Q4
- Gemma 4 12B ITGoogle · 12B · 6.6 GB Q4
- Strands Decider 12BAWS · 12B · 6.6 GB Q4
- Phi-4 14BMicrosoft · 14B · 7.7 GB Q4
- Qwen 3 14BAlibaba · 14B · 7.7 GB Q4
- DeepSeek R1 Distill 14BDeepSeek · 14B · 7.7 GB Q4
- Ministral 3 14BMistral AI · 14B · 7.7 GB Q4
- GLM-ImageZ.ai · 16B · 14.3 GB Q4
- LTX 2.3Lightricks · 19B · 14.1 GB Q4
- GPT-OSS 20BOpenAI · 3.6B active · 11.3 GB Q4
- LFM2 24BLiquid AI · 2.3B active · 12.8 GB Q4
- LFM2.5 24B-A2BLiquid AI · 2.45B active · 12.8 GB Q4
- Devstral Small 2 24BMistral AI · 24B · 12.8 GB Q4
- Mistral Small 3.1 24BMistral AI · 24B · 12.8 GB Q4
- DiffusionGemma 26B-A4B ITGoogle · 4B active · 13.8 GB Q4
- pplx-decider v1.2Perplexity · 26B · 13.9 GB Q4
- Gemma 4 26B-A4B ITGoogle · 4B active · 14.3 GB Q4
- Qwen 3.8 27BAlibaba · 27B · 14.3 GB Q4
- Bonsai 27BPrism ML · 27B · 4.4 GB Q4
- Strands Decider 26B-A4BAWS · 4B active · 14.3 GB Q4
- ClefCloudflare · 27B · 14.5 GB Q4
- Qwen 3.5 27BAlibaba · 27.8B · 14.7 GB Q4
- Qwen 3.6 27BAlibaba · 27.8B · 14.7 GB Q4
- AutoTrust Decider Pro Vision 27BAutoTrust · 27.8B · 14.7 GB Q4
- Qwen 3 30B-A3BAlibaba · 3.3B active · 15.9 GB Q4
- Nemotron 3 Nano 30BNVIDIA · 3B active · 15.9 GB Q4
- Nemotron 3.5 Lightning 30B-A3BNVIDIA · 3B active · 15.9 GB Q4
- Granite 4.1 30BIBM · 30B · 15.9 GB Q4
- North Mini CodeCohere · 3B active · 15.9 GB Q4
- Qwen 3 Coder 30B-A3BAlibaba · 3B active · 15.9 GB Q4
- Muse Glimmer 30BMeta · 30B · 15.9 GB Q4
These sizes assume Q4_K_M plus a little runtime overhead.Grade the full catalog on your machineorpick a specific GPU.
Common questions
- Is 16GB VRAM enough for a local LLM?
- Yes. It covers the models most people actually want to run daily: strong 14B–27B chat and coding checkpoints, plus mid-size image generation.
- Can a 16GB Mac run local AI?
- An M-series Mac with 16 GB unified memory can run the same class of models as a 16 GB GPU, with speed depending on the chip (base vs Pro vs Max).