LLM terbaik untuk Mac 24 GB.

28 dari 73 model terbuka berjalan baik di 24 GB. Secara bawaan GPU bisa memakai sekitar 18 GB darinya. Kecepatan bergantung pada chip: dari 100 GB/s di M3 hingga 307 GB/s di M5 Pro.

Paling cerdas yang berjalan baikMiniCPM5 2B8-bit · 2,7 GB · 17–91 tok/sTerbesar yang berjalan baikGemma 4 26B A4B4-bit · 14,2 GB · 21–117 tok/sUntuk kodeDevstral Small 2 (24B)4-bit · 13,5 GB · 3–18 tok/s

Mac dengan 24 GB

7 chip dari M2 hingga M6 tersedia dengan 24 GB. Buka salah satu untuk daftar dan kecepatannya sendiri.

Berjalan baik 36

Muat dengan ruang untuk konteks, 10 token per detik atau lebih di M5 Pro.

ModelVersiMemoriM3M5 Pro
MiniCPM5 2B2,52B · Kecerdasan 12,58-bit2,7 GB17–3051–91
Qwen3.5 9B9B · Kecerdasan 11,28-bit9,6 GB5–814–26
Granite 4.2 8B8B · Kecerdasan 11,18-bit8,5 GB10–1816–29
Granite 4.2 3B3B · Kecerdasan 9,18-bit3,2 GB14–2543–77
gpt-oss-20b21B · 3,6B aktif · Kecerdasan 94,25-bit bawaan13,8 GB24–4273–129
Gemma 4 E4B8B · Kecerdasan 8,98-bit8,5 GB12–2229–51
Ministral 3 8B8,9B · Kecerdasan 5,58-bit9,5 GB5–815–26
Nemotron 3 Nano 4B3,97B · Kecerdasan 4,88-bit4,2 GB11–1933–58
Gemma 4 26B A4B25,2B · 3,8B aktif4-bit14,2 GB21–3866–117
Devstral Small 2 (24B)24B4-bit13,5 GB3–610–18
Magistral Small 1.2 (2509)24B4-bit13,5 GB3–610–18
Mistral Small 3.2 (24B)24B4-bit13,5 GB3–610–18
LFM2.5 24B A2B24B · 2B aktif4-bit13,5 GB41–73126–223
Phi-4 Reasoning Vision 15B15B6-bit12,2 GB3–511–20
Phi-4 (14B)14B6-bit11,4 GB3–512–22
Gemma 4 12B Unified12B8-bit12,7 GB4–611–19
Qwen3 8B8,2B8-bit8,7 GB10–1716–28
Llama 3.1 8B Instruct8B8-bit8,5 GB10–1816–29
Gemma 4 E2B5,1B8-bit5,4 GB19–3358–102
Qwen3.5 4B4B8-bit4,3 GB10–1932–57
Phi-4 mini instruct3,8B8-bit4 GB11–2035–61
Llama 3.2 3B Instruct3,21B8-bit3,4 GB13–2441–72
SmolLM3 3B3B8-bit3,2 GB14–2543–77
LFM2.5 2.6B2,69B8-bit2,9 GB16–2848–85
Qwen3.5 2B2B8-bit2,1 GB21–3866–117
Llama 3.2 1B Instruct1,23B8-bit1,3 GB35–62106–189
Qwen3.5 0.8B0,8B8-bit0,9 GB50–89154–273
Qwen3 0.6B0,6B8-bit0,6 GB75–133230–409
Qwen3.6 35B A3B35B · 3B aktif · Kecerdasan 18,23-bit kualitas lebih rendah15,3 GB35–62106–189
Muse Glimmer 30B29,6B · Kecerdasan 17,53-bit kualitas lebih rendah13 GB3–611–19
Gemma 4 31B30,7B · Kecerdasan 14,73-bit kualitas lebih rendah13,4 GB3–610–18
Nemotron 3.5 Lightning 30B A3B30B · 3B aktif · Kecerdasan 12,93-bit kualitas lebih rendah13,1 GB35–62106–189
Granite 4.2 30B30B · Kecerdasan 12,73-bit kualitas lebih rendah13,1 GB3–611–19
Nemotron 3 Nano 30B A3B30B · 3,5B aktif · Kecerdasan 8,93-bit kualitas lebih rendah13,1 GB30–5392–164
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B aktif3-bit kualitas lebih rendah13,3 GB32–5799–175
GLM-4.7 Flash30B · 3B aktif3-bit kualitas lebih rendah13,1 GB35–62106–189

Berjalan, tapi lambat 2

Muat, tapi di bawah 10 token per detik: cocok untuk pekerjaan batch, lambat untuk chat.

ModelVersiMemoriM3M5 Pro
Qwen3.8 27B27B · Kecerdasan 33,74-bit15,2 GB3–59–16
Qwen3.6 27B27B4-bit15,2 GB3–59–16

Terlalu besar 35

Butuh memori lebih dari 24 GB, bahkan pada 2 bit.

Pertanyaan

Apa LLM terbaik untuk Mac dengan 24 GB?
Dari model yang punya skor Intelligence Index terbitan, MiniCPM5 2B mendapat skor tertinggi di antara yang berjalan baik di 24 GB (8-bit). Yang terbesar yang berjalan baik adalah Gemma 4 26B A4B. Untuk kode: Devstral Small 2 (24B).
Apakah 24 GB cukup untuk AI lokal di Mac?
28 dari 73 model terbuka di sini berjalan baik di dalamnya pada 4 bit atau lebih baik. Secara bawaan macOS mengizinkan GPU memakai sekitar 18 GB darinya; model beserta konteksnya harus muat di situ.
Bisakah Mac 24 GB menjalankan gpt-oss-20b?
Ya, 4,25-bit bawaan, sekitar 24–42 token per detik di M3 dan 73–129 di M5 Pro.

Ukuran lain: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Jalankan dengan MLX Harness (gratis, open source) atau mlx-lm dari Apple di Terminal: langkah demi langkah.

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.

LLM lokal terbaik untuk Mac 24 GB (M2 hingga M6): apa yang jalan