Apa LLM terbaik untuk Mac dengan 36 GB?

Dari model yang punya skor Intelligence Index terbitan, Qwen3.8 27B mendapat skor tertinggi di antara yang berjalan baik di 36 GB (4-bit). Yang terbesar yang berjalan baik adalah Qwen3.6 35B A3B. Untuk kode: Qwen3 Coder 30B A3B Instruct.

Apakah 36 GB cukup untuk AI lokal di Mac?

38 dari 73 model terbuka di sini berjalan baik di dalamnya pada 4 bit atau lebih baik. Secara bawaan macOS mengizinkan GPU memakai sekitar 27 GB darinya; model beserta konteksnya harus muat di situ.

Bisakah Mac 36 GB menjalankan gpt-oss-20b?

Ya, 4,25-bit bawaan, sekitar 36–63 token per detik di M3 Pro dan 109–194 di M5 Max.

LLM lokal terbaik untuk Mac 36 GB (M3 hingga M5): apa yang jalan

Mac dengan 36 GB

4 chip dari M3 hingga M5 tersedia dengan 36 GB. Buka salah satu untuk daftar dan kecepatannya sendiri.

Berjalan baik 40

Muat dengan ruang untuk konteks, 10 token per detik atau lebih di M5 Max.

Model	Versi	Memori	M3 Pro	M5 Max
Qwen3.8 27B27B · Kecerdasan 33,7	4-bit	15,2 GB	3–5	14–24
Qwen3.6 35B A3B35B · 3B aktif · Kecerdasan 18,2	4-bit	19,7 GB	40–71	122–216
Muse Glimmer 30B29,6B · Kecerdasan 17,5	4-bit	16,7 GB	3–5	12–22
Gemma 4 31B30,7B · Kecerdasan 14,7	4-bit	17,3 GB	3–5	12–21
Nemotron 3.5 Lightning 30B A3B30B · 3B aktif · Kecerdasan 12,9	6-bit	24,4 GB	28–50	86–153
Granite 4.2 30B30B · Kecerdasan 12,7	4-bit	16,9 GB	3–5	12–22
MiniCPM5 2B2,52B · Kecerdasan 12,5	8-bit	2,7 GB	25–44	77–136
Qwen3.5 9B9B · Kecerdasan 11,2	8-bit	9,6 GB	13–24	22–38
Granite 4.2 8B8B · Kecerdasan 11,1	8-bit	8,5 GB	10–18	24–43
Granite 4.2 3B3B · Kecerdasan 9,1	8-bit	3,2 GB	21–38	65–115
gpt-oss-20b21B · 3,6B aktif · Kecerdasan 9	4,25-bit bawaan	13,8 GB	36–63	109–194
Nemotron 3 Nano 30B A3B30B · 3,5B aktif · Kecerdasan 8,9	6-bit	24,4 GB	24–43	74–131
Gemma 4 E4B8B · Kecerdasan 8,9	8-bit	8,5 GB	14–25	43–77
Ministral 3 8B8,9B · Kecerdasan 5,5	8-bit	9,5 GB	14–24	22–39
Nemotron 3 Nano 4B3,97B · Kecerdasan 4,8	8-bit	4,2 GB	16–29	49–88
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B aktif	6-bit	24,8 GB	25–44	77–136
GLM-4.7 Flash30B · 3B aktif	6-bit	24,4 GB	28–50	86–153
Qwen3.6 27B27B	4-bit	15,2 GB	3–5	14–24
Gemma 4 26B A4B25,2B · 3,8B aktif	6-bit	20,5 GB	22–39	67–119
Devstral Small 2 (24B)24B	6-bit	19,5 GB	3–6	11–19
Magistral Small 1.2 (2509)24B	6-bit	19,5 GB	3–6	11–19
Mistral Small 3.2 (24B)24B	6-bit	19,5 GB	3–6	11–19
LFM2.5 24B A2B24B · 2B aktif	6-bit	19,5 GB	42–75	129–230
Phi-4 Reasoning Vision 15B15B	8-bit	15,9 GB	4–8	13–23
Phi-4 (14B)14B	8-bit	14,9 GB	5–8	14–25
Gemma 4 12B Unified12B	8-bit	12,7 GB	10–18	16–29
Qwen3 8B8,2B	8-bit	8,7 GB	10–18	24–42
Llama 3.1 8B Instruct8B	8-bit	8,5 GB	10–18	24–43
Gemma 4 E2B5,1B	8-bit	5,4 GB	28–50	86–153
Qwen3.5 4B4B	8-bit	4,3 GB	16–28	48–86
Phi-4 mini instruct3,8B	8-bit	4 GB	17–30	52–92
Llama 3.2 3B Instruct3,21B	8-bit	3,4 GB	20–35	61–108
SmolLM3 3B3B	8-bit	3,2 GB	21–38	65–115
LFM2.5 2.6B2,69B	8-bit	2,9 GB	23–41	71–127
Qwen3.5 2B2B	8-bit	2,1 GB	32–57	99–175
Llama 3.2 1B Instruct1,23B	8-bit	1,3 GB	52–92	159–283
Qwen3.5 0.8B0,8B	8-bit	0,9 GB	75–133	230–409
Qwen3 0.6B0,6B	8-bit	0,6 GB	113–200	345–613
Nemotron 3.5 Bolt 74B A9B74B · 9B aktif · Kecerdasan 21,4	2-bit kualitas lebih rendah	23,1 GB	24–43	74–131
Qwen3 Coder Next80B · 3B aktif · Kecerdasan 9,2	2-bit kualitas lebih rendah	25 GB	75–133	230–409

Berjalan, tapi lambat 1

Muat, tapi di bawah 10 token per detik: cocok untuk pekerjaan batch, lambat untuk chat.

Model	Versi	Memori	M3 Pro	M5 Max
Llama 3.3 70B Instruct70B	2-bit kualitas lebih rendah	21,9 GB	3–5	9–17

Pertanyaan

Apa LLM terbaik untuk Mac dengan 36 GB?: Dari model yang punya skor Intelligence Index terbitan, Qwen3.8 27B mendapat skor tertinggi di antara yang berjalan baik di 36 GB (4-bit). Yang terbesar yang berjalan baik adalah Qwen3.6 35B A3B. Untuk kode: Qwen3 Coder 30B A3B Instruct.
Apakah 36 GB cukup untuk AI lokal di Mac?: 38 dari 73 model terbuka di sini berjalan baik di dalamnya pada 4 bit atau lebih baik. Secara bawaan macOS mengizinkan GPU memakai sekitar 27 GB darinya; model beserta konteksnya harus muat di situ.
Bisakah Mac 36 GB menjalankan gpt-oss-20b?: Ya, 4,25-bit bawaan, sekitar 36–63 token per detik di M3 Pro dan 109–194 di M5 Max.

Ukuran lain: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Jalankan dengan MLX Harness (gratis, open source) atau mlx-lm dari Apple di Terminal: langkah demi langkah.

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.

LLM terbaik untuk Mac 36 GB.