Apakah LLM terbaik untuk Mac dengan 36 GB?

Antara model yang mempunyai skor Intelligence Index yang diterbitkan, Qwen3.8 27B mendapat skor tertinggi dalam kalangan yang berjalan baik dalam 36 GB (4-bit). Yang terbesar yang berjalan baik ialah Qwen3.6 35B A3B. Untuk kod: Qwen3 Coder 30B A3B Instruct.

Adakah 36 GB cukup untuk AI tempatan pada Mac?

38 daripada 73 model terbuka di sini berjalan baik di dalamnya pada 4 bit atau lebih baik. Secara lalai macOS membenarkan GPU menggunakan kira-kira 27 GB daripadanya; model dan konteksnya mesti muat di situ.

Bolehkah Mac 36 GB menjalankan gpt-oss-20b?

Ya, 4.25-bit asli, kira-kira 36–63 token sesaat pada M3 Pro dan 109–194 pada M5 Max.

LLM tempatan terbaik untuk Mac 36 GB (M3 hingga M5)

Mac dengan 36 GB

4 cip daripada M3 hingga M5 tersedia dengan 36 GB. Buka satu untuk senarai dan kelajuannya sendiri.

Berjalan baik 40

Muat dengan ruang untuk konteks, 10 token sesaat atau lebih pada M5 Max.

Model	Versi	Memori	M3 Pro	M5 Max
Qwen3.8 27B27B · Kecerdasan 33.7	4-bit	15.2 GB	3–5	14–24
Qwen3.6 35B A3B35B · 3B aktif · Kecerdasan 18.2	4-bit	19.7 GB	40–71	122–216
Muse Glimmer 30B29.6B · Kecerdasan 17.5	4-bit	16.7 GB	3–5	12–22
Gemma 4 31B30.7B · Kecerdasan 14.7	4-bit	17.3 GB	3–5	12–21
Nemotron 3.5 Lightning 30B A3B30B · 3B aktif · Kecerdasan 12.9	6-bit	24.4 GB	28–50	86–153
Granite 4.2 30B30B · Kecerdasan 12.7	4-bit	16.9 GB	3–5	12–22
MiniCPM5 2B2.52B · Kecerdasan 12.5	8-bit	2.7 GB	25–44	77–136
Qwen3.5 9B9B · Kecerdasan 11.2	8-bit	9.6 GB	13–24	22–38
Granite 4.2 8B8B · Kecerdasan 11.1	8-bit	8.5 GB	10–18	24–43
Granite 4.2 3B3B · Kecerdasan 9.1	8-bit	3.2 GB	21–38	65–115
gpt-oss-20b21B · 3.6B aktif · Kecerdasan 9	4.25-bit asli	13.8 GB	36–63	109–194
Nemotron 3 Nano 30B A3B30B · 3.5B aktif · Kecerdasan 8.9	6-bit	24.4 GB	24–43	74–131
Gemma 4 E4B8B · Kecerdasan 8.9	8-bit	8.5 GB	14–25	43–77
Ministral 3 8B8.9B · Kecerdasan 5.5	8-bit	9.5 GB	14–24	22–39
Nemotron 3 Nano 4B3.97B · Kecerdasan 4.8	8-bit	4.2 GB	16–29	49–88
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B aktif	6-bit	24.8 GB	25–44	77–136
GLM-4.7 Flash30B · 3B aktif	6-bit	24.4 GB	28–50	86–153
Qwen3.6 27B27B	4-bit	15.2 GB	3–5	14–24
Gemma 4 26B A4B25.2B · 3.8B aktif	6-bit	20.5 GB	22–39	67–119
Devstral Small 2 (24B)24B	6-bit	19.5 GB	3–6	11–19
Magistral Small 1.2 (2509)24B	6-bit	19.5 GB	3–6	11–19
Mistral Small 3.2 (24B)24B	6-bit	19.5 GB	3–6	11–19
LFM2.5 24B A2B24B · 2B aktif	6-bit	19.5 GB	42–75	129–230
Phi-4 Reasoning Vision 15B15B	8-bit	15.9 GB	4–8	13–23
Phi-4 (14B)14B	8-bit	14.9 GB	5–8	14–25
Gemma 4 12B Unified12B	8-bit	12.7 GB	10–18	16–29
Qwen3 8B8.2B	8-bit	8.7 GB	10–18	24–42
Llama 3.1 8B Instruct8B	8-bit	8.5 GB	10–18	24–43
Gemma 4 E2B5.1B	8-bit	5.4 GB	28–50	86–153
Qwen3.5 4B4B	8-bit	4.3 GB	16–28	48–86
Phi-4 mini instruct3.8B	8-bit	4 GB	17–30	52–92
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	20–35	61–108
SmolLM3 3B3B	8-bit	3.2 GB	21–38	65–115
LFM2.5 2.6B2.69B	8-bit	2.9 GB	23–41	71–127
Qwen3.5 2B2B	8-bit	2.1 GB	32–57	99–175
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	52–92	159–283
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	75–133	230–409
Qwen3 0.6B0.6B	8-bit	0.6 GB	113–200	345–613
Nemotron 3.5 Bolt 74B A9B74B · 9B aktif · Kecerdasan 21.4	2-bit kualiti lebih rendah	23.1 GB	24–43	74–131
Qwen3 Coder Next80B · 3B aktif · Kecerdasan 9.2	2-bit kualiti lebih rendah	25 GB	75–133	230–409

Berjalan, tetapi perlahan 1

Muat, tetapi di bawah 10 token sesaat: sesuai untuk kerja kelompok, perlahan untuk sembang.

Model	Versi	Memori	M3 Pro	M5 Max
Llama 3.3 70B Instruct70B	2-bit kualiti lebih rendah	21.9 GB	3–5	9–17

Soalan

Apakah LLM terbaik untuk Mac dengan 36 GB?: Antara model yang mempunyai skor Intelligence Index yang diterbitkan, Qwen3.8 27B mendapat skor tertinggi dalam kalangan yang berjalan baik dalam 36 GB (4-bit). Yang terbesar yang berjalan baik ialah Qwen3.6 35B A3B. Untuk kod: Qwen3 Coder 30B A3B Instruct.
Adakah 36 GB cukup untuk AI tempatan pada Mac?: 38 daripada 73 model terbuka di sini berjalan baik di dalamnya pada 4 bit atau lebih baik. Secara lalai macOS membenarkan GPU menggunakan kira-kira 27 GB daripadanya; model dan konteksnya mesti muat di situ.
Bolehkah Mac 36 GB menjalankan gpt-oss-20b?: Ya, 4.25-bit asli, kira-kira 36–63 token sesaat pada M3 Pro dan 109–194 pada M5 Max.

Saiz lain: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Jalankan dengan MLX Harness (percuma, sumber terbuka) atau mlx-lm daripada Apple dalam Terminal: langkah demi langkah.

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.

LLM terbaik untuk Mac 36 GB.