MasukBuat dompet

Apa yang bisa dijalankan M5 dengan 16 GB?

20 dari 73 model terbuka berjalan baik di sini. Secara bawaan GPU bisa memakai sekitar 12 GB dari 16 GB, dan membaca memori pada 153 GB/s, yang menentukan kecepatan menulisnya. Ada di: MacBook Pro (14-inch, M5), MacBook Air (13-inch, M5), MacBook Air (15-inch, M5).

Paling cerdas yang berjalan baikMiniCPM5 2B8-bit · 2,7 GB · 26–45 tok/sTerbesar yang berjalan baikGemma 4 12B Unified4-bit · 6,7 GB · 10–18 tok/s

Berjalan baik 27

Muat dengan ruang untuk konteks, 10 token per detik atau lebih.

ModelVersiMemoriToken/s
MiniCPM5 2B2,52B · Kecerdasan 12,58-bit2,7 GB26–45
Qwen3.5 9B9B · Kecerdasan 11,24-bit5,1 GB14–24
Granite 4.2 8B8B · Kecerdasan 11,16-bit6,5 GB11–19
Granite 4.2 3B3B · Kecerdasan 9,18-bit3,2 GB22–38
Gemma 4 E4B8B · Kecerdasan 8,98-bit8,5 GB14–26
Ministral 3 8B8,9B · Kecerdasan 5,56-bit7,2 GB10–17
Nemotron 3 Nano 4B3,97B · Kecerdasan 4,88-bit4,2 GB16–29
Gemma 4 12B Unified12B4-bit6,7 GB10–18
Qwen3 8B8,2B6-bit6,7 GB10–18
Llama 3.1 8B Instruct8B6-bit6,5 GB11–19
Gemma 4 E2B5,1B8-bit5,4 GB29–51
Qwen3.5 4B4B8-bit4,3 GB16–28
Phi-4 mini instruct3,8B8-bit4 GB17–31
Llama 3.2 3B Instruct3,21B8-bit3,4 GB20–36
SmolLM3 3B3B8-bit3,2 GB22–38
LFM2.5 2.6B2,69B8-bit2,9 GB24–42
Qwen3.5 2B2B8-bit2,1 GB33–58
Llama 3.2 1B Instruct1,23B8-bit1,3 GB53–94
Qwen3.5 0.8B0,8B8-bit0,9 GB77–136
Qwen3 0.6B0,6B8-bit0,6 GB115–204
Nemotron 3.5 Lightning 30B A3B30B · 3B aktif · Kecerdasan 12,92-bit kualitas lebih rendah9,4 GB77–136
gpt-oss-20b21B · 3,6B aktif · Kecerdasan 93-bit kualitas lebih rendah9,2 GB43–77
Nemotron 3 Nano 30B A3B30B · 3,5B aktif · Kecerdasan 8,92-bit kualitas lebih rendah9,4 GB63–111
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B aktif2-bit kualitas lebih rendah9,5 GB69–122
GLM-4.7 Flash30B · 3B aktif2-bit kualitas lebih rendah9,4 GB77–136
Gemma 4 26B A4B25,2B · 3,8B aktif2-bit kualitas lebih rendah7,9 GB57–102
LFM2.5 24B A2B24B · 2B aktif3-bit kualitas lebih rendah10,5 GB77–136

Berjalan, tapi lambat 10

Muat, tapi di bawah 10 token per detik: cocok untuk pekerjaan batch, lambat untuk chat.

ModelVersiMemoriToken/s
Phi-4 Reasoning Vision 15B15B4-bit8,4 GB8–15
Phi-4 (14B)14B4-bit7,9 GB9–15
Qwen3.8 27B27B · Kecerdasan 33,72-bit kualitas lebih rendah8,4 GB8–15
Muse Glimmer 30B29,6B · Kecerdasan 17,52-bit kualitas lebih rendah9,3 GB7–13
Gemma 4 31B30,7B · Kecerdasan 14,72-bit kualitas lebih rendah9,6 GB7–13
Granite 4.2 30B30B · Kecerdasan 12,72-bit kualitas lebih rendah9,4 GB7–13
Qwen3.6 27B27B2-bit kualitas lebih rendah8,4 GB8–15
Devstral Small 2 (24B)24B3-bit kualitas lebih rendah10,5 GB7–12
Magistral Small 1.2 (2509)24B3-bit kualitas lebih rendah10,5 GB7–12
Mistral Small 3.2 (24B)24B3-bit kualitas lebih rendah10,5 GB7–12

Pas-pasan muat 1

Butuh hampir seluruh memori: naikkan batas memori GPU dan buat konteks tetap pendek.

ModelVersiMemoriToken/s
Qwen3.6 35B A3B35B · 3B aktif · Kecerdasan 18,22-bit kualitas lebih rendah10,9 GB77–136

Terlalu besar 35

Butuh memori lebih dari 16 GB, bahkan pada 2 bit.

Mac lain

Semua Mac dengan 16 GB, dari chip apa pun.

M5 dengan memori lebih besar atau lebih kecil:

Chip terdekat:

Adu langsung:

Bandingkan dengan Mac atau GPU apa pun · M5 untuk AI lokal · Mac terbaik untuk LLM lokal · Semua Mac

Pertanyaan

Apa LLM terbaik untuk M5 dengan 16 GB?
Dari model yang punya skor Intelligence Index terbitan, MiniCPM5 2B mendapat skor tertinggi di antara yang berjalan baik di sini: 8-bit, sekitar 26–45 token per detik. Yang terbesar yang berjalan baik adalah Gemma 4 12B Unified.
Bisakah M5 dengan 16 GB menjalankan Llama 3.3 70B?
Tidak: bahkan pada 2 bit model ini butuh lebih dari 12 GB yang bisa dipakai GPU secara bawaan.
Seberapa cepat gpt-oss-20b di M5?
Sekitar 43–77 token per detik (3-bit), dari bandwidth memori chip sebesar 153 GB/s.

Jalankan dengan MLX Harness (gratis, open source) atau mlx-lm dari Apple di Terminal: langkah demi langkah.

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.

LLM apa yang jalan di M5 16 GB? Model dan kecepatan