Bisakah M3 Max menjalankan model 70B?

Bisa. Model 70B pada 4-bit butuh sekitar 40 GB, dan M3 Max punya hingga 128 GB. Batas atasnya sekitar 10 token per detik untuk satu chat.

Berapa token per detik yang didapat M3 Max?

Untuk model 8B pada 4-bit, batas atasnya sekitar 89 token per detik, dan penggunaan nyata mencapai kira-kira setengah hingga empat perlimanya. Model yang lebih besar melambat secara proporsional.

Apakah M3 Max bagus untuk AI?

Untuk menjalankan model secara lokal, memori dan bandwidth paling menentukan. M3 Max punya hingga 128 GB pada 400 GB/s, cukup untuk model hingga sekitar 170 miliar parameter. Mac ini juga bisa memperoleh token dengan menjalankan pekerjaan AI untuk MLX Network lewat MLX Node.

M3 Max untuk LLM lokal: memori, kecepatan, model

1Spesifikasi yang penting untuk AI

Memori terpadu	128 GB
Bandwidth memori	400 GB/s, atau 300 GB/s pada konfigurasi yang lebih rendah
Ada di	14- and 16-inch MacBook Pro (2023)
Kursi khusus untuknya	Kursi Pro: menambang hingga 80 MLX per hari

2Model yang muat

Pada 4 bit per bobot, model butuh sedikit lebih dari setengah gigabyte per miliar parameter, ditambah ruang untuk konteks dan macOS. Dengan 128 GB, M3 Max dengan lega menampung model hingga sekitar 170 miliar parameter.

Model 4-bit	Memori yang dibutuhkan	Muat di M3 Max
Model 8B	4,5 GB	Ya
Model 14B	7,9 GB	Ya
Model 32B	18 GB	Ya
Model 70B	39,4 GB	Ya
gpt-oss-120b, mixture-of-experts	65 GB	Ya
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	Tidak
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Tidak

3Seberapa cepat

Kecepatan menulis teks dibatasi oleh bandwidth memori: setiap token baru membaca bobot aktif model satu kali. Membagi 400 GB/s milik M3 Max dengan jumlah byte yang dibaca per token menghasilkan batas atas di bawah. Penggunaan nyata biasanya mencapai sekitar 45% hingga 80% darinya (benchmark llama.cpp).

Model 4-bit	Dibaca per token	Batas atas satu chat
Model 8B	4,5 GB	89 token/detik
Model 14B	7,9 GB	51 token/detik
Model 32B	18 GB	22 token/detik
Model 70B	39,4 GB	10 token/detik
gpt-oss-120b, mixture-of-experts	2,7 GB	148 token/detik

5Bandingkan dengan chip lain

6Pertanyaan

Bisakah M3 Max menjalankan model 70B?: Bisa. Model 70B pada 4-bit butuh sekitar 40 GB, dan M3 Max punya hingga 128 GB. Batas atasnya sekitar 10 token per detik untuk satu chat.
Berapa token per detik yang didapat M3 Max?: Untuk model 8B pada 4-bit, batas atasnya sekitar 89 token per detik, dan penggunaan nyata mencapai kira-kira setengah hingga empat perlimanya. Model yang lebih besar melambat secara proporsional.
Apakah M3 Max bagus untuk AI?: Untuk menjalankan model secara lokal, memori dan bandwidth paling menentukan. M3 Max punya hingga 128 GB pada 400 GB/s, cukup untuk model hingga sekitar 170 miliar parameter. Mac ini juga bisa memperoleh token dengan menjalankan pekerjaan AI untuk MLX Network lewat MLX Node.

Sumber

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com