MasukBuat dompet

M3 Ultra untuk AI lokal.

M3 Ultra memiliki hingga 512 GB memori terpadu, dibaca hingga 819 GB/s. Inilah artinya untuk menjalankan model bahasa di Mac dengan chip ini, dihitung dari angka Apple sendiri.

1Spesifikasi yang penting untuk AI

Memori terpadu512 GB
Bandwidth memori819 GB/s
Ada diMac Studio (2025)
Kursi khusus untuknyaKursi Ultra: menambang hingga 320 MLX per hari

2Model yang muat

Pada 4 bit per bobot, model butuh sedikit lebih dari setengah gigabyte per miliar parameter, ditambah ruang untuk konteks dan macOS. Dengan 512 GB, M3 Ultra dengan lega menampung model hingga sekitar 682 miliar parameter.

Model 4-bitMemori yang dibutuhkanMuat di M3 Ultra
Model 8B4,5 GBYa
Model 14B7,9 GBYa
Model 32B18 GBYa
Model 70B39,4 GBYa
gpt-oss-120b, mixture-of-experts65 GBYa
Qwen3.5-397B-A17B, mixture-of-experts223,3 GBYa
DeepSeek-V4.1-Flash, mixture-of-experts316 GBYa

3Seberapa cepat

Kecepatan menulis teks dibatasi oleh bandwidth memori: setiap token baru membaca bobot aktif model satu kali. Membagi 819 GB/s milik M3 Ultra dengan jumlah byte yang dibaca per token menghasilkan batas atas di bawah. Penggunaan nyata biasanya mencapai sekitar 45% hingga 80% darinya (benchmark llama.cpp).

Model 4-bitDibaca per tokenBatas atas satu chat
Model 8B4,5 GB182 token/detik
Model 14B7,9 GB104 token/detik
Model 32B18 GB46 token/detik
Model 70B39,4 GB21 token/detik
gpt-oss-120b, mixture-of-experts2,7 GB303 token/detik
Qwen3.5-397B-A17B, mixture-of-experts9,6 GB85 token/detik
DeepSeek-V4.1-Flash, mixture-of-experts9 GB91 token/detik

Terukur: pada M3 Ultra (80-core GPU), llama.cpp menghasilkan 92 token per detik dengan Llama-2-7B (Q4_0) dalam benchmark publiknya.

5Bandingkan dengan chip lain

6Pertanyaan

Bisakah M3 Ultra menjalankan model 70B?
Bisa. Model 70B pada 4-bit butuh sekitar 40 GB, dan M3 Ultra punya hingga 512 GB. Batas atasnya sekitar 21 token per detik untuk satu chat.
Berapa token per detik yang didapat M3 Ultra?
Untuk model 8B pada 4-bit, batas atasnya sekitar 182 token per detik, dan penggunaan nyata mencapai kira-kira setengah hingga empat perlimanya. Model yang lebih besar melambat secara proporsional.
Apakah M3 Ultra bagus untuk AI?
Untuk menjalankan model secara lokal, memori dan bandwidth paling menentukan. M3 Ultra punya hingga 512 GB pada 819 GB/s, cukup untuk model hingga sekitar 682 miliar parameter. Mac ini juga bisa memperoleh token dengan menjalankan pekerjaan AI untuk MLX Network lewat MLX Node.

Sumber

  1. Apple: Mac Studio (2025) specssupport.apple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M3 Ultra untuk LLM lokal: memori, kecepatan, model | MLX