MasukBuat dompet

M2 Ultra untuk AI lokal.

M2 Ultra memiliki hingga 192 GB memori terpadu, dibaca hingga 800 GB/s. Inilah artinya untuk menjalankan model bahasa di Mac dengan chip ini, dihitung dari angka Apple sendiri.

1Spesifikasi yang penting untuk AI

Memori terpadu192 GB
Bandwidth memori800 GB/s
Ada diMac Studio (2023), Mac Pro (2023)
Kursi khusus untuknyaKursi Ultra: menambang hingga 320 MLX per hari

2Model yang muat

Pada 4 bit per bobot, model butuh sedikit lebih dari setengah gigabyte per miliar parameter, ditambah ruang untuk konteks dan macOS. Dengan 192 GB, M2 Ultra dengan lega menampung model hingga sekitar 256 miliar parameter.

Model 4-bitMemori yang dibutuhkanMuat di M2 Ultra
Model 8B4,5 GBYa
Model 14B7,9 GBYa
Model 32B18 GBYa
Model 70B39,4 GBYa
gpt-oss-120b, mixture-of-experts65 GBYa
Qwen3.5-397B-A17B, mixture-of-experts223,3 GBTidak
DeepSeek-V4.1-Flash, mixture-of-experts316 GBTidak

3Seberapa cepat

Kecepatan menulis teks dibatasi oleh bandwidth memori: setiap token baru membaca bobot aktif model satu kali. Membagi 800 GB/s milik M2 Ultra dengan jumlah byte yang dibaca per token menghasilkan batas atas di bawah. Penggunaan nyata biasanya mencapai sekitar 45% hingga 80% darinya (benchmark llama.cpp).

Model 4-bitDibaca per tokenBatas atas satu chat
Model 8B4,5 GB178 token/detik
Model 14B7,9 GB101 token/detik
Model 32B18 GB44 token/detik
Model 70B39,4 GB20 token/detik
gpt-oss-120b, mixture-of-experts2,7 GB296 token/detik

5Bandingkan dengan chip lain

6Pertanyaan

Bisakah M2 Ultra menjalankan model 70B?
Bisa. Model 70B pada 4-bit butuh sekitar 40 GB, dan M2 Ultra punya hingga 192 GB. Batas atasnya sekitar 20 token per detik untuk satu chat.
Berapa token per detik yang didapat M2 Ultra?
Untuk model 8B pada 4-bit, batas atasnya sekitar 178 token per detik, dan penggunaan nyata mencapai kira-kira setengah hingga empat perlimanya. Model yang lebih besar melambat secara proporsional.
Apakah M2 Ultra bagus untuk AI?
Untuk menjalankan model secara lokal, memori dan bandwidth paling menentukan. M2 Ultra punya hingga 192 GB pada 800 GB/s, cukup untuk model hingga sekitar 256 miliar parameter. Mac ini juga bisa memperoleh token dengan menjalankan pekerjaan AI untuk MLX Network lewat MLX Node.

Sumber

  1. Apple: M2 Ultraapple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M2 Ultra untuk LLM lokal: memori, kecepatan, model | MLX