Apakah M2 Ultra lebih cepat daripada M2 Max untuk LLM?

M2 Ultra membaca memori sekitar 100% lebih cepat daripada M2 Max (800 vs 400 GB/s), jadi ia menulis sekitar 100% lebih cepat untuk model apa pun yang muat di keduanya. Membaca prompt yang panjang bergantung pada daya komputasi GPU, yang tidak dicakup perbandingan ini.

Mana yang bisa menjalankan model lebih besar, M2 Max atau M2 Ultra?

M2 Ultra: M2 Ultra tersedia hingga 192 GB memori, M2 Max hingga 96 GB. Pada konfigurasi terbesarnya, ia menjalankan 49 dari 73 model terbuka dengan baik, dibandingkan 43.

M2 Max vs M2 Ultra untuk LLM: memori, kecepatan, pilih mana

Berdampingan

	M2 Max	M2 Ultra
Ukuran memori	32, 64, 96 GB	64, 128, 192 GB
Bandwidth memori	400 GB/s	800 GB/s
Untuk model, paling banyak	sekitar 72 GB	sekitar 144 GB
Model yang berjalan baik	43 dari 73	49 dari 73
Kelas kursi MLX	Pro	Ultra
Ada di	MacBook Pro (14-inch, 2023), MacBook Pro (16-inch, 2023), Mac Studio (2023)	Mac Studio (2023), Mac Pro (2023), Mac Pro (Rack, 2023)

Kecepatan dengan model populer

Token per detik untuk satu percakapan, setiap chip pada ukuran memori terbesarnya (96 GB dan 192 GB), dengan versi terbaik model yang muat.

Model	M2 Max	M2 Ultra
Llama 3.1 8B Instruct8B	21–38 8-bit	42–75 8-bit
gpt-oss-20b21B · 3,6B aktif	95–168 4,25-bit bawaan	189–337 4,25-bit bawaan
Qwen3.6 35B A3B35B · 3B aktif	56–100 8-bit	113–200 8-bit
Qwen3.8 27B27B	12–21 4-bit	13–22 8-bit
Llama 3.3 70B Instruct70B	3–6 6-bit	5–9 8-bit
gpt-oss-120b117B · 5,1B aktif	67–119 4,25-bit bawaan	133–237 4,25-bit bawaan
Qwen3.5 122B A10B122B · 10B aktif	41–73 3-bit kualitas lebih rendah	34–60 8-bit
DeepSeek V4 Flash 0731284B · 13B aktif	terlalu besar	63–112 3-bit kualitas lebih rendah

Pertanyaan

Apakah M2 Ultra lebih cepat daripada M2 Max untuk LLM?: M2 Ultra membaca memori sekitar 100% lebih cepat daripada M2 Max (800 vs 400 GB/s), jadi ia menulis sekitar 100% lebih cepat untuk model apa pun yang muat di keduanya. Membaca prompt yang panjang bergantung pada daya komputasi GPU, yang tidak dicakup perbandingan ini.
Mana yang bisa menjalankan model lebih besar, M2 Max atau M2 Ultra?: M2 Ultra: M2 Ultra tersedia hingga 192 GB memori, M2 Max hingga 96 GB. Pada konfigurasi terbesarnya, ia menjalankan 49 dari 73 model terbuka dengan baik, dibandingkan 43.

Perbandingan lainnya

M2 Max untuk AI lokal · M2 Ultra untuk AI lokal · Bandingkan semua model · Mac terbaik untuk LLM lokal

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.