Apakah M3 Ultra lebih cepat daripada M2 Ultra untuk LLM?

Hampir sama: bandwidth memori keduanya hanya berbeda beberapa persen. M3 Ultra tersedia hingga 512 GB memori, M2 Ultra hingga 192 GB.

Mana yang bisa menjalankan model lebih besar, M2 Ultra atau M3 Ultra?

M3 Ultra: M3 Ultra tersedia hingga 512 GB memori, M2 Ultra hingga 192 GB. Pada konfigurasi terbesarnya, ia menjalankan 60 dari 73 model terbuka dengan baik, dibandingkan 49.

M2 Ultra vs M3 Ultra untuk LLM: memori, kecepatan, pilih mana

Berdampingan

	M2 Ultra	M3 Ultra
Ukuran memori	64, 128, 192 GB	96, 256, 512 GB
Bandwidth memori	800 GB/s	819 GB/s
Untuk model, paling banyak	sekitar 144 GB	sekitar 384 GB
Model yang berjalan baik	49 dari 73	60 dari 73
Kelas kursi MLX	Ultra	Ultra
Ada di	Mac Studio (2023), Mac Pro (2023), Mac Pro (Rack, 2023)	Mac Studio (2025)

Kecepatan dengan model populer

Token per detik untuk satu percakapan, setiap chip pada ukuran memori terbesarnya (192 GB dan 512 GB), dengan versi terbaik model yang muat.

Model	M2 Ultra	M3 Ultra
Llama 3.1 8B Instruct8B	42–75 8-bit	43–77 8-bit
gpt-oss-20b21B · 3,6B aktif	189–337 4,25-bit bawaan	194–345 4,25-bit bawaan
Qwen3.6 35B A3B35B · 3B aktif	113–200 8-bit	115–205 8-bit
Qwen3.8 27B27B	13–22 8-bit	13–23 8-bit
Llama 3.3 70B Instruct70B	5–9 8-bit	5–9 8-bit
gpt-oss-120b117B · 5,1B aktif	133–237 4,25-bit bawaan	137–243 4,25-bit bawaan
Qwen3.5 122B A10B122B · 10B aktif	34–60 8-bit	35–62 8-bit
DeepSeek V4 Flash 0731284B · 13B aktif	63–112 3-bit kualitas lebih rendah	27–47 8-bit

Pertanyaan

Apakah M3 Ultra lebih cepat daripada M2 Ultra untuk LLM?: Hampir sama: bandwidth memori keduanya hanya berbeda beberapa persen. M3 Ultra tersedia hingga 512 GB memori, M2 Ultra hingga 192 GB.
Mana yang bisa menjalankan model lebih besar, M2 Ultra atau M3 Ultra?: M3 Ultra: M3 Ultra tersedia hingga 512 GB memori, M2 Ultra hingga 192 GB. Pada konfigurasi terbesarnya, ia menjalankan 60 dari 73 model terbuka dengan baik, dibandingkan 49.

Perbandingan lainnya

M2 Ultra untuk AI lokal · M3 Ultra untuk AI lokal · Bandingkan semua model · Mac terbaik untuk LLM lokal

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.