Apakah M5 Ultra lebih cepat daripada M3 Ultra untuk LLM?

M5 Ultra membaca memori sekitar 47% lebih cepat daripada M3 Ultra (1.200 vs 819 GB/s), jadi ia menulis sekitar 47% lebih cepat untuk model apa pun yang muat di keduanya. Membaca prompt yang panjang bergantung pada daya komputasi GPU, yang tidak dicakup perbandingan ini.

Mana yang bisa menjalankan model lebih besar, M3 Ultra atau M5 Ultra?

Tidak keduanya: keduanya tersedia hingga 512 GB. Pada ukuran itu M3 Ultra menjalankan 60 dan M5 Ultra 61 dari 73 model terbuka dengan baik; yang lebih cepat membuat lebih banyak model melewati 10 token per detik.

M3 Ultra vs M5 Ultra untuk LLM: memori, kecepatan, pilih mana

Berdampingan

	M3 Ultra	M5 Ultra
Ukuran memori	96, 256, 512 GB	96, 256, 512 GB
Bandwidth memori	819 GB/s	1.200 GB/s
Untuk model, paling banyak	sekitar 384 GB	sekitar 384 GB
Model yang berjalan baik	60 dari 73	61 dari 73
Kelas kursi MLX	Ultra	Ultra Latest
Ada di	Mac Studio (2025)	Mac Studio (M5 Max or M5 Ultra)

Kecepatan dengan model populer

Token per detik untuk satu percakapan, setiap chip pada ukuran memori terbesarnya (512 GB dan 512 GB), dengan versi terbaik model yang muat.

Model	M3 Ultra	M5 Ultra
Llama 3.1 8B Instruct8B	43–77 8-bit	64–113 8-bit
gpt-oss-20b21B · 3,6B aktif	194–345 4,25-bit bawaan	284–505 4,25-bit bawaan
Qwen3.6 35B A3B35B · 3B aktif	115–205 8-bit	169–300 8-bit
Qwen3.8 27B27B	13–23 8-bit	19–33 8-bit
Llama 3.3 70B Instruct70B	5–9 8-bit	14–24 4-bit
gpt-oss-120b117B · 5,1B aktif	137–243 4,25-bit bawaan	200–356 4,25-bit bawaan
Qwen3.5 122B A10B122B · 10B aktif	35–62 8-bit	51–91 8-bit
DeepSeek V4 Flash 0731284B · 13B aktif	27–47 8-bit	39–70 8-bit

Pertanyaan

Apakah M5 Ultra lebih cepat daripada M3 Ultra untuk LLM?: M5 Ultra membaca memori sekitar 47% lebih cepat daripada M3 Ultra (1.200 vs 819 GB/s), jadi ia menulis sekitar 47% lebih cepat untuk model apa pun yang muat di keduanya. Membaca prompt yang panjang bergantung pada daya komputasi GPU, yang tidak dicakup perbandingan ini.
Mana yang bisa menjalankan model lebih besar, M3 Ultra atau M5 Ultra?: Tidak keduanya: keduanya tersedia hingga 512 GB. Pada ukuran itu M3 Ultra menjalankan 60 dan M5 Ultra 61 dari 73 model terbuka dengan baik; yang lebih cepat membuat lebih banyak model melewati 10 token per detik.

Perbandingan lainnya

M3 Ultra untuk AI lokal · M5 Ultra untuk AI lokal · Bandingkan semua model · Mac terbaik untuk LLM lokal

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.