Adakah M3 Ultra lebih pantas daripada M2 Ultra untuk LLM?

Lebih kurang sama: lebar jalur memori kedua-duanya hanya berbeza beberapa peratus. M3 Ultra tersedia sehingga 512 GB memori, M2 Ultra sehingga 192 GB.

Yang mana boleh menjalankan model lebih besar, M2 Ultra atau M3 Ultra?

M3 Ultra: M3 Ultra tersedia sehingga 512 GB memori, M2 Ultra sehingga 192 GB. Pada konfigurasi terbesarnya ia menjalankan 60 daripada 73 model terbuka dengan baik, berbanding 49.

M2 Ultra vs M3 Ultra untuk LLM: memori, kelajuan, pilih mana

Bersebelahan

	M2 Ultra	M3 Ultra
Saiz memori	64, 128, 192 GB	96, 256, 512 GB
Lebar jalur memori	800 GB/s	819 GB/s
Untuk model, paling banyak	kira-kira 144 GB	kira-kira 384 GB
Model yang berjalan baik	49 daripada 73	60 daripada 73
Kelas kerusi MLX	Ultra	Ultra
Terdapat dalam	Mac Studio (2023), Mac Pro (2023), Mac Pro (Rack, 2023)	Mac Studio (2025)

Kelajuan dengan model popular

Token sesaat untuk satu perbualan, setiap cip pada saiz memori terbesarnya (192 GB dan 512 GB), dengan versi terbaik model yang muat.

Model	M2 Ultra	M3 Ultra
Llama 3.1 8B Instruct8B	42–75 8-bit	43–77 8-bit
gpt-oss-20b21B · 3.6B aktif	189–337 4.25-bit asli	194–345 4.25-bit asli
Qwen3.6 35B A3B35B · 3B aktif	113–200 8-bit	115–205 8-bit
Qwen3.8 27B27B	13–22 8-bit	13–23 8-bit
Llama 3.3 70B Instruct70B	5–9 8-bit	5–9 8-bit
gpt-oss-120b117B · 5.1B aktif	133–237 4.25-bit asli	137–243 4.25-bit asli
Qwen3.5 122B A10B122B · 10B aktif	34–60 8-bit	35–62 8-bit
DeepSeek V4 Flash 0731284B · 13B aktif	63–112 3-bit kualiti lebih rendah	27–47 8-bit

Soalan

Adakah M3 Ultra lebih pantas daripada M2 Ultra untuk LLM?: Lebih kurang sama: lebar jalur memori kedua-duanya hanya berbeza beberapa peratus. M3 Ultra tersedia sehingga 512 GB memori, M2 Ultra sehingga 192 GB.
Yang mana boleh menjalankan model lebih besar, M2 Ultra atau M3 Ultra?: M3 Ultra: M3 Ultra tersedia sehingga 512 GB memori, M2 Ultra sehingga 192 GB. Pada konfigurasi terbesarnya ia menjalankan 60 daripada 73 model terbuka dengan baik, berbanding 49.

Lebih banyak perbandingan

M2 Ultra untuk AI tempatan · M3 Ultra untuk AI tempatan · Bandingkan semua model · Mac terbaik untuk LLM tempatan

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.