Log masukCipta dompet

M3 Ultra untuk AI tempatan.

M3 Ultra mempunyai sehingga 512 GB memori bersatu, dibaca pada kelajuan sehingga 819 GB/s. Inilah maksudnya untuk menjalankan model bahasa pada Mac dengan cip ini, dikira daripada angka Apple sendiri.

1Spesifikasi yang penting untuk AI

Memori bersatu512 GB
Lebar jalur memori819 GB/s
Terdapat dalamMac Studio (2025)
Kerusi khas untuknyaKerusi Ultra: melombong sehingga 320 MLX sehari

2Model yang muat

Pada 4 bit setiap pemberat, model memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter, serta ruang untuk konteks dan macOS. Dengan 512 GB, M3 Ultra memuatkan model sehingga kira-kira 682 bilion parameter dengan selesa.

Model 4-bitMemori diperlukanMuat pada M3 Ultra
Model 8B4.5 GBYa
Model 14B7.9 GBYa
Model 32B18 GBYa
Model 70B39.4 GBYa
gpt-oss-120b, mixture-of-experts65 GBYa
Qwen3.5-397B-A17B, mixture-of-experts223.3 GBYa
DeepSeek-V4.1-Flash, mixture-of-experts316 GBYa

3Sepantas mana

Kelajuan menulis teks dihadkan oleh lebar jalur memori: setiap token baharu membaca pemberat aktif model sekali. Membahagikan 819 GB/s M3 Ultra dengan bilangan bait yang dibaca setiap token memberikan had atas di bawah. Penggunaan sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya (penanda aras llama.cpp).

Model 4-bitDibaca setiap tokenHad atas satu sembang
Model 8B4.5 GB182 token/saat
Model 14B7.9 GB104 token/saat
Model 32B18 GB46 token/saat
Model 70B39.4 GB21 token/saat
gpt-oss-120b, mixture-of-experts2.7 GB303 token/saat
Qwen3.5-397B-A17B, mixture-of-experts9.6 GB85 token/saat
DeepSeek-V4.1-Flash, mixture-of-experts9 GB91 token/saat

Diukur: pada M3 Ultra (80-core GPU), llama.cpp menjana 92 token sesaat dengan Llama-2-7B (Q4_0) dalam penanda aras awamnya.

5Bandingkan dengan cip lain

6Soalan

Bolehkah M3 Ultra menjalankan model 70B?
Boleh. Model 70B pada 4-bit memerlukan kira-kira 40 GB, dan M3 Ultra mempunyai sehingga 512 GB. Had atasnya kira-kira 21 token sesaat untuk satu sembang.
Berapa token sesaat yang dicapai M3 Ultra?
Untuk model 8B pada 4-bit, had atasnya kira-kira 182 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.
Adakah M3 Ultra bagus untuk AI?
Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M3 Ultra mempunyai sehingga 512 GB pada 819 GB/s, cukup untuk model sehingga kira-kira 682 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.

Sumber

  1. Apple: Mac Studio (2025) specssupport.apple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M3 Ultra untuk LLM tempatan: memori, kelajuan, model | MLX