Log masukCipta dompet

M2 Ultra untuk AI tempatan.

M2 Ultra mempunyai sehingga 192 GB memori bersatu, dibaca pada kelajuan sehingga 800 GB/s. Inilah maksudnya untuk menjalankan model bahasa pada Mac dengan cip ini, dikira daripada angka Apple sendiri.

1Spesifikasi yang penting untuk AI

Memori bersatu192 GB
Lebar jalur memori800 GB/s
Terdapat dalamMac Studio (2023), Mac Pro (2023)
Kerusi khas untuknyaKerusi Ultra: melombong sehingga 320 MLX sehari

2Model yang muat

Pada 4 bit setiap pemberat, model memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter, serta ruang untuk konteks dan macOS. Dengan 192 GB, M2 Ultra memuatkan model sehingga kira-kira 256 bilion parameter dengan selesa.

Model 4-bitMemori diperlukanMuat pada M2 Ultra
Model 8B4.5 GBYa
Model 14B7.9 GBYa
Model 32B18 GBYa
Model 70B39.4 GBYa
gpt-oss-120b, mixture-of-experts65 GBYa
Qwen3.5-397B-A17B, mixture-of-experts223.3 GBTidak
DeepSeek-V4.1-Flash, mixture-of-experts316 GBTidak

3Sepantas mana

Kelajuan menulis teks dihadkan oleh lebar jalur memori: setiap token baharu membaca pemberat aktif model sekali. Membahagikan 800 GB/s M2 Ultra dengan bilangan bait yang dibaca setiap token memberikan had atas di bawah. Penggunaan sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya (penanda aras llama.cpp).

Model 4-bitDibaca setiap tokenHad atas satu sembang
Model 8B4.5 GB178 token/saat
Model 14B7.9 GB101 token/saat
Model 32B18 GB44 token/saat
Model 70B39.4 GB20 token/saat
gpt-oss-120b, mixture-of-experts2.7 GB296 token/saat

5Bandingkan dengan cip lain

6Soalan

Bolehkah M2 Ultra menjalankan model 70B?
Boleh. Model 70B pada 4-bit memerlukan kira-kira 40 GB, dan M2 Ultra mempunyai sehingga 192 GB. Had atasnya kira-kira 20 token sesaat untuk satu sembang.
Berapa token sesaat yang dicapai M2 Ultra?
Untuk model 8B pada 4-bit, had atasnya kira-kira 178 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.
Adakah M2 Ultra bagus untuk AI?
Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M2 Ultra mempunyai sehingga 192 GB pada 800 GB/s, cukup untuk model sehingga kira-kira 256 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.

Sumber

  1. Apple: M2 Ultraapple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M2 Ultra untuk LLM tempatan: memori, kelajuan, model | MLX