Bolehkah M2 Max menjalankan model 70B?

Boleh. Model 70B pada 4-bit memerlukan kira-kira 40 GB, dan M2 Max mempunyai sehingga 96 GB. Had atasnya kira-kira 10 token sesaat untuk satu sembang.

Berapa token sesaat yang dicapai M2 Max?

Untuk model 8B pada 4-bit, had atasnya kira-kira 89 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.

Adakah M2 Max bagus untuk AI?

Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M2 Max mempunyai sehingga 96 GB pada 400 GB/s, cukup untuk model sehingga kira-kira 128 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.

M2 Max untuk LLM tempatan: memori, kelajuan, model

1Spesifikasi yang penting untuk AI

Memori bersatu	96 GB
Lebar jalur memori	400 GB/s
Terdapat dalam	14- and 16-inch MacBook Pro (2023), Mac Studio (2023)
Kerusi khas untuknya	Kerusi Pro: melombong sehingga 80 MLX sehari

2Model yang muat

Pada 4 bit setiap pemberat, model memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter, serta ruang untuk konteks dan macOS. Dengan 96 GB, M2 Max memuatkan model sehingga kira-kira 128 bilion parameter dengan selesa.

Model 4-bit	Memori diperlukan	Muat pada M2 Max
Model 8B	4.5 GB	Ya
Model 14B	7.9 GB	Ya
Model 32B	18 GB	Ya
Model 70B	39.4 GB	Ya
gpt-oss-120b, mixture-of-experts	65 GB	Ya
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	Tidak
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Tidak

3Sepantas mana

Kelajuan menulis teks dihadkan oleh lebar jalur memori: setiap token baharu membaca pemberat aktif model sekali. Membahagikan 400 GB/s M2 Max dengan bilangan bait yang dibaca setiap token memberikan had atas di bawah. Penggunaan sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya (penanda aras llama.cpp).

Model 4-bit	Dibaca setiap token	Had atas satu sembang
Model 8B	4.5 GB	89 token/saat
Model 14B	7.9 GB	51 token/saat
Model 32B	18 GB	22 token/saat
Model 70B	39.4 GB	10 token/saat
gpt-oss-120b, mixture-of-experts	2.7 GB	148 token/saat

5Bandingkan dengan cip lain

6Soalan

Bolehkah M2 Max menjalankan model 70B?: Boleh. Model 70B pada 4-bit memerlukan kira-kira 40 GB, dan M2 Max mempunyai sehingga 96 GB. Had atasnya kira-kira 10 token sesaat untuk satu sembang.
Berapa token sesaat yang dicapai M2 Max?: Untuk model 8B pada 4-bit, had atasnya kira-kira 89 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.
Adakah M2 Max bagus untuk AI?: Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M2 Max mempunyai sehingga 96 GB pada 400 GB/s, cukup untuk model sehingga kira-kira 128 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.

Sumber

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com