Bolehkah M5 menjalankan model 70B?

Tidak dengan selesa. Model 70B pada 4-bit memerlukan kira-kira 40 GB, manakala M5 mempunyai paling banyak 32 GB. Model sehingga kira-kira 42B parameter berjalan dengan baik.

Berapa token sesaat yang dicapai M5?

Untuk model 8B pada 4-bit, had atasnya kira-kira 34 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.

Adakah M5 bagus untuk AI?

Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M5 mempunyai sehingga 32 GB pada 153 GB/s, cukup untuk model sehingga kira-kira 42 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.

M5 untuk LLM tempatan: memori, kelajuan, model

1Spesifikasi yang penting untuk AI

Memori bersatu	32 GB
Lebar jalur memori	153 GB/s
Terdapat dalam	14-inch MacBook Pro (2025), MacBook Air (2026)
Kerusi khas untuknya	Kerusi Core: melombong sehingga 20 MLX sehari

2Model yang muat

Pada 4 bit setiap pemberat, model memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter, serta ruang untuk konteks dan macOS. Dengan 32 GB, M5 memuatkan model sehingga kira-kira 42 bilion parameter dengan selesa.

Model 4-bit	Memori diperlukan	Muat pada M5
Model 8B	4.5 GB	Ya
Model 14B	7.9 GB	Ya
Model 32B	18 GB	Ya
Model 70B	39.4 GB	Tidak
gpt-oss-120b, mixture-of-experts	65 GB	Tidak
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	Tidak
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Tidak

3Sepantas mana

Kelajuan menulis teks dihadkan oleh lebar jalur memori: setiap token baharu membaca pemberat aktif model sekali. Membahagikan 153 GB/s M5 dengan bilangan bait yang dibaca setiap token memberikan had atas di bawah. Penggunaan sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya (penanda aras llama.cpp).

Model 4-bit	Dibaca setiap token	Had atas satu sembang
Model 8B	4.5 GB	34 token/saat
Model 14B	7.9 GB	19 token/saat
Model 32B	18 GB	9 token/saat

Diukur: pada M5 (10-core GPU), llama.cpp menjana 32 token sesaat dengan Llama-2-7B (Q4_0) dalam penanda aras awamnya.

Cip generasi M5 menambah pemecut neural pada GPU, jadi ia membaca prompt beberapa kali lebih pantas daripada M4: Apple mengukur token pertama tiba 3.3 hingga 4.1 kali lebih cepat dengan MLX (Apple).

5Bandingkan dengan cip lain

6Soalan

Bolehkah M5 menjalankan model 70B?: Tidak dengan selesa. Model 70B pada 4-bit memerlukan kira-kira 40 GB, manakala M5 mempunyai paling banyak 32 GB. Model sehingga kira-kira 42B parameter berjalan dengan baik.
Berapa token sesaat yang dicapai M5?: Untuk model 8B pada 4-bit, had atasnya kira-kira 34 token sesaat, dan penggunaan sebenar mencapai lebih kurang separuh hingga empat perlima daripadanya. Model yang lebih besar menjadi perlahan secara berkadar.
Adakah M5 bagus untuk AI?: Untuk menjalankan model secara tempatan, memori dan lebar jalur paling penting. M5 mempunyai sehingga 32 GB pada 153 GB/s, cukup untuk model sehingga kira-kira 42 bilion parameter. Ia juga boleh memperoleh dengan menjalankan kerja AI untuk MLX Network melalui MLX Node.

Sumber

Apple: M5apple.com
Apple: MacBook Air with M5apple.com
llama.cpp: Apple Silicon benchmarksgithub.com