1Yapay zekâ için önemli özellikler
| Birleşik bellek | 128 GB |
|---|---|
| Bellek bant genişliği | 546 GB/s, alt yapılandırmada 410 GB/s |
| Bulunduğu Mac'ler | 14- and 16-inch MacBook Pro (2024), Mac Studio (2025) |
| Ona uygun özel koltuk | Pro koltuk: günde en fazla 80 MLX kazar |
2Hangi modeller sığar
Ağırlık başına 4 bitte bir model, her milyar parametre için yarım gigabayttan biraz fazla belleğe, ayrıca bağlamı ve macOS için yere ihtiyaç duyar. M4 Max çipi, 128 GB bellekle yaklaşık 170 milyar parametreye kadar modelleri rahatça barındırır.
| 4 bit model | Gereken bellek | M4 Max çipine sığar mı |
|---|---|---|
| 8B model | 4,5 GB | Evet |
| 14B model | 7,9 GB | Evet |
| 32B model | 18 GB | Evet |
| 70B model | 39,4 GB | Evet |
| gpt-oss-120b, mixture-of-experts | 65 GB | Evet |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Hayır |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Hayır |
3Ne kadar hızlı çalışır
Metin üretimini bellek bant genişliği sınırlar: her yeni token, modelin etkin ağırlıklarını bir kez okur. M4 Max çipinin 546 GB/s değerini token başına okunan bayt sayısına bölmek aşağıdaki tavanı verir. Gerçek kullanımda genellikle bunun yaklaşık %45 ila %80'ine ulaşılır (llama.cpp karşılaştırmaları).
| 4 bit model | Token başına okunan | Tek sohbet için tavan |
|---|---|---|
| 8B model | 4,5 GB | 121 token/s |
| 14B model | 7,9 GB | 69 token/s |
| 32B model | 18 GB | 30 token/s |
| 70B model | 39,4 GB | 14 token/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 202 token/s |
Ölçülen: llama.cpp, herkese açık karşılaştırmalarında M4 Max (40-core GPU) üzerinde Llama-2-7B (Q4_0) ile saniyede 83 token üretiyor.
5Diğer çiplerle karşılaştırın
6Sorular
- M4 Max çipi 70B bir modeli çalıştırabilir mi?
- Evet. 4 bitte 70B bir model yaklaşık 40 GB ister; M4 Max çipinde ise en fazla 128 GB bellek var. Tek sohbet için tavan saniyede yaklaşık 14 token olur.
- M4 Max çipi saniyede kaç token üretir?
- 4 bitte 8B bir model için tavan saniyede yaklaşık 121 token; gerçek kullanımda bunun kabaca yarısı ile beşte dördü arasına ulaşılır. Daha büyük modeller orantılı olarak daha yavaştır.
- M4 Max çipi yapay zekâ için iyi mi?
- Modelleri yerelde çalıştırırken en önemli şey bellek ve bant genişliğidir. M4 Max çipi 546 GB/s hızında en fazla 128 GB bellek sunar; bu, yaklaşık 170 milyar parametreye kadar modeller için yeterlidir. MLX Node ile MLX Network'e yapay zekâ işleri çalıştırarak kazanç da sağlayabilir.
Kaynaklar
- Apple: M4 Pro and M4 Maxapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com