1Yapay zekâ için önemli özellikler
| Birleşik bellek | 24 GB |
|---|---|
| Bellek bant genişliği | 100 GB/s |
| Bulunduğu Mac'ler | MacBook Air (2022, 2023), 13-inch MacBook Pro (2022), Mac mini (2023) |
| Ona uygun özel koltuk | Core koltuk: günde en fazla 20 MLX kazar |
2Hangi modeller sığar
Ağırlık başına 4 bitte bir model, her milyar parametre için yarım gigabayttan biraz fazla belleğe, ayrıca bağlamı ve macOS için yere ihtiyaç duyar. M2 çipi, 24 GB bellekle yaklaşık 32 milyar parametreye kadar modelleri rahatça barındırır.
| 4 bit model | Gereken bellek | M2 çipine sığar mı |
|---|---|---|
| 8B model | 4,5 GB | Evet |
| 14B model | 7,9 GB | Evet |
| 32B model | 18 GB | Evet |
| 70B model | 39,4 GB | Hayır |
| gpt-oss-120b, mixture-of-experts | 65 GB | Hayır |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Hayır |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Hayır |
3Ne kadar hızlı çalışır
Metin üretimini bellek bant genişliği sınırlar: her yeni token, modelin etkin ağırlıklarını bir kez okur. M2 çipinin 100 GB/s değerini token başına okunan bayt sayısına bölmek aşağıdaki tavanı verir. Gerçek kullanımda genellikle bunun yaklaşık %45 ila %80'ine ulaşılır (llama.cpp karşılaştırmaları).
| 4 bit model | Token başına okunan | Tek sohbet için tavan |
|---|---|---|
| 8B model | 4,5 GB | 22 token/s |
| 14B model | 7,9 GB | 13 token/s |
| 32B model | 18 GB | 6 token/s |
5Diğer çiplerle karşılaştırın
6Sorular
- M2 çipi 70B bir modeli çalıştırabilir mi?
- Rahatça değil. 4 bitte 70B bir model yaklaşık 40 GB ister; M2 çipinde ise en fazla 24 GB bellek var. Yaklaşık 32 milyar parametreye kadar modeller rahatça sığar.
- M2 çipi saniyede kaç token üretir?
- 4 bitte 8B bir model için tavan saniyede yaklaşık 22 token; gerçek kullanımda bunun kabaca yarısı ile beşte dördü arasına ulaşılır. Daha büyük modeller orantılı olarak daha yavaştır.
- M2 çipi yapay zekâ için iyi mi?
- Modelleri yerelde çalıştırırken en önemli şey bellek ve bant genişliğidir. M2 çipi 100 GB/s hızında en fazla 24 GB bellek sunar; bu, yaklaşık 32 milyar parametreye kadar modeller için yeterlidir. MLX Node ile MLX Network'e yapay zekâ işleri çalıştırarak kazanç da sağlayabilir.
Kaynaklar
- Apple: M2apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com