1AI کے لیے اہم اسپیکس
| یونیفائیڈ میموری | 32 GB |
|---|---|
| میموری بینڈوڈتھ | 153 GB/s |
| ان Mac میں | 14-inch MacBook Pro (2025), MacBook Air (2026) |
| اس کے لیے مخصوص سیٹ | Core سیٹ: روزانہ 20 MLX تک مائن کرتی ہے |
2کون سے ماڈل سماتے ہیں
4 بٹ فی ویٹ پر ایک ماڈل کو فی ارب پیرامیٹر آدھے گیگابائٹ سے تھوڑی زیادہ میموری چاہیے، ساتھ میں کانٹیکسٹ اور macOS کے لیے جگہ۔ 32 GB کے ساتھ M5 چپ تقریباً 42 ارب پیرامیٹر تک کے ماڈل آرام سے سنبھال لیتی ہے۔
| 4 بٹ پر ماڈل | درکار میموری | M5 پر سماتا ہے |
|---|---|---|
| 8B ماڈل | 4.5 GB | ہاں |
| 14B ماڈل | 7.9 GB | ہاں |
| 32B ماڈل | 18 GB | ہاں |
| 70B ماڈل | 39.4 GB | نہیں |
| gpt-oss-120b، MoE (ماہرین کا مرکب) | 65 GB | نہیں |
| Qwen3.5-397B-A17B، MoE (ماہرین کا مرکب) | 223.3 GB | نہیں |
| DeepSeek-V4.1-Flash، MoE (ماہرین کا مرکب) | 316 GB | نہیں |
3رفتار کتنی ملتی ہے
متن لکھنے کی حد میموری بینڈوڈتھ ہے: ہر نئے ٹوکن کے لیے ماڈل کے فعال ویٹس ایک بار پڑھے جاتے ہیں۔ M5 کی 153 GB/s بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کرنے پر نیچے دی گئی حد ملتی ہے۔ اصل رنز عموماً اس کے تقریباً 45% سے 80% تک پہنچتے ہیں (llama.cpp بینچ مارکس)۔
| 4 بٹ پر ماڈل | فی ٹوکن پڑھا جانے والا ڈیٹا | ایک چیٹ کی حد |
|---|---|---|
| 8B ماڈل | 4.5 GB | 34 ٹوکن/سیکنڈ |
| 14B ماڈل | 7.9 GB | 19 ٹوکن/سیکنڈ |
| 32B ماڈل | 18 GB | 9 ٹوکن/سیکنڈ |
ناپا گیا: M5 (10-core GPU) پر llama.cpp اپنے پبلک بینچ مارکس میں Llama-2-7B (Q4_0) کے ساتھ 32 ٹوکن فی سیکنڈ بناتا ہے۔
M5 نسل کی چپس کے GPU میں نیورل ایکسلریٹرز شامل ہیں، اس لیے وہ پرامپٹس M4 سے کئی گنا تیزی سے پڑھتی ہیں: Apple کی پیمائش کے مطابق MLX کے ساتھ پہلا ٹوکن 3.3 سے 4.1 گنا جلدی آتا ہے (Apple)۔
5دوسری چپس سے موازنہ
6سوالات
- کیا M5 پر 70B ماڈل چل سکتا ہے؟
- آرام سے نہیں۔ 4 بٹ پر 70B ماڈل کو تقریباً 40 GB چاہیے، اور M5 میں زیادہ سے زیادہ 32 GB ہے۔ تقریباً 42B پیرامیٹر تک کے ماڈل اچھی طرح سماتے ہیں۔
- M5 پر فی سیکنڈ کتنے ٹوکن ملتے ہیں؟
- 4 بٹ پر 8B ماڈل کے لیے حد تقریباً 34 ٹوکن فی سیکنڈ ہے، اور اصل رنز اس کے تقریباً آدھے سے چار پانچویں حصے تک پہنچتے ہیں۔ بڑے ماڈل اسی تناسب سے سست ہوتے ہیں۔
- کیا M5 چپ AI کے لیے اچھی ہے؟
- ماڈلز لوکل چلانے کے لیے میموری اور بینڈوڈتھ سب سے اہم ہیں۔ M5 چپ میں 153 GB/s پر 32 GB تک میموری ہے، جو تقریباً 42 ارب پیرامیٹر تک کے ماڈلز کے لیے کافی ہے۔ اس چپ والا Mac، MLX Node کے ذریعے MLX Network کے AI کام چلا کر کما بھی سکتا ہے۔
ذرائع
- Apple: M5apple.com
- Apple: MacBook Air with M5apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com