1AI کے لیے اہم اسپیکس
| یونیفائیڈ میموری | 512 GB |
|---|---|
| میموری بینڈوڈتھ | 1.2 TB/s |
| ان Mac میں | Mac Studio (2026) |
| اس کے لیے مخصوص سیٹ | Ultra Latest سیٹ: روزانہ 480 MLX تک مائن کرتی ہے |
2کون سے ماڈل سماتے ہیں
4 بٹ فی ویٹ پر ایک ماڈل کو فی ارب پیرامیٹر آدھے گیگابائٹ سے تھوڑی زیادہ میموری چاہیے، ساتھ میں کانٹیکسٹ اور macOS کے لیے جگہ۔ 512 GB کے ساتھ M5 Ultra چپ تقریباً 682 ارب پیرامیٹر تک کے ماڈل آرام سے سنبھال لیتی ہے۔
| 4 بٹ پر ماڈل | درکار میموری | M5 Ultra پر سماتا ہے |
|---|---|---|
| 8B ماڈل | 4.5 GB | ہاں |
| 14B ماڈل | 7.9 GB | ہاں |
| 32B ماڈل | 18 GB | ہاں |
| 70B ماڈل | 39.4 GB | ہاں |
| gpt-oss-120b، MoE (ماہرین کا مرکب) | 65 GB | ہاں |
| Qwen3.5-397B-A17B، MoE (ماہرین کا مرکب) | 223.3 GB | ہاں |
| DeepSeek-V4.1-Flash، MoE (ماہرین کا مرکب) | 316 GB | ہاں |
3رفتار کتنی ملتی ہے
متن لکھنے کی حد میموری بینڈوڈتھ ہے: ہر نئے ٹوکن کے لیے ماڈل کے فعال ویٹس ایک بار پڑھے جاتے ہیں۔ M5 Ultra کی 1.2 TB/s بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کرنے پر نیچے دی گئی حد ملتی ہے۔ اصل رنز عموماً اس کے تقریباً 45% سے 80% تک پہنچتے ہیں (llama.cpp بینچ مارکس)۔
| 4 بٹ پر ماڈل | فی ٹوکن پڑھا جانے والا ڈیٹا | ایک چیٹ کی حد |
|---|---|---|
| 8B ماڈل | 4.5 GB | 267 ٹوکن/سیکنڈ |
| 14B ماڈل | 7.9 GB | 152 ٹوکن/سیکنڈ |
| 32B ماڈل | 18 GB | 67 ٹوکن/سیکنڈ |
| 70B ماڈل | 39.4 GB | 30 ٹوکن/سیکنڈ |
| gpt-oss-120b، MoE (ماہرین کا مرکب) | 2.7 GB | 444 ٹوکن/سیکنڈ |
| Qwen3.5-397B-A17B، MoE (ماہرین کا مرکب) | 9.6 GB | 125 ٹوکن/سیکنڈ |
| DeepSeek-V4.1-Flash، MoE (ماہرین کا مرکب) | 9 GB | 133 ٹوکن/سیکنڈ |
ناپا گیا: M5 Ultra (80-core GPU) پر llama.cpp اپنے پبلک بینچ مارکس میں Llama-2-7B (Q4_0) کے ساتھ 179 ٹوکن فی سیکنڈ بناتا ہے۔
M5 نسل کی چپس کے GPU میں نیورل ایکسلریٹرز شامل ہیں، اس لیے وہ پرامپٹس M4 سے کئی گنا تیزی سے پڑھتی ہیں: Apple کی پیمائش کے مطابق MLX کے ساتھ پہلا ٹوکن 3.3 سے 4.1 گنا جلدی آتا ہے (Apple)۔
5دوسری چپس سے موازنہ
6سوالات
- کیا M5 Ultra پر 70B ماڈل چل سکتا ہے؟
- ہاں۔ 4 بٹ پر 70B ماڈل کو تقریباً 40 GB چاہیے، اور M5 Ultra میں 512 GB تک میموری ہے۔ ایک چیٹ کے لیے تقریباً 30 ٹوکن فی سیکنڈ کی حد کی توقع رکھیں۔
- M5 Ultra پر فی سیکنڈ کتنے ٹوکن ملتے ہیں؟
- 4 بٹ پر 8B ماڈل کے لیے حد تقریباً 267 ٹوکن فی سیکنڈ ہے، اور اصل رنز اس کے تقریباً آدھے سے چار پانچویں حصے تک پہنچتے ہیں۔ بڑے ماڈل اسی تناسب سے سست ہوتے ہیں۔
- کیا M5 Ultra چپ AI کے لیے اچھی ہے؟
- ماڈلز لوکل چلانے کے لیے میموری اور بینڈوڈتھ سب سے اہم ہیں۔ M5 Ultra چپ میں 1.2 TB/s پر 512 GB تک میموری ہے، جو تقریباً 682 ارب پیرامیٹر تک کے ماڈلز کے لیے کافی ہے۔ اس چپ والا Mac، MLX Node کے ذریعے MLX Network کے AI کام چلا کر کما بھی سکتا ہے۔
ذرائع
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com