میموری سائز کے لحاظ سے
| میموری | اچھے چلتے ہیں | اچھا چلنے والا سب سے بڑا | gpt-oss-20b |
|---|---|---|---|
| 8 GB100 GB/s | 16 | Granite 4.2 8B | بہت بڑا |
| 16 GB100 GB/s | 17 | Qwen3 8B | 28–50 tok/s |
| 24 GB100 GB/s | 20 | Gemma 4 26B A4B | 24–42 tok/s |
Mac ماڈلز: MacBook Pro (14-inch, M3, Nov 2023)۔ ہر میموری سائز ہر Mac ماڈل کے ساتھ دستیاب نہیں؛ Apple کی Tech Specs بتاتی ہیں کہ ہر ایک کس کے ساتھ آتا ہے۔
سوالات
- کیا M3 والا MacBook Pro لوکل LLMs کے لیے اچھا ہے؟
- 24 GB کے ساتھ یہ 73 اوپن ماڈلز میں سے 20 اچھے چلاتا ہے، Gemma 4 26B A4B تک، اور gpt-oss-20b کے ساتھ فی سیکنڈ تقریباً 24–42 ٹوکن لکھتا ہے۔ M3 میموری کو 100 GB/s پر پڑھتا ہے، جو لکھنے کی رفتار طے کرتی ہے۔
- AI کے لیے M3 والے MacBook Pro میں کتنی میموری ہونی چاہیے؟
- 8 GB کے ساتھ یہ 16 اوپن ماڈلز اچھے چلاتا ہے؛ 24 GB کے ساتھ 20، Gemma 4 26B A4B تک۔ میموری طے کرتی ہے کہ کون سے ماڈلز سمائیں گے، اور اسے بعد میں بڑھایا نہیں جا سکتا۔
دوسرے Mac
دوسری چپس کے ساتھ MacBook Pro:
- MacBook Pro M5
- MacBook Pro M5 Pro
- MacBook Pro M5 Max
- MacBook Pro M4
- MacBook Pro M4 Pro
- MacBook Pro M4 Max
- MacBook Pro M3 Pro
- MacBook Pro M3 Max
- MacBook Pro M2
- MacBook Pro M2 Pro
- MacBook Pro M2 Max
- MacBook Pro M1
- MacBook Pro M1 Pro
- MacBook Pro M1 Max
M3 والے دوسرے Mac:
آمنے سامنے:
یہ کیسے نکالا گیا
میموری: ماڈل کے پیرامیٹرز فی ویٹ 8، 6، 4، 3 یا 2 bits پر، ساتھ MLX کے گروپ اسکیلز (فی ویٹ آدھا bit)، یا اس کا اصل فارمیٹ، اور اوپر سے کانٹیکسٹ کی گنجائش۔ macOS ڈیفالٹ طور پر GPU کو یونیفائیڈ میموری کا تقریباً 75% استعمال کرنے دیتا ہے۔ رفتار: میموری بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کریں تو ایک گفتگو کی حد ملتی ہے؛ llama.cpp کے Apple Silicon پر پبلک بینچ مارکس میں اصل رنز اس کے تقریباً 45% سے 80% تک پہنچتے ہیں، اور یہی رینج دکھائی گئی ہے۔ یہ اندازے ہیں، پیمائشیں نہیں: اپنا Mac MLX Bench پر ناپیں۔ ماڈل کے اعداد ہر ماڈل کے آفیشل ماڈل کارڈ سے، چپ کے اعداد Apple کی Tech Specs سے۔ 2026-10-19 کو چیک کیا گیا۔ وہی ڈیٹا جو mlx.app/compare پر ہے۔