آپ کا Mac کیا چلا سکتا ہے؟
اپنا Mac یا کوئی بھی دوسری مشین چنیں اور دیکھیں کہ کون سے اوپن AI ماڈل اس کی میموری میں سما جاتے ہیں اور وہ انہیں کتنی تیزی سے چلاتی ہے۔ حساب ہر ماڈل کے ماڈل کارڈ اور ہر چِپ کی شائع شدہ میموری اور بینڈوڈتھ سے لگایا گیا ہے۔
Apple M5، 16 GB: ڈیفالٹ طور پر ماڈلز کے لیے تقریباً 12 GB، میموری بینڈوڈتھ 153 GB/s۔ 43 مقبول ماڈلز میں سے 20 اس پر چلتے ہیں۔ اس کا صفحہ ناپا گیا: llama.cpp میں 4-bit پر Llama 2 7B کے ساتھ 32 ٹوکن/سیکنڈ (M5 (10-core GPU))۔
ذہانت: Artificial Analysis Intelligence Index v4.3.2، جہاں ناپا گیا۔ ماڈلز کے نام ان کے سرکاری کارڈز سے لنک ہیں۔
یہ کیسے نکالا گیا
میموری۔ ہر ماڈل اس سب سے زیادہ درستی پر دکھایا گیا ہے جس پر وہ سما جائے: فی ویٹ 8، 6، 4، 3 یا 2 bits، ساتھ MLX کے گروپ اسکیلز (فی ویٹ آدھا bit)، یا اس کا اصل فارمیٹ اگر وہ اسی میں جاری ہوتا ہے۔ Mac پر GPU ڈیفالٹ طور پر یونیفائیڈ میموری کا تقریباً 75% استعمال کر سکتا ہے؛ اس کے اوپر ہم کانٹیکسٹ کی گنجائش رکھتے ہیں۔
رفتار۔ لکھتے وقت ہر ٹوکن تمام فعال ویٹس کو ایک بار پڑھتا ہے، اس لیے میموری بینڈوڈتھ کو ان بائٹس سے تقسیم کرنے پر ایک گفتگو کی زیادہ سے زیادہ حد ملتی ہے۔ llama.cpp کے Apple Silicon کے عوامی بینچ مارکس میں حقیقی رنز اس کا تقریباً 45% سے 80% تک پہنچتے ہیں، اور یہی رینج دکھائی گئی ہے۔ لمبا پرامپٹ پڑھنا کمپیوٹ پر منحصر ہے، اس لیے وہ یہاں نہیں دکھایا گیا۔
ذرائع۔ پیرامیٹرز، کانٹیکسٹ اور لائسنس Hugging Face پر ہر ماڈل کے سرکاری کارڈ سے (نام سے لنک کیا گیا)؛ میموری اور بینڈوڈتھ Apple اور بنانے والوں کی اسپیسیفکیشنز سے۔ 2026-10-19 کو چیک کیا گیا۔ اپنا Mac MLX Bench پر ناپیں۔ ہر Mac، ہر ماڈل اور مکمل فٹ ٹیبل JSON اور CSV میں مفت ڈاؤن لوڈ کیے جا سکتے ہیں: اوپن ڈیٹا۔
براؤز کریں۔ ہر Mac، 8 GB والے M1 سے 512 GB والے M5 Ultra تک، ان پر چلنے والے ہر ماڈل کے ساتھ، اور ہر ماڈل اس سب سے چھوٹے Mac کے ساتھ جس کی اسے ضرورت ہے۔
چلا کر دیکھیں۔ قدم بہ قدم: Mac پر LLM ڈاؤن لوڈ کر کے چلائیں، MLX بمقابلہ Ollama بمقابلہ llama.cpp اور لوکل LLM کے لیے بہترین Mac۔ جب آپ کا Mac فارغ ہو، وہ MLX ٹوکن کما سکتا ہے۔
- مجھے کیسے پتا چلے کہ کوئی LLM میرے Mac پر چلے گا؟
- اپنی مطلوبہ درستی پر ماڈل کے سائز کا موازنہ اپنے Mac کی یونیفائیڈ میموری سے کریں۔ macOS ڈیفالٹ طور پر GPU کو اس کا تقریباً 75% استعمال کرنے دیتا ہے، اور ماڈل کو اپنے کانٹیکسٹ کے لیے بھی جگہ چاہیے۔ 4-bit ماڈل کو ہر ایک ارب پیرامیٹرز کے لیے آدھے گیگابائٹ سے کچھ زیادہ چاہیے۔
- مجھے ایک سیکنڈ میں کتنے ٹوکن ملیں گے؟
- لکھنے کی رفتار میموری بینڈوڈتھ سے محدود ہوتی ہے: ہر ٹوکن ماڈل کے فعال ویٹس ایک بار پڑھتا ہے۔ بینڈوڈتھ کو فی ٹوکن پڑھے گئے بائٹس سے تقسیم کرنے پر ایک گفتگو کی حد ملتی ہے؛ حقیقی رنز عموماً اس کا تقریباً 45% سے 80% تک پہنچتے ہیں۔
- ماہرین کے مرکب (MoE) والے ماڈل زیادہ تیز کیوں چلتے ہیں؟
- یہ میموری میں بہت سے ماہرین رکھتے ہیں لیکن ہر ٹوکن کے لیے ان میں سے صرف چند استعمال کرتے ہیں، اس لیے ہر ٹوکن کہیں کم بائٹس پڑھتا ہے۔ میموری پورے ماڈل کے لیے چاہیے، مگر رفتار بہت چھوٹے ماڈل جیسی ہوتی ہے۔
- کیا 4-bit کافی ہے؟
- زیادہ تر ماڈلز میں 4-bit معیار کو اصل کے قریب رکھتا ہے۔ 4 bits سے نیچے معیار تیزی سے گرتا ہے، اسی لیے 4 bits سے کم والے ورژن پر نشان لگایا گیا ہے۔