لوکل LLMs کے لیے بہترین Mac۔

1میموری اور بینڈوڈتھ ہی سب کچھ کیوں طے کرتی ہیں

لینگویج ماڈل ایک وقت میں ایک ٹوکن لکھتا ہے، اور ہر ٹوکن کے لیے وہ ہر فعال ویٹ میموری سے پڑھتا ہے۔ اس لیے ایک گفتگو کی رفتار کی حد تقریباً میموری بینڈوڈتھ کو فعال ویٹس کے سائز سے تقسیم کرنے کے برابر ہے۔ llama.cpp کے پبلک بینچ مارکس میں، Apple چپس پر اصل جنریشن اس حد کے 43% سے 80% تک پہنچتی ہے (llama.cpp)۔

آپ کا پرامپٹ پڑھنا مختلف ہے: اس حصے کی حد کمپیوٹ ہے، اسی لیے M5 نسل کی چپس، جن کے GPU میں نیورل ایکسلریٹرز ہیں، پرامپٹس کو پچھلی چپس سے کئی گنا تیزی سے پروسیس کرتی ہیں (Apple)۔

2ہر چپ کا موازنہ

پرانی چپس بھی اچھا کام کرتی ہیں جب ان کے ساتھ میموری کافی ہو۔ 64 GB والا M1 Max یا M2 Max، 400 GB/s پر پڑھتا ہے، جو آج کی کسی بھی بیس چپ سے زیادہ ہے، اور سیکنڈ ہینڈ اکثر کہیں سستا ملتا ہے۔

3کون سا Mac خریدیں

صرف آزمانے کے لیے: 16 سے 32 GB والا MacBook Air یا Mac mini

7B سے 14B ماڈلز آرام سے چلاتا ہے اور 32 GB پر 30B کلاس کے ماڈلز۔ چیٹ، لکھنے اور کوڈنگ میں ہلکی مدد کے لیے کافی ہے۔

بہترین قدر: 64 GB والی Pro چپ

M4 Pro یا M5 Pro والا Mac mini یا MacBook Pro، 70B کلاس کے ماڈلز سما لیتا ہے اور درمیانے سائز کے ماڈلز اچھی رفتار سے چلاتا ہے۔ زیادہ تر ڈویلپرز کے لیے بہترین انتخاب۔

سنجیدہ لوکل AI: 128 GB والی Max چپ

لیپ ٹاپ پر gpt-oss-120b (4-bit پر تقریباً 65 GB) چلاتا ہے؛ Apple کے بینڈوڈتھ کے عدد سے، M5 Max پر ایک اسٹریم کی نظری حد تقریباً 225 ٹوکن فی سیکنڈ ہے۔ بہترین پورٹیبل انتخاب۔

سب سے بڑے ماڈلز: Ultra والا Mac Studio

M5 Ultra کے ساتھ 1.2 TB/s پر 512 GB تک میموری، ایک ہی میز پر سیکڑوں ارب پیرامیٹرز والے ماڈلز سما لیتی ہے۔ اس سے بھی بڑے ماڈلز کے لیے، Mac کو Thunderbolt 5 پر جوڑ کر کلسٹر بنایا جا سکتا ہے: Mac AI کلسٹرز دیکھیں۔

4Mac کو اپنا خرچ خود نکالنے دیں

AI کے لیے خریدا گیا Mac اپنا زیادہ تر وقت انتظار میں گزارتا ہے۔ MLX Node ایک مفت ایپ ہے جو یہ فارغ صلاحیت MLX Network کو دیتی ہے، اسی MLX فریم ورک پر AI کے کام چلاتی ہے اور تصدیق شدہ کام کے لیے MLX ٹوکن کماتی ہے۔ چپ کے مطابق مخصوص سیٹ اس کی کمائی کئی گنا بڑھا دیتی ہے: Pro سیٹ Pro یا Max چپ پر پوری شرح سے چلتی ہے، Ultra سیٹ Ultra چپ پر۔

پہلے MLX Bench پر اپنے Mac کا موازنہ کریں: یہ ہر چپ پر اوپن ماڈلز کے ناپے گئے فی سیکنڈ ٹوکن دکھاتا ہے۔

5سوالات

کیا لوکل LLM کے لیے 16 GB کافی ہے؟

4-bit پر تقریباً 14B پیرامیٹرز تک کے ماڈلز کے لیے ہاں۔ بڑے ماڈلز یا لمبے کانٹیکسٹ کے لیے 32 GB یا اس سے زیادہ کہیں زیادہ آرام دہ ہے۔

LLMs کے لیے Mac Studio یا MacBook Pro؟

دونوں Max چپس اور 128 GB تک میموری کے ساتھ آتے ہیں۔ MacBook Pro پورٹیبل ہے؛ Mac Studio طویل لوڈ میں زیادہ ٹھنڈا رہتا ہے اور واحد Mac ہے جس میں Ultra چپس اور 512 GB تک میموری ہے۔

کیا لوکل AI کے لیے Mac، Nvidia GPU سے بہتر ہے؟

گھر پر سب سے بڑے ماڈلز کے لیے اکثر ہاں: Mac کی یونیفائیڈ میموری کسی کنزیومر گرافکس کارڈ کی میموری سے کہیں زیادہ سما سکتی ہے۔ جو ماڈلز ہائی اینڈ Nvidia کارڈ کی میموری میں سما جائیں، ان پر وہ کارڈ زیادہ تیز ہے۔

کیا M5 سے LLMs تیز ہوتے ہیں؟

ہاں، خاص طور پر پرامپٹس پڑھنے میں: Apple کی پیمائش میں MLX کے ساتھ M5 پر پہلا ٹوکن M4 کے مقابلے میں 3.3 سے 4.1 گنا جلدی آیا۔ جنریشن کی رفتار میموری بینڈوڈتھ کے ساتھ بڑھتی ہے، جو M4 سے M5 تک 28% بڑھی۔