اپنے Mac پر LLM چلائیں۔

1آپ کے Mac پر کیا سماتا ہے

ماڈل کے ویٹس کو میموری میں سمانا چاہیے، اور کانٹیکسٹ اور macOS کے لیے جگہ بھی بچنی چاہیے۔ 4 bits فی ویٹ پر، فی ارب پیرامیٹرز تقریباً 0.55 سے 0.6 GB کا حساب رکھیں۔

رفتار الگ سوال ہے: ہر نئے ٹوکن کے لیے فعال ویٹس کو میموری سے ایک بار پڑھنا پڑتا ہے، اس لیے فی سیکنڈ ٹوکنز میموری بینڈوڈتھ کے ساتھ بڑھتے ہیں۔ لوکل LLMs کے لیے بہترین Mac پر ہماری گائیڈ ہر چپ کا احاطہ کرتی ہے۔

2آسان طریقہ: LM Studio

LM Studio ایک مفت Mac ایپ ہے جس میں چیٹ ونڈو اور ماڈل براؤزر ہے۔ Apple Silicon پر یہ Apple کے MLX فارمیٹ کے ماڈلز کے ساتھ ساتھ llama.cpp والے GGUF فارمیٹ کے ماڈلز بھی چلا سکتی ہے۔

1. LM Studio ڈاؤن لوڈ کریں اور کھولیں۔
2. کوئی ماڈل تلاش کریں، Apple Silicon پر MLX ورژن کو ترجیح دیں، اور ایسا سائز چنیں جو آپ کی میموری میں سما جائے۔
3. اسے لوڈ کریں اور چیٹ شروع کریں۔ آپ دوسری ایپس کے لیے اس کا لوکل سرور بھی آن کر سکتے ہیں۔

3ایک کمانڈ: Ollama

Ollama ٹرمینل سے ماڈلز چلاتا ہے اور انہیں آپ کے Mac کی دوسری ایپس کو فراہم کرتا ہے۔ انسٹال کرنے کے بعد ایک کمانڈ ماڈل ڈاؤن لوڈ کر کے شروع کر دیتی ہے:

ollama run llama3.2

ورژن 0.19 سے، Apple Silicon پر Ollama میں سپورٹڈ ماڈلز کے لیے Apple کے MLX فریم ورک پر چلنے والا ایک پری ویو ہے، جس سے رفتار بہت بڑھ جاتی ہے؛ اس پری ویو کے لیے 32 GB سے زیادہ میموری والا Mac چاہیے (Ollama)۔

4سب سے تیز طریقہ: Apple کا MLX اور mlx-lm

MLX Apple Silicon کے لیے Apple کا اوپن سورس مشین لرننگ فریم ورک ہے، اور mlx-lm لینگویج ماڈلز کے لیے اس کا پیکیج ہے۔ Hugging Face پر mlx-community آرگنائزیشن سے ہزاروں ماڈلز استعمال کے لیے تیار ہیں۔

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

ٹرمینل میں گفتگو کے لیے mlx_lm.chat اور ایسے لوکل API کے لیے mlx_lm.server استعمال کریں جسے دوسری ایپس کال کر سکیں۔ M5 چپس پر MLX، GPU کے نئے نیورل ایکسلریٹرز استعمال کرتا ہے: Apple کی پیمائش میں پہلا ٹوکن M4 کے مقابلے میں 3.3 سے 4.1 گنا جلدی آیا (Apple Machine Learning Research)۔

5پیمائش کریں، پھر اسے کام پر لگائیں

MLX Bench ہر Apple Silicon چپ پر MLX کی رفتار کا اوپن لیڈر بورڈ ہے: جنریشن اور پرامپٹ کے فی سیکنڈ ٹوکنز اور زیادہ سے زیادہ میموری۔ اپنے Mac پر ایک فائل والا اسکرپٹ چلائیں اور دیکھیں کہ یہ کہاں آتا ہے۔

جب آپ اپنا Mac استعمال نہیں کر رہے ہوتے تو یہ دوسروں کے لیے AI چلا سکتا ہے۔ MLX Node ایک مفت ایپ ہے جو اسی MLX فریم ورک پر MLX Network کے لیے AI کے کام چلاتی ہے اور تصدیق شدہ کام کے لیے MLX ٹوکن کماتی ہے، آپ کی مقرر کردہ حدوں کے اندر۔

6سوالات

کیا MacBook Air پر LLM چل سکتا ہے؟

ہاں۔ 16 GB والا MacBook Air، 4-bit پر 7B سے 14B ماڈلز آرام سے چلاتا ہے؛ 32 GB کے ساتھ تقریباً 30B تک کے ماڈلز۔ یہ Pro یا Max چپ والے Mac سے سست ہوگا، جس میں میموری بینڈوڈتھ زیادہ ہوتی ہے۔

کیا Mac پر MLX، Ollama سے تیز ہے؟

اکثر، کیونکہ MLX، Apple Silicon کے لیے لکھا گیا ہے۔ Ollama کا اپنا MLX پر چلنے والا پری ویو Apple Silicon پر رفتار میں بڑے اضافے بتاتا ہے۔ ہماری MLX بمقابلہ Ollama گائیڈ ان کا تفصیلی موازنہ کرتی ہے۔

کیا لوکل ماڈلز آف لائن کام کرتے ہیں؟

ہاں۔ ڈاؤن لوڈ ہونے کے بعد ماڈل پوری طرح آپ کے Mac پر چلتا ہے اور آپ کے پرامپٹس کبھی اس سے باہر نہیں جاتے۔

70B ماڈل کے لیے کتنی میموری چاہیے؟

4-bit پر ویٹس کے لیے تقریباً 40 GB، اس لیے 64 GB یا اس سے زیادہ والا Mac۔ ملتے جلتے معیار کے mixture-of-experts ماڈلز کو زیادہ میموری چاہیے ہو سکتی ہے لیکن وہ تیز چلتے ہیں۔