اپنے Mac پر LLMs ڈاؤن لوڈ کریں اور چلائیں۔

1ماڈلز کہاں ملتے ہیں

زیادہ تر اوپن ویٹ ماڈلز Hugging Face پر ہوتے ہیں۔ ایک ہی ماڈل عموماً کئی بلڈز میں آتا ہے، اور فارمیٹ طے کرتا ہے کہ کون سی ایپ اسے چلا سکتی ہے:

یقین نہیں کہ کون سا رن ٹائم استعمال کریں؟ MLX بمقابلہ Ollama بمقابلہ llama.cpp ان کا موازنہ کرتی ہے۔ یہ سب نیا ہے؟ اپنے Mac پر LLM چلانے والی گائیڈ سے شروع کریں۔

2ایسا سائز چنیں جو آپ کی میموری میں آئے

ماڈل کے ویٹس میموری میں کچھ گنجائش کے ساتھ سمانے چاہییں۔ MLX کوانٹائزڈ ویٹ کو اس کی bits کے ساتھ ہر 64 ویٹس کے گروپ کے لیے ایک مشترکہ اسکیل اور بائس کے ساتھ رکھتا ہے، یعنی فی ویٹ تقریباً آدھا bit زیادہ (MLX)۔ اس لیے 4-bit پر فی ارب پیرامیٹرز تقریباً 0.56 GB لگتا ہے اور 8-bit پر تقریباً 1.06 GB۔

macOS ڈیفالٹ طور پر GPU کو یونیفائیڈ میموری کا صرف ایک حصہ استعمال کرنے دیتا ہے؛ Compare تقریباً تین چوتھائی فرض کرتا ہے، اور mlx-lm کا README بتاتا ہے کہ macOS 15 یا نئے پر sudo sysctl iogpu.wired_limit_mb=N سے یہ حد کیسے بڑھائیں (mlx-lm)۔ mixture-of-experts ماڈلز میں کل پیرامیٹرز میموری طے کرتے ہیں اور ایکٹو پیرامیٹرز رفتار۔ Compare ہر مقبول ماڈل اور ہر Apple چپ کے لیے یہ حساب کرتا ہے، اور لوکل LLMs کے لیے بہترین Mac بتاتی ہے کہ رفتار بینڈوڈتھ سے کیوں طے ہوتی ہے۔

3کوانٹائزیشن: 4-bit، 8-bit اور باقی

کوانٹائزیشن ہر ویٹ کو کم bits میں رکھتی ہے، اس لیے ماڈل کم میموری لیتا ہے اور تیز چلتا ہے، کچھ معیار کی قیمت پر۔ Mac پر 4-bit عام نقطۂ آغاز ہے۔ 8-bit اصل کے زیادہ قریب اور دگنے سائز کا ہے۔ 4 bits سے نیچے فائلیں چھوٹی ہو جاتی ہیں لیکن جوابات جلدی خراب ہونے لگتے ہیں، اس لیے انہیں صرف تب آزمائیں جب بڑا ماڈل کسی اور طرح نہ سماتا ہو۔

• MLX بلڈز یہ نام میں بتاتے ہیں: -4bit، -8bit، اور کبھی مکسڈ پریسیژن بلڈز جو حساس لیئرز کو زیادہ bits پر رکھتے ہیں۔
• GGUF فائلیں llama.cpp کے نام استعمال کرتی ہیں: Q4_K_M، Q5_K_M، Q8_0 وغیرہ۔ جب آپ Ollama میں کوئی Hugging Face GGUF ریپوزٹری کسی فائل کا نام لیے بغیر چلاتے ہیں تو Q4_K_M موجود ہو تو وہی لیتا ہے (Hugging Face)۔
• اپنا بلڈ خود بنائیں اصل ویٹس سے: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q ایک 4-bit کاپی لکھتا ہے (mlx-lm)۔

4ڈسک اسپیس اور ماڈلز کہاں رکھے جاتے ہیں

ڈاؤن لوڈ تقریباً اتنا ہی بڑا ہوتا ہے جتنے اوپر والی ٹیبل میں ویٹس، یعنی 4-bit 8B ماڈل چند گیگا بائٹ کا اور 70B ماڈل دسیوں گیگا بائٹ کا۔ ایک ہی ماڈل کے کئی سائز یا بلڈز آزمانا جلدی جمع ہو جاتا ہے۔

mlx-lm اور دوسرے Hugging Face ٹولز ڈاؤن لوڈز ~/.cache/huggingface/hub میں رکھتے ہیں؛ اسے منتقل کرنے کے لیے HF_HOME یا HF_HUB_CACHE سیٹ کریں۔ hf cache ls دکھاتا ہے کہ وہاں کیا ہے اور hf cache rm کوئی ماڈل حذف کرتا ہے (Hugging Face)۔ Ollama اور LM Studio ماڈلز اپنے فولڈرز میں رکھتے ہیں اور خود سنبھالتے ہیں۔

5گیٹڈ ماڈلز اور Hugging Face ٹوکنز

کچھ ماڈلز، جن میں Llama بھی ہے، گیٹڈ ہیں: انہیں ڈاؤن لوڈ کرنے سے پہلے آپ کو بنانے والے کی شرائط قبول کرنی ہوتی ہیں (Hugging Face)۔

1. مفت Hugging Face اکاؤنٹ میں سائن اِن کریں اور ماڈل کا صفحہ کھولیں۔
2. صفحے پر موجود بٹن سے شرائط قبول کریں (ڈیفالٹ طور پر Agree and send request to access repo)۔ کچھ بنانے والے درخواستیں ہاتھ سے منظور کرتے ہیں، جس میں زیادہ وقت لگتا ہے۔
3. اپنی Hugging Face سیٹنگز میں ایک ایکسیس ٹوکن بنائیں۔
4. ٹوکن اپنے ٹولز کو دیں: mlx-lm اور دوسرے Hugging Face ٹولز کے لیے Terminal میں hf auth login چلائیں (Hugging Face)، یا اسے ایپ کے Hugging Face ٹوکن والے خانے میں پیسٹ کریں۔

6چلائیں: چار طریقے

mlx-lm: Terminal میں Apple کا MLX

اسے pip سے انسٹال کریں، پھر Hugging Face پر کسی بھی MLX ماڈل کا نام دیں؛ پہلی بار چلانے پر یہ ڈاؤن لوڈ ہو جاتا ہے (mlx-lm)۔

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server دوسری ایپس کے لیے localhost:8080 پر OpenAI طرز کی API پر ماڈل پیش کرتا ہے (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: ماڈل براؤزر والی ایپ

LM Studio ایپ کے اندر ہی Hugging Face سے ماڈلز تلاش اور ڈاؤن لوڈ کرتی ہے اور Apple Silicon پر MLX ماڈلز کے ساتھ llama.cpp کے ذریعے GGUF بھی چلاتی ہے۔ اسے Apple Silicon اور macOS 14 یا نیا چاہیے، اور یہ 16 GB یا زیادہ میموری تجویز کرتی ہے (LM Studio)۔

Ollama: ایک کمانڈ

Ollama اپنی لائبریری کے ماڈلز چلاتا ہے، اور Hugging Face پر کسی بھی GGUF ریپوزٹری کو براہ راست بھی، اختیاری کوانٹائزیشن ٹیگ کے ساتھ (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: ہماری مفت ایپ

MLX Harness ہماری مفت Mac ایپ ہے، جو vMLX پر بنی ہے: یہ Hugging Face پر MLX ماڈلز تلاش کرتی ہے، چیٹ کرتی ہے، ٹولز اور امیج ماڈلز چلاتی ہے، اور سب کچھ ایک لوکل API پر پیش کرتی ہے۔ اس کا گیٹ وے بھی پورٹ 8080 استعمال کرتا ہے، اس لیے اسے اسی پورٹ پر mlx_lm.server کے ساتھ نہ چلائیں۔ جب آپ Mac استعمال نہ کر رہے ہوں تو MLX Node اسے MLX Network کو دے سکتا ہے۔

7سوالات

Mac کے لیے LLMs کہاں سے ڈاؤن لوڈ کروں؟

Hugging Face سے۔ MLX بلڈز تلاش کریں، جن میں سے بہت سے mlx-community شائع کرتی ہے، یا GGUF فائلیں۔ LM Studio اور Ollama آپ کے لیے تلاش اور ڈاؤن لوڈ کر سکتے ہیں۔

کس سائز کا ماڈل ڈاؤن لوڈ کروں؟

ایسا ماڈل جس کے ویٹس آپ کے Mac کی میموری میں آرام سے سما جائیں: 4-bit پر فی ارب پیرامیٹرز تقریباً 0.56 GB، یعنی 8B ماڈل کے لیے تقریباً 4.5 GB اور 70B کے لیے 39 GB، اور کانٹیکسٹ کے لیے جگہ الگ۔ mlx.app پر Compare آپ کے Mac کے لیے یہ جانچتا ہے۔

Mac پر MLX یا GGUF؟

دونوں Apple Silicon پر اچھا چلتے ہیں۔ MLX بلڈز Apple کے MLX کے لیے بنے ہیں اور mlx-lm، LM Studio اور MLX Harness میں چلتے ہیں؛ GGUF فائلیں llama.cpp، Ollama اور LM Studio میں چلتی ہیں۔

کیا مجھے Hugging Face اکاؤنٹ چاہیے؟

پبلک ماڈلز کے لیے نہیں۔ گیٹڈ ماڈلز کے لیے مفت اکاؤنٹ، قبول شدہ لائسنس اور ایکسیس ٹوکن چاہیے۔

کیا ڈاؤن لوڈ شدہ ماڈلز آف لائن چلا سکتا ہوں؟

ہاں۔ فائلیں آپ کے Mac پر آ جانے کے بعد ماڈل انٹرنیٹ کے بغیر چلتا ہے اور آپ کے پرامپٹس Mac پر ہی رہتے ہیں۔