کیا M2 Ultra پر 70B ماڈل چل سکتا ہے؟

ہاں۔ 4 بٹ پر 70B ماڈل کو تقریباً 40 GB چاہیے، اور M2 Ultra میں 192 GB تک میموری ہے۔ ایک چیٹ کے لیے تقریباً 20 ٹوکن فی سیکنڈ کی حد کی توقع رکھیں۔

M2 Ultra پر فی سیکنڈ کتنے ٹوکن ملتے ہیں؟

4 بٹ پر 8B ماڈل کے لیے حد تقریباً 178 ٹوکن فی سیکنڈ ہے، اور اصل رنز اس کے تقریباً آدھے سے چار پانچویں حصے تک پہنچتے ہیں۔ بڑے ماڈل اسی تناسب سے سست ہوتے ہیں۔

کیا M2 Ultra چپ AI کے لیے اچھی ہے؟

ماڈلز لوکل چلانے کے لیے میموری اور بینڈوڈتھ سب سے اہم ہیں۔ M2 Ultra چپ میں 800 GB/s پر 192 GB تک میموری ہے، جو تقریباً 256 ارب پیرامیٹر تک کے ماڈلز کے لیے کافی ہے۔ اس چپ والا Mac، MLX Node کے ذریعے MLX Network کے AI کام چلا کر کما بھی سکتا ہے۔

لوکل LLM کے لیے M2 Ultra: میموری، رفتار اور ماڈلز

1AI کے لیے اہم اسپیکس

یونیفائیڈ میموری	192 GB
میموری بینڈوڈتھ	800 GB/s
ان Mac میں	Mac Studio (2023), Mac Pro (2023)
اس کے لیے مخصوص سیٹ	Ultra سیٹ: روزانہ 320 MLX تک مائن کرتی ہے

2کون سے ماڈل سماتے ہیں

4 بٹ فی ویٹ پر ایک ماڈل کو فی ارب پیرامیٹر آدھے گیگابائٹ سے تھوڑی زیادہ میموری چاہیے، ساتھ میں کانٹیکسٹ اور macOS کے لیے جگہ۔ 192 GB کے ساتھ M2 Ultra چپ تقریباً 256 ارب پیرامیٹر تک کے ماڈل آرام سے سنبھال لیتی ہے۔

4 بٹ پر ماڈل	درکار میموری	M2 Ultra پر سماتا ہے
8B ماڈل	4.5 GB	ہاں
14B ماڈل	7.9 GB	ہاں
32B ماڈل	18 GB	ہاں
70B ماڈل	39.4 GB	ہاں
gpt-oss-120b، MoE (ماہرین کا مرکب)	65 GB	ہاں
Qwen3.5-397B-A17B، MoE (ماہرین کا مرکب)	223.3 GB	نہیں
DeepSeek-V4.1-Flash، MoE (ماہرین کا مرکب)	316 GB	نہیں

3رفتار کتنی ملتی ہے

متن لکھنے کی حد میموری بینڈوڈتھ ہے: ہر نئے ٹوکن کے لیے ماڈل کے فعال ویٹس ایک بار پڑھے جاتے ہیں۔ M2 Ultra کی 800 GB/s بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کرنے پر نیچے دی گئی حد ملتی ہے۔ اصل رنز عموماً اس کے تقریباً 45% سے 80% تک پہنچتے ہیں (llama.cpp بینچ مارکس)۔

4 بٹ پر ماڈل	فی ٹوکن پڑھا جانے والا ڈیٹا	ایک چیٹ کی حد
8B ماڈل	4.5 GB	178 ٹوکن/سیکنڈ
14B ماڈل	7.9 GB	101 ٹوکن/سیکنڈ
32B ماڈل	18 GB	44 ٹوکن/سیکنڈ
70B ماڈل	39.4 GB	20 ٹوکن/سیکنڈ
gpt-oss-120b، MoE (ماہرین کا مرکب)	2.7 GB	296 ٹوکن/سیکنڈ

5دوسری چپس سے موازنہ

6سوالات

کیا M2 Ultra پر 70B ماڈل چل سکتا ہے؟: ہاں۔ 4 بٹ پر 70B ماڈل کو تقریباً 40 GB چاہیے، اور M2 Ultra میں 192 GB تک میموری ہے۔ ایک چیٹ کے لیے تقریباً 20 ٹوکن فی سیکنڈ کی حد کی توقع رکھیں۔
M2 Ultra پر فی سیکنڈ کتنے ٹوکن ملتے ہیں؟: 4 بٹ پر 8B ماڈل کے لیے حد تقریباً 178 ٹوکن فی سیکنڈ ہے، اور اصل رنز اس کے تقریباً آدھے سے چار پانچویں حصے تک پہنچتے ہیں۔ بڑے ماڈل اسی تناسب سے سست ہوتے ہیں۔
کیا M2 Ultra چپ AI کے لیے اچھی ہے؟: ماڈلز لوکل چلانے کے لیے میموری اور بینڈوڈتھ سب سے اہم ہیں۔ M2 Ultra چپ میں 800 GB/s پر 192 GB تک میموری ہے، جو تقریباً 256 ارب پیرامیٹر تک کے ماڈلز کے لیے کافی ہے۔ اس چپ والا Mac، MLX Node کے ذریعے MLX Network کے AI کام چلا کر کما بھی سکتا ہے۔

ذرائع

Apple: M2 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com