کیا M3 Pro پر 70B ماڈل چل سکتا ہے؟

آرام سے نہیں۔ 4 بٹ پر 70B ماڈل کو تقریباً 40 GB چاہیے، اور M3 Pro میں زیادہ سے زیادہ 36 GB ہے۔ تقریباً 48B پیرامیٹر تک کے ماڈل اچھی طرح سماتے ہیں۔

M3 Pro پر فی سیکنڈ کتنے ٹوکن ملتے ہیں؟

4 بٹ پر 8B ماڈل کے لیے حد تقریباً 33 ٹوکن فی سیکنڈ ہے، اور اصل رنز اس کے تقریباً آدھے سے چار پانچویں حصے تک پہنچتے ہیں۔ بڑے ماڈل اسی تناسب سے سست ہوتے ہیں۔

کیا M3 Pro چپ AI کے لیے اچھی ہے؟

ماڈلز لوکل چلانے کے لیے میموری اور بینڈوڈتھ سب سے اہم ہیں۔ M3 Pro چپ میں 150 GB/s پر 36 GB تک میموری ہے، جو تقریباً 48 ارب پیرامیٹر تک کے ماڈلز کے لیے کافی ہے۔ اس چپ والا Mac، MLX Node کے ذریعے MLX Network کے AI کام چلا کر کما بھی سکتا ہے۔

لوکل LLM کے لیے M3 Pro: میموری، رفتار اور ماڈلز

1AI کے لیے اہم اسپیکس

یونیفائیڈ میموری	36 GB
میموری بینڈوڈتھ	150 GB/s
ان Mac میں	14- and 16-inch MacBook Pro (2023)
اس کے لیے مخصوص سیٹ	Pro سیٹ: روزانہ 80 MLX تک مائن کرتی ہے

2کون سے ماڈل سماتے ہیں

4 بٹ فی ویٹ پر ایک ماڈل کو فی ارب پیرامیٹر آدھے گیگابائٹ سے تھوڑی زیادہ میموری چاہیے، ساتھ میں کانٹیکسٹ اور macOS کے لیے جگہ۔ 36 GB کے ساتھ M3 Pro چپ تقریباً 48 ارب پیرامیٹر تک کے ماڈل آرام سے سنبھال لیتی ہے۔

4 بٹ پر ماڈل	درکار میموری	M3 Pro پر سماتا ہے
8B ماڈل	4.5 GB	ہاں
14B ماڈل	7.9 GB	ہاں
32B ماڈل	18 GB	ہاں
70B ماڈل	39.4 GB	نہیں
gpt-oss-120b، MoE (ماہرین کا مرکب)	65 GB	نہیں
Qwen3.5-397B-A17B، MoE (ماہرین کا مرکب)	223.3 GB	نہیں
DeepSeek-V4.1-Flash، MoE (ماہرین کا مرکب)	316 GB	نہیں

3رفتار کتنی ملتی ہے

متن لکھنے کی حد میموری بینڈوڈتھ ہے: ہر نئے ٹوکن کے لیے ماڈل کے فعال ویٹس ایک بار پڑھے جاتے ہیں۔ M3 Pro کی 150 GB/s بینڈوڈتھ کو فی ٹوکن پڑھے جانے والے بائٹس سے تقسیم کرنے پر نیچے دی گئی حد ملتی ہے۔ اصل رنز عموماً اس کے تقریباً 45% سے 80% تک پہنچتے ہیں (llama.cpp بینچ مارکس)۔

4 بٹ پر ماڈل	فی ٹوکن پڑھا جانے والا ڈیٹا	ایک چیٹ کی حد
8B ماڈل	4.5 GB	33 ٹوکن/سیکنڈ
14B ماڈل	7.9 GB	19 ٹوکن/سیکنڈ
32B ماڈل	18 GB	8 ٹوکن/سیکنڈ

5دوسری چپس سے موازنہ

6سوالات

کیا M3 Pro پر 70B ماڈل چل سکتا ہے؟: آرام سے نہیں۔ 4 بٹ پر 70B ماڈل کو تقریباً 40 GB چاہیے، اور M3 Pro میں زیادہ سے زیادہ 36 GB ہے۔ تقریباً 48B پیرامیٹر تک کے ماڈل اچھی طرح سماتے ہیں۔
M3 Pro پر فی سیکنڈ کتنے ٹوکن ملتے ہیں؟: 4 بٹ پر 8B ماڈل کے لیے حد تقریباً 33 ٹوکن فی سیکنڈ ہے، اور اصل رنز اس کے تقریباً آدھے سے چار پانچویں حصے تک پہنچتے ہیں۔ بڑے ماڈل اسی تناسب سے سست ہوتے ہیں۔
کیا M3 Pro چپ AI کے لیے اچھی ہے؟: ماڈلز لوکل چلانے کے لیے میموری اور بینڈوڈتھ سب سے اہم ہیں۔ M3 Pro چپ میں 150 GB/s پر 36 GB تک میموری ہے، جو تقریباً 48 ارب پیرامیٹر تک کے ماڈلز کے لیے کافی ہے۔ اس چپ والا Mac، MLX Node کے ذریعے MLX Network کے AI کام چلا کر کما بھی سکتا ہے۔

ذرائع

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com