हर प्रिसिज़न पर मेमोरी
| वर्ज़न | वेट | कॉन्टेक्स्ट के साथ | सबसे छोटा Mac |
|---|---|---|---|
| 8-बिट | 15.9 GB | 17.4 GB | 24 GB |
| 6-बिट | 12.2 GB | 13.7 GB | 24 GB |
| 4-बिट | 8.4 GB | 9.9 GB | 16 GB |
| 3-बिट कम क्वालिटी | 6.6 GB | 8.1 GB | 16 GB |
| 2-बिट कम क्वालिटी | 4.7 GB | 6.2 GB | 16 GB |
हर Apple चिप पर
हर चिप का सबसे छोटा मेमोरी साइज़ जो Phi-4 Reasoning Vision 15B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।
| चिप | ज़रूरत | वर्ज़न | टोकन/सेकंड |
|---|---|---|---|
| M6 | 16 GB | 4-बिट धीमा | 8–15 |
| M5 Ultra | 96 GB | 8-बिट अच्छा चलता है | 34–60 |
| M5 Max | 36 GB | 8-बिट अच्छा चलता है | 13–23 |
| M5 Pro | 24 GB | 6-बिट अच्छा चलता है | 11–20 |
| M5 | 16 GB | 4-बिट धीमा | 8–15 |
| M4 Max | 36 GB | 8-बिट अच्छा चलता है | 12–21 |
| M4 Pro | 24 GB | 6-बिट अच्छा चलता है | 10–18 |
| M4 | 16 GB | 4-बिट धीमा | 6–11 |
| M3 Ultra | 96 GB | 8-बिट अच्छा चलता है | 23–41 |
| M3 Max | 36 GB | 6-बिट अच्छा चलता है | 11–20 |
| M3 Pro | 18 GB | 4-बिट धीमा | 8–14 |
| M3 | 16 GB | 4-बिट धीमा | 5–10 |
| M2 Ultra | 64 GB | 8-बिट अच्छा चलता है | 23–40 |
| M2 Max | 32 GB | 8-बिट अच्छा चलता है | 11–20 |
| M2 Pro | 16 GB | 4-बिट अच्छा चलता है | 11–19 |
| M2 | 16 GB | 4-बिट धीमा | 5–10 |
| M1 Ultra | 64 GB | 8-बिट अच्छा चलता है | 23–40 |
| M1 Max | 32 GB | 8-बिट अच्छा चलता है | 11–20 |
| M1 Pro | 16 GB | 4-बिट अच्छा चलता है | 11–19 |
| M1 | 16 GB | 4-बिट धीमा | 4–6 |
इसे कैसे चलाएँ
- आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Phi-4 Reasoning Vision 15B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
- Terminal में Apple के MLX के साथ: अभी कोई कम्युनिटी MLX बिल्ड नहीं है, इसलिए आधिकारिक वेट से खुद बनाएँ:
pip install mlx-lmmlx_lm.convert --hf-path microsoft/Phi-4-reasoning-vision-15B -q
स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp
Phi-4 Reasoning Vision 15B के बारे में
| बनाने वाला | Microsoft |
|---|---|
| पैरामीटर | 15B (डेंस) |
| कॉन्टेक्स्ट | 16K टोकन |
| लाइसेंस | MIT |
| रिलीज़ | 2026-03 |
| इनपुट | टेक्स्ट और इमेज |
| वेट | microsoft/Phi-4-reasoning-vision-15B |
सवाल
- Phi-4 Reasoning Vision 15B को कितनी मेमोरी चाहिए?
- 4-बिट पर लगभग 8.4 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 9.9 GB। Mac पर इसका मतलब है 16 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
- Mac पर Phi-4 Reasoning Vision 15B कितना तेज़ चलता है?
- लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 34–60 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 16 GB वाला M2 Pro, लगभग 11–19 तक पहुँचता है।
- क्या क्वांटाइज़ेशन से Phi-4 Reasoning Vision 15B की क्वालिटी घटती है?
- 4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।
मिलते-जुलते मॉडल
आपके मॉडल कार्ड या README के लिए
Phi-4 Reasoning Vision 15B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।
[](https://mlx.app/run/phi-4-reasoning-vision-15b)हिसाब कैसे लगाया गया
मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।