लॉग इनवॉलेट बनाएँ

क्या Mac पर Phi-4 (14B) चल सकता है?

हाँ, 16 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। Phi-4 (14B) में 14B पैरामीटर हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी9.4 GBवेट 7.9 GB + कॉन्टेक्स्ट
सबसे छोटा Mac16 GB4-बिट · 58 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac36–64टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट14.9 GB16.4 GB24 GB
6-बिट11.4 GB12.9 GB18 GB
4-बिट7.9 GB9.4 GB16 GB
3-बिट कम क्वालिटी6.1 GB7.6 GB16 GB
2-बिट कम क्वालिटी4.4 GB5.9 GB8 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो Phi-4 (14B) चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M616 GB4-बिट धीमा9–15
M5 Ultra96 GB8-बिट अच्छा चलता है36–64
M5 Max36 GB8-बिट अच्छा चलता है14–25
M5 Pro24 GB6-बिट अच्छा चलता है12–22
M516 GB4-बिट धीमा9–15
M4 Max36 GB8-बिट अच्छा चलता है12–22
M4 Pro24 GB6-बिट अच्छा चलता है11–19
M416 GB4-बिट धीमा7–12
M3 Ultra96 GB8-बिट अच्छा चलता है25–44
M3 Max36 GB6-बिट अच्छा चलता है12–21
M3 Pro18 GB6-बिट धीमा6–11
M316 GB4-बिट धीमा6–10
M2 Ultra64 GB8-बिट अच्छा चलता है24–43
M2 Max32 GB8-बिट अच्छा चलता है12–21
M2 Pro16 GB4-बिट अच्छा चलता है11–20
M216 GB4-बिट धीमा6–10
M1 Ultra64 GB8-बिट अच्छा चलता है24–43
M1 Max32 GB8-बिट अच्छा चलता है12–21
M1 Pro16 GB4-बिट अच्छा चलता है11–20
M116 GB4-बिट धीमा4–7

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। Phi-4 (14B) खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/phi-4-4bitबिल्ड: Hugging Face पर mlx-community/phi-4-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

Phi-4 (14B) के बारे में

बनाने वालाMicrosoft
पैरामीटर14B (डेंस)
कॉन्टेक्स्ट16K टोकन
लाइसेंसMIT
रिलीज़2024-12
इनपुटटेक्स्ट
वेटmicrosoft/phi-4

सवाल

Phi-4 (14B) को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 7.9 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 9.4 GB। Mac पर इसका मतलब है 16 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर Phi-4 (14B) कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 36–64 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 16 GB वाला M2 Pro, लगभग 11–20 तक पहुँचता है।
क्या क्वांटाइज़ेशन से Phi-4 (14B) की क्वालिटी घटती है?
4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: Phi-4 (14B) Phi-4 (14B) को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/phi-4.svg)](https://mlx.app/run/phi-4)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर Phi-4 (14B) चलेगा? मेमोरी और स्पीड