लॉग इनवॉलेट बनाएँ

क्या Mac पर LFM2.5 24B A2B चल सकता है?

हाँ, 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। LFM2.5 24B A2B में 24B पैरामीटर हैं, जिनमें से हर टोकन के लिए 2B सक्रिय रहते हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी15 GBवेट 13.5 GB + कॉन्टेक्स्ट
सबसे छोटा Mac24 GB4-बिट · 55 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac257–457टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट25.5 GB27.5 GB48 GB
6-बिट19.5 GB21.1 GB32 GB
4-बिट13.5 GB15 GB24 GB
3-बिट कम क्वालिटी10.5 GB12 GB16 GB
2-बिट कम क्वालिटी7.5 GB9 GB16 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो LFM2.5 24B A2B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M624 GB4-बिट अच्छा चलता है70–124
M5 Ultra96 GB8-बिट अच्छा चलता है257–457
M5 Max36 GB6-बिट अच्छा चलता है129–230
M5 Pro24 GB4-बिट अच्छा चलता है126–223
M524 GB4-बिट अच्छा चलता है63–111
M4 Max36 GB6-बिट अच्छा चलता है115–205
M4 Pro24 GB4-बिट अच्छा चलता है112–199
M424 GB4-बिट अच्छा चलता है49–87
M3 Ultra96 GB8-बिट अच्छा चलता है176–312
M3 Max36 GB6-बिट अच्छा चलता है84–150
M3 Pro36 GB6-बिट अच्छा चलता है42–75
M324 GB4-बिट अच्छा चलता है41–73
M2 Ultra64 GB8-बिट अच्छा चलता है171–305
M2 Max32 GB6-बिट अच्छा चलता है113–200
M2 Pro32 GB6-बिट अच्छा चलता है56–100
M224 GB4-बिट अच्छा चलता है41–73
M1 Ultra64 GB8-बिट अच्छा चलता है171–305
M1 Max32 GB6-बिट अच्छा चलता है113–200
M1 Pro32 GB6-बिट अच्छा चलता है56–100
M116 GB3-बिट अच्छा चलता है34–60

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। LFM2.5 24B A2B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/LFM2.5-24B-A2B-OptiQ-4bitबिल्ड: Hugging Face पर mlx-community/LFM2.5-24B-A2B-OptiQ-4bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

LFM2.5 24B A2B के बारे में

बनाने वालाLiquid AI
पैरामीटर24B कुल · 2B सक्रिय (mixture of experts)
कॉन्टेक्स्ट128K टोकन
लाइसेंसLFM Open License v1.0 (lfm1.0)
रिलीज़2026-10
इनपुटटेक्स्ट
वेटLiquidAI/LFM2.5-24B-A2B

सवाल

LFM2.5 24B A2B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 13.5 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 15 GB। Mac पर इसका मतलब है 24 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर LFM2.5 24B A2B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 257–457 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 24 GB वाला M5 Pro, लगभग 126–223 तक पहुँचता है।
LFM2.5 24B A2B अपने साइज़ के हिसाब से तेज़ क्यों चलता है?
यह mixture-of-experts मॉडल है: यह मेमोरी में 24B पैरामीटर रखता है, पर हर टोकन के लिए सिर्फ़ 2B पढ़ता है, इसलिए यह कहीं छोटे मॉडल की स्पीड से लिखता है।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: LFM2.5 24B A2B LFM2.5 24B A2B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/lfm2.5-24b-a2b.svg)](https://mlx.app/run/lfm2.5-24b-a2b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर LFM2.5 24B A2B चलेगा? मेमोरी और स्पीड