लॉग इनवॉलेट तयार करा

Mac वर LFM2.5 24B A2B चालू शकते का?

हो, 24 GB किंवा जास्त युनिफाइड मेमरीसह. LFM2.5 24B A2B मध्ये 24B पॅरामीटर आहेत, त्यापैकी प्रत्येक टोकनसाठी 2B सक्रिय असतात; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी15 GBवेट 13.5 GB + कॉन्टेक्स्ट
सर्वात लहान Mac24 GB4-बिट · 55 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac257–457टोकन/सेकंद · M5 Ultra 96 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट25.5 GB27.5 GB48 GB
6-बिट19.5 GB21.1 GB32 GB
4-बिट13.5 GB15 GB24 GB
3-बिट कमी गुणवत्ता10.5 GB12 GB16 GB
2-बिट कमी गुणवत्ता7.5 GB9 GB16 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा LFM2.5 24B A2B चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M624 GB4-बिट चांगले चालते70–124
M5 Ultra96 GB8-बिट चांगले चालते257–457
M5 Max36 GB6-बिट चांगले चालते129–230
M5 Pro24 GB4-बिट चांगले चालते126–223
M524 GB4-बिट चांगले चालते63–111
M4 Max36 GB6-बिट चांगले चालते115–205
M4 Pro24 GB4-बिट चांगले चालते112–199
M424 GB4-बिट चांगले चालते49–87
M3 Ultra96 GB8-बिट चांगले चालते176–312
M3 Max36 GB6-बिट चांगले चालते84–150
M3 Pro36 GB6-बिट चांगले चालते42–75
M324 GB4-बिट चांगले चालते41–73
M2 Ultra64 GB8-बिट चांगले चालते171–305
M2 Max32 GB6-बिट चांगले चालते113–200
M2 Pro32 GB6-बिट चांगले चालते56–100
M224 GB4-बिट चांगले चालते41–73
M1 Ultra64 GB8-बिट चांगले चालते171–305
M1 Max32 GB6-बिट चांगले चालते113–200
M1 Pro32 GB6-बिट चांगले चालते56–100
M116 GB3-बिट चांगले चालते34–60

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. LFM2.5 24B A2B शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/LFM2.5-24B-A2B-OptiQ-4bitबिल्ड: Hugging Face वर mlx-community/LFM2.5-24B-A2B-OptiQ-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

LFM2.5 24B A2B बद्दल

निर्मातेLiquid AI
पॅरामीटर24B एकूण · 2B सक्रिय (mixture of experts)
कॉन्टेक्स्ट128K टोकन
परवानाLFM Open License v1.0 (lfm1.0)
प्रकाशित2026-10
इनपुटमजकूर
वेटLiquidAI/LFM2.5-24B-A2B

प्रश्न

LFM2.5 24B A2B ला किती मेमरी लागते?
4-बिट ला सुमारे 13.5 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 15 GB. Mac वर याचा अर्थ 24 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर LFM2.5 24B A2B किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 257–457 टोकन (8-बिट). ते चालवणारा सर्वात लहान Mac, 24 GB असलेला M5 Pro, सुमारे 126–223 पर्यंत पोहोचतो.
LFM2.5 24B A2B त्याच्या आकाराच्या मानाने वेगाने का चालते?
हे mixture-of-experts मॉडेल आहे: ते मेमरीत 24B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 2B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: LFM2.5 24B A2B LFM2.5 24B A2B चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/lfm2.5-24b-a2b.svg)](https://mlx.app/run/lfm2.5-24b-a2b)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर LFM2.5 24B A2B चालू शकते का? मेमरी आणि वेग