लॉग इनवॉलेट तयार करा

Mac वर Llama 4 Maverick 17B-128E Instruct चालू शकते का?

हो, 512 GB किंवा जास्त युनिफाइड मेमरीसह. Llama 4 Maverick 17B-128E Instruct मध्ये 400B पॅरामीटर आहेत, त्यापैकी प्रत्येक टोकनसाठी 17B सक्रिय असतात; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी243 GBवेट 225 GB + कॉन्टेक्स्ट
सर्वात लहान Mac512 GB6-बिट · 5 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac39–70टोकन/सेकंद · M5 Ultra 512 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट425 GB459 GBकोणत्याही Mac पेक्षा जास्त
6-बिट325 GB351 GB512 GB
4-बिट225 GB243 GB512 GB
3-बिट कमी गुणवत्ता175 GB189 GB256 GB
2-बिट कमी गुणवत्ता125 GB135 GB192 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा Llama 4 Maverick 17B-128E Instruct चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M6कोणताही आकार बसत नाहीखूप मोठे–
M5 Ultra512 GB6-बिट चांगले चालते39–70
M5 Maxकोणताही आकार बसत नाहीखूप मोठे–
M5 Proकोणताही आकार बसत नाहीखूप मोठे–
M5कोणताही आकार बसत नाहीखूप मोठे–
M4 Maxकोणताही आकार बसत नाहीखूप मोठे–
M4 Proकोणताही आकार बसत नाहीखूप मोठे–
M4कोणताही आकार बसत नाहीखूप मोठे–
M3 Ultra512 GB6-बिट चांगले चालते27–47
M3 Maxकोणताही आकार बसत नाहीखूप मोठे–
M3 Proकोणताही आकार बसत नाहीखूप मोठे–
M3कोणताही आकार बसत नाहीखूप मोठे–
M2 Ultra192 GB2-बिट चांगले चालते68–121
M2 Maxकोणताही आकार बसत नाहीखूप मोठे–
M2 Proकोणताही आकार बसत नाहीखूप मोठे–
M2कोणताही आकार बसत नाहीखूप मोठे–
M1 Ultraकोणताही आकार बसत नाहीखूप मोठे–
M1 Maxकोणताही आकार बसत नाहीखूप मोठे–
M1 Proकोणताही आकार बसत नाहीखूप मोठे–
M1कोणताही आकार बसत नाहीखूप मोठे–

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Llama 4 Maverick 17B-128E Instruct शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-4-Maverick-17B-128E-Instruct-4bitबिल्ड: Hugging Face वर mlx-community/Llama-4-Maverick-17B-128E-Instruct-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

Llama 4 Maverick 17B-128E Instruct बद्दल

निर्मातेMeta
पॅरामीटर400B एकूण · 17B सक्रिय (mixture of experts)
कॉन्टेक्स्ट1M टोकन
परवानाLlama 4 Community License
प्रकाशित2025-04
इनपुटमजकूर आणि प्रतिमा
इंटेलिजन्सArtificial Analysis Intelligence Index वर 9.3
वेटmeta-llama/Llama-4-Maverick-17B-128E-Instruct

प्रश्न

Llama 4 Maverick 17B-128E Instruct ला किती मेमरी लागते?
4-बिट ला सुमारे 225 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 243 GB. Mac वर याचा अर्थ 512 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर Llama 4 Maverick 17B-128E Instruct किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 512 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 39–70 टोकन (6-बिट). ते चालवणारा सर्वात लहान Mac, 512 GB असलेला M5 Ultra, सुमारे 39–70 पर्यंत पोहोचतो.
Llama 4 Maverick 17B-128E Instruct त्याच्या आकाराच्या मानाने वेगाने का चालते?
हे mixture-of-experts मॉडेल आहे: ते मेमरीत 400B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 17B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: Llama 4 Maverick 17B-128E Instruct Llama 4 Maverick 17B-128E Instruct चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/llama-4-maverick.svg)](https://mlx.app/run/llama-4-maverick)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर Llama 4 Maverick 17B-128E Instruct चालू शकते का? मेमरी आणि वेग