प्रत्येक प्रिसिजनला मेमरी
| आवृत्ती | वेट | कॉन्टेक्स्टसह | सर्वात लहान Mac |
|---|---|---|---|
| 8-बिट | 1.3 GB | 2.8 GB | 8 GB |
| 6-बिट | 1 GB | 2.5 GB | 8 GB |
| 4-बिट | 0.7 GB | 2.2 GB | 8 GB |
| 3-बिट कमी गुणवत्ता | 0.5 GB | 2 GB | 8 GB |
| 2-बिट कमी गुणवत्ता | 0.4 GB | 1.9 GB | 8 GB |
प्रत्येक Apple चिपवर
प्रत्येक चिपचा Llama 3.2 1B Instruct चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.
| चिप | लागते | आवृत्ती | टोकन/सेकंद |
|---|---|---|---|
| M6 | 16 GB | 8-बिट चांगले चालते | 53–94 |
| M5 Ultra | 96 GB | 8-बिट चांगले चालते | 415–738 |
| M5 Max | 36 GB | 8-बिट चांगले चालते | 159–283 |
| M5 Pro | 24 GB | 8-बिट चांगले चालते | 106–189 |
| M5 | 16 GB | 8-बिट चांगले चालते | 53–94 |
| M4 Max | 36 GB | 8-बिट चांगले चालते | 142–252 |
| M4 Pro | 24 GB | 8-बिट चांगले चालते | 95–168 |
| M4 | 16 GB | 8-बिट चांगले चालते | 42–74 |
| M3 Ultra | 96 GB | 8-बिट चांगले चालते | 284–504 |
| M3 Max | 36 GB | 8-बिट चांगले चालते | 104–185 |
| M3 Pro | 18 GB | 8-बिट चांगले चालते | 52–92 |
| M3 | 8 GB | 8-बिट चांगले चालते | 35–62 |
| M2 Ultra | 64 GB | 8-बिट चांगले चालते | 277–492 |
| M2 Max | 32 GB | 8-बिट चांगले चालते | 138–246 |
| M2 Pro | 16 GB | 8-बिट चांगले चालते | 69–123 |
| M2 | 8 GB | 8-बिट चांगले चालते | 35–62 |
| M1 Ultra | 64 GB | 8-बिट चांगले चालते | 277–492 |
| M1 Max | 32 GB | 8-बिट चांगले चालते | 138–246 |
| M1 Pro | 16 GB | 8-बिट चांगले चालते | 69–123 |
| M1 | 8 GB | 8-बिट चांगले चालते | 24–42 |
ते कसे चालवायचे
- सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Llama 3.2 1B Instruct शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
- Terminal मध्ये Apple च्या MLX सह:
pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-1B-Instruct-4bitबिल्ड: Hugging Face वर mlx-community/Llama-3.2-1B-Instruct-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.
टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp
Llama 3.2 1B Instruct बद्दल
| निर्माते | Meta |
|---|---|
| पॅरामीटर | 1.23B (डेन्स) |
| कॉन्टेक्स्ट | 128K टोकन |
| परवाना | Llama 3.2 Community License |
| प्रकाशित | 2024-09 |
| इनपुट | मजकूर |
| वेट | meta-llama/Llama-3.2-1B-Instruct |
प्रश्न
- Llama 3.2 1B Instruct ला किती मेमरी लागते?
- 4-बिट ला सुमारे 0.7 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 2.2 GB. Mac वर याचा अर्थ 8 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
- Mac वर Llama 3.2 1B Instruct किती वेगाने चालते?
- लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 415–738 टोकन (8-बिट). ते चालवणारा सर्वात लहान Mac, 8 GB असलेला M3, सुमारे 35–62 पर्यंत पोहोचतो.
- क्वांटायझेशनमुळे Llama 3.2 1B Instruct ची गुणवत्ता कमी होते का?
- 4 बिटला बहुतेक मॉडेल मूळ गुणवत्तेच्या जवळ राहतात; 4 बिटपेक्षा खाली गुणवत्ता वेगाने घसरते. तुमच्या Mac मध्ये जागा ठेवून बसणारी सर्वात उच्च प्रिसिजन निवडा.
तत्सम मॉडेल
तुमच्या मॉडेल कार्ड किंवा README साठी
Llama 3.2 1B Instruct चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.
[](https://mlx.app/run/llama-3.2-1b)हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.