लॉग इनवॉलेट तयार करा

Mac वर Llama 3.1 8B Instruct चालू शकते का?

हो, 8 GB किंवा जास्त युनिफाइड मेमरीसह. Llama 3.1 8B Instruct मध्ये 8B पॅरामीटर आहेत; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी6 GBवेट 4.5 GB + कॉन्टेक्स्ट
सर्वात लहान Mac8 GB4-बिट · 58 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac64–113टोकन/सेकंद · M5 Ultra 96 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट8.5 GB10 GB16 GB
6-बिट6.5 GB8 GB16 GB
4-बिट4.5 GB6 GB8 GB
3-बिट कमी गुणवत्ता3.5 GB5 GB8 GB
2-बिट कमी गुणवत्ता2.5 GB4 GB8 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा Llama 3.1 8B Instruct चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M616 GB6-बिट चांगले चालते11–19
M5 Ultra96 GB8-बिट चांगले चालते64–113
M5 Max36 GB8-बिट चांगले चालते24–43
M5 Pro24 GB8-बिट चांगले चालते16–29
M516 GB6-बिट चांगले चालते11–19
M4 Max36 GB8-बिट चांगले चालते22–39
M4 Pro24 GB8-बिट चांगले चालते14–26
M416 GB4-बिट चांगले चालते12–21
M3 Ultra96 GB8-बिट चांगले चालते43–77
M3 Max36 GB8-बिट चांगले चालते16–28
M3 Pro18 GB6-बिट चांगले चालते10–18
M38 GB4-बिट चांगले चालते10–18
M2 Ultra64 GB8-बिट चांगले चालते42–75
M2 Max32 GB8-बिट चांगले चालते21–38
M2 Pro16 GB8-बिट चांगले चालते11–19
M28 GB4-बिट चांगले चालते10–18
M1 Ultra64 GB8-बिट चांगले चालते42–75
M1 Max32 GB8-बिट चांगले चालते21–38
M1 Pro16 GB8-बिट चांगले चालते11–19
M18 GB4-बिट हळू7–12

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Llama 3.1 8B Instruct शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.1-8B-Instruct-4bitबिल्ड: Hugging Face वर mlx-community/Llama-3.1-8B-Instruct-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

Llama 3.1 8B Instruct बद्दल

निर्मातेMeta
पॅरामीटर8B (डेन्स)
कॉन्टेक्स्ट128K टोकन
परवानाLlama 3.1 Community License
प्रकाशित2024-07
इनपुटमजकूर
वेटmeta-llama/Llama-3.1-8B-Instruct

प्रश्न

Llama 3.1 8B Instruct ला किती मेमरी लागते?
4-बिट ला सुमारे 4.5 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 6 GB. Mac वर याचा अर्थ 8 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर Llama 3.1 8B Instruct किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 64–113 टोकन (8-बिट). ते चालवणारा सर्वात लहान Mac, 8 GB असलेला M3, सुमारे 10–18 पर्यंत पोहोचतो.
क्वांटायझेशनमुळे Llama 3.1 8B Instruct ची गुणवत्ता कमी होते का?
4 बिटला बहुतेक मॉडेल मूळ गुणवत्तेच्या जवळ राहतात; 4 बिटपेक्षा खाली गुणवत्ता वेगाने घसरते. तुमच्या Mac मध्ये जागा ठेवून बसणारी सर्वात उच्च प्रिसिजन निवडा.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: Llama 3.1 8B Instruct Llama 3.1 8B Instruct चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.1-8b.svg)](https://mlx.app/run/llama-3.1-8b)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर Llama 3.1 8B Instruct चालू शकते का? मेमरी आणि वेग