लॉग इनवॉलेट तयार करा

Mac वर Llama 3.3 70B Instruct चालू शकते का?

हो, 64 GB किंवा जास्त युनिफाइड मेमरीसह. Llama 3.3 70B Instruct मध्ये 70B पॅरामीटर आहेत; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी42.6 GBवेट 39.4 GB + कॉन्टेक्स्ट
सर्वात लहान Mac64 GB4-बिट · 39 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac14–24टोकन/सेकंद · M5 Ultra 96 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट74.4 GB80.4 GB128 GB
6-बिट56.9 GB61.5 GB96 GB
4-बिट39.4 GB42.6 GB64 GB
3-बिट कमी गुणवत्ता30.6 GB33 GB48 GB
2-बिट कमी गुणवत्ता21.9 GB23.7 GB32 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा Llama 3.3 70B Instruct चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M632 GB2-बिट हळू3–6
M5 Ultra96 GB4-बिट चांगले चालते14–24
M5 Max64 GB4-बिट हळू7–12
M5 Pro64 GB4-बिट हळू4–6
M532 GB2-बिट हळू3–6
M4 Max64 GB4-बिट हळू6–11
M4 Pro64 GB4-बिट हळू3–6
M432 GB2-बिट हळू2–4
M3 Ultra96 GB6-बिट हळू6–12
M3 Max64 GB4-बिट हळू5–8
M3 Pro36 GB2-बिट हळू3–5
M3कोणताही आकार बसत नाहीखूप मोठे–
M2 Ultra64 GB4-बिट हळू9–16
M2 Max64 GB4-बिट हळू5–8
M2 Pro32 GB2-बिट हळू4–7
M2कोणताही आकार बसत नाहीखूप मोठे–
M1 Ultra64 GB4-बिट हळू9–16
M1 Max64 GB4-बिट हळू5–8
M1 Pro32 GB2-बिट हळू4–7
M1कोणताही आकार बसत नाहीखूप मोठे–

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Llama 3.3 70B Instruct शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.3-70B-Instruct-4bitबिल्ड: Hugging Face वर mlx-community/Llama-3.3-70B-Instruct-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

Llama 3.3 70B Instruct बद्दल

निर्मातेMeta
पॅरामीटर70B (डेन्स)
कॉन्टेक्स्ट128K टोकन
परवानाLlama 3.3 Community License
प्रकाशित2024-12
इनपुटमजकूर
वेटmeta-llama/Llama-3.3-70B-Instruct

प्रश्न

Llama 3.3 70B Instruct ला किती मेमरी लागते?
4-बिट ला सुमारे 39.4 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 42.6 GB. Mac वर याचा अर्थ 64 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर Llama 3.3 70B Instruct किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 14–24 टोकन (4-बिट). ते चालवणारा सर्वात लहान Mac, 64 GB असलेला M2 Ultra, सुमारे 9–16 पर्यंत पोहोचतो.
क्वांटायझेशनमुळे Llama 3.3 70B Instruct ची गुणवत्ता कमी होते का?
4 बिटला बहुतेक मॉडेल मूळ गुणवत्तेच्या जवळ राहतात; 4 बिटपेक्षा खाली गुणवत्ता वेगाने घसरते. तुमच्या Mac मध्ये जागा ठेवून बसणारी सर्वात उच्च प्रिसिजन निवडा.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: Llama 3.3 70B Instruct Llama 3.3 70B Instruct चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.3-70b.svg)](https://mlx.app/run/llama-3.3-70b)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर Llama 3.3 70B Instruct चालू शकते का? मेमरी आणि वेग