तुमच्या Mac वर LLM चालवा.

1तुमच्या Mac वर काय बसते

मॉडेलचे वेट मेमरीत बसायला हवेत, आणि कॉन्टेक्स्ट व macOS साठीही जागा उरायला हवी. 4 बिट प्रति वेट दराने, प्रत्येक अब्ज पॅरामीटरसाठी सुमारे 0.55 ते 0.6 GB धरून चला.

वेग हा वेगळा प्रश्न आहे: प्रत्येक नवीन टोकनसाठी सक्रिय वेट एकदा मेमरीतून वाचावे लागतात, त्यामुळे टोकन प्रति सेकंद मेमरी बँडविड्थसोबत वाढतात. लोकल LLM साठी सर्वोत्तम Mac या आमच्या मार्गदर्शकात प्रत्येक चिप आहे.

2सोपा मार्ग: LM Studio

LM Studio हे चॅट विंडो आणि मॉडेल ब्राउझर असलेले मोफत Mac ॲप आहे. Apple Silicon वर ते Apple च्या MLX फॉरमॅटमधील मॉडेल तसेच llama.cpp वापरत असलेल्या GGUF फॉरमॅटमधील मॉडेलही चालवू शकते.

1. LM Studio डाउनलोड करा आणि उघडा.
2. एखादे मॉडेल शोधा, Apple Silicon वर त्याची MLX आवृत्ती निवडा, आणि तुमच्या मेमरीत बसेल असा आकार घ्या.
3. ते लोड करा आणि चॅट सुरू करा. इतर ॲप्ससाठी तुम्ही त्याचा लोकल सर्व्हरही चालू करू शकता.

3एक कमांड: Ollama

Ollama टर्मिनलमधून मॉडेल चालवते आणि ती तुमच्या Mac वरील इतर ॲप्सना उपलब्ध करून देते. इन्स्टॉल केल्यानंतर, एक कमांड मॉडेल डाउनलोड करून सुरू करते:

ollama run llama3.2

आवृत्ती 0.19 पासून, Apple Silicon वरील Ollama मध्ये सपोर्ट असलेल्या मॉडेलसाठी Apple च्या MLX फ्रेमवर्कवर चालणारा प्रीव्ह्यू आहे, ज्यामुळे वेग खूप वाढतो; या प्रीव्ह्यूसाठी 32 GB पेक्षा जास्त मेमरी असलेला Mac लागतो (Ollama).

4सर्वात वेगवान मार्ग: Apple चे MLX आणि mlx-lm

MLX हे Apple Silicon साठीचे Apple चे ओपन-सोर्स मशीन लर्निंग फ्रेमवर्क आहे, आणि mlx-lm हे लँग्वेज मॉडेलसाठीचे त्याचे पॅकेज. Hugging Face वरील mlx-community ऑर्गनायझेशनमध्ये हजारो मॉडेल वापरासाठी तयार आहेत.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

टर्मिनलमध्ये संवादासाठी mlx_lm.chat वापरा, आणि इतर ॲप्स कॉल करू शकतील अशा लोकल API साठी mlx_lm.server. M5 चिपवर MLX, GPU मधील नवीन न्यूरल ॲक्सिलरेटर वापरते: Apple ने मोजले की पहिला टोकन M4 च्या तुलनेत 3.3 ते 4.1 पट लवकर येतो (Apple Machine Learning Research).

5मोजा, मग कामाला लावा

MLX Bench हा प्रत्येक Apple Silicon चिपवरील MLX च्या वेगाचा खुला लीडरबोर्ड आहे: जनरेशन आणि प्रॉम्प्टचे टोकन प्रति सेकंद आणि पीक मेमरी. एका फाइलची स्क्रिप्ट तुमच्या Mac वर चालवा आणि तो कुठे येतो ते पाहा.

तुम्ही Mac वापरत नसताना तो इतरांसाठी AI चालवू शकतो. MLX Node हे मोफत ॲप त्याच MLX फ्रेमवर्कवर MLX Network साठी AI जॉब चालवते आणि पडताळलेल्या कामासाठी MLX टोकन कमावते, तुम्ही ठरवलेल्या मर्यादांमध्येच.

6प्रश्न

MacBook Air वर LLM चालू शकते का?

हो. 16 GB चा MacBook Air 4-बिटवर 7B ते 14B मॉडेल आरामात चालवतो; 32 GB सोबत सुमारे 30B पर्यंतची मॉडेल. तो Pro किंवा Max चिप असलेल्या Mac पेक्षा हळू असेल, कारण त्यांची मेमरी बँडविड्थ जास्त असते.

Mac वर MLX हे Ollama पेक्षा वेगवान आहे का?

बहुधा हो, कारण MLX खास Apple Silicon साठी लिहिलेले आहे. Ollama चा स्वतःचा MLX वर चालणारा प्रीव्ह्यूही Apple Silicon वर मोठी वेगवाढ नोंदवतो. आमचे MLX vs Ollama मार्गदर्शक यांची सविस्तर तुलना करते.

लोकल मॉडेल ऑफलाइन चालतात का?

हो. एकदा डाउनलोड झाल्यावर मॉडेल पूर्णपणे तुमच्या Mac वर चालते आणि तुमचे प्रॉम्प्ट कधीही त्याच्या बाहेर जात नाहीत.

70B मॉडेलसाठी किती मेमरी लागते?

4-बिटवर वेटसाठी सुमारे 40 GB, म्हणजे 64 GB किंवा जास्त मेमरी असलेला Mac. सारख्याच गुणवत्तेच्या mixture-of-experts मॉडेलना जास्त मेमरी लागू शकते, पण ती जास्त वेगाने चालतात.