Εκτελέστε ένα LLM στον Mac σας.

1Τι χωρά στον Mac σας

Τα βάρη ενός μοντέλου πρέπει να χωρούν στη μνήμη, με περιθώριο για τα συμφραζόμενα και το macOS. Στα 4 bit ανά βάρος, υπολογίστε περίπου 0,55 έως 0,6 GB ανά δισεκατομμύριο παραμέτρους.

Η ταχύτητα είναι άλλο ζήτημα: κάθε νέο token απαιτεί να διαβαστούν μία φορά τα ενεργά βάρη από τη μνήμη, οπότε τα tokens ανά δευτερόλεπτο ακολουθούν το εύρος ζώνης μνήμης. Ο οδηγός μας για τον καλύτερο Mac για τοπικά LLM καλύπτει κάθε τσιπ.

2Ο εύκολος τρόπος: LM Studio

Το LM Studio είναι δωρεάν εφαρμογή για Mac με παράθυρο συνομιλίας και αναζήτηση μοντέλων. Σε Apple Silicon εκτελεί μοντέλα στη μορφή MLX της Apple, αλλά και στη μορφή GGUF που χρησιμοποιεί το llama.cpp.

1. Κατεβάστε το LM Studio και ανοίξτε το.
2. Αναζητήστε ένα μοντέλο, προτιμήστε την έκδοση MLX σε Apple Silicon και διαλέξτε μέγεθος που χωρά στη μνήμη σας.
3. Φορτώστε το και ξεκινήστε τη συνομιλία. Μπορείτε επίσης να ενεργοποιήσετε τον τοπικό διακομιστή του για άλλες εφαρμογές.

3Με μία εντολή: Ollama

Το Ollama εκτελεί μοντέλα από το Τερματικό και τα διαθέτει σε άλλες εφαρμογές στον Mac σας. Αφού το εγκαταστήσετε, μία εντολή κατεβάζει και ξεκινά ένα μοντέλο:

ollama run llama3.2

Από την έκδοση 0.19, το Ollama σε Apple Silicon έχει μια προεπισκόπηση που βασίζεται στο framework MLX της Apple για τα υποστηριζόμενα μοντέλα, με μεγάλες επιταχύνσεις· η προεπισκόπηση ζητά Mac με περισσότερα από 32 GB μνήμης (Ollama).

4Ο πιο γρήγορος τρόπος: το MLX της Apple και το mlx-lm

Το MLX είναι το framework μηχανικής μάθησης ανοιχτού κώδικα της Apple για Apple Silicon, και το mlx-lm είναι το πακέτο του για γλωσσικά μοντέλα. Χιλιάδες μοντέλα είναι έτοιμα για χρήση από τον οργανισμό mlx-community στο Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Χρησιμοποιήστε το mlx_lm.chat για συνομιλία στο Τερματικό και το mlx_lm.server για τοπικό API που μπορούν να καλούν άλλες εφαρμογές. Στα τσιπ M5, το MLX χρησιμοποιεί τους νέους νευρωνικούς επιταχυντές της GPU: η Apple μέτρησε ότι το πρώτο token φτάνει 3,3 έως 4,1 φορές νωρίτερα από ό,τι στο M4 (Apple Machine Learning Research).

Κι άλλες εφαρμογές που τρέχουν μοντέλα τοπικά συγκρίνονται δίπλα δίπλα στο AI App Store, η καθεμία με τιμή, άδεια χρήσης και την επίσημη λήψη του δημιουργού.

5Μετρήστε τον και βάλτε τον να δουλέψει

Το MLX Bench είναι ανοιχτός πίνακας κατάταξης της ταχύτητας του MLX σε κάθε τσιπ Apple Silicon: tokens ανά δευτερόλεπτο στη δημιουργία και στο prompt, και μέγιστη χρήση μνήμης. Εκτελέστε το script ενός αρχείου στον Mac σας και δείτε πού κατατάσσεται.

Όταν δεν χρησιμοποιείτε τον Mac σας, μπορεί να εκτελεί AI για άλλους. Το MLX Node είναι δωρεάν εφαρμογή που εκτελεί εργασίες AI για το MLX Network στο ίδιο framework MLX και κερδίζει tokens MLX για επαληθευμένη εργασία, εντός των ορίων που ορίζετε.

6Ερωτήσεις

Μπορεί ένα MacBook Air να εκτελέσει LLM;

Ναι. Ένα MacBook Air με 16 GB εκτελεί άνετα μοντέλα 7B έως 14B σε 4-bit· με 32 GB, μοντέλα έως περίπου 30B. Θα είναι πιο αργό από έναν Mac με τσιπ Pro ή Max, που έχει μεγαλύτερο εύρος ζώνης μνήμης.

Είναι το MLX πιο γρήγορο από το Ollama σε Mac;

Συχνά, επειδή το MLX είναι γραμμένο για Apple Silicon. Η προεπισκόπηση του ίδιου του Ollama με MLX αναφέρει μεγάλες επιταχύνσεις σε Apple Silicon. Ο οδηγός μας MLX vs Ollama τα συγκρίνει αναλυτικά.

Λειτουργούν τα τοπικά μοντέλα χωρίς σύνδεση;

Ναι. Μετά τη λήψη, το μοντέλο εκτελείται εξ ολοκλήρου στον Mac σας και τα prompts σας δεν φεύγουν ποτέ από αυτόν.

Πόση μνήμη χρειάζομαι για ένα μοντέλο 70B;

Περίπου 40 GB για τα βάρη σε 4-bit, άρα Mac με 64 GB ή περισσότερα. Μοντέλα mixture-of-experts παρόμοιας ποιότητας μπορεί να χρειάζονται περισσότερη μνήμη, αλλά τρέχουν πιο γρήγορα.