Λήψη και εκτέλεση LLM στον Mac σας.

1Πού θα βρείτε μοντέλα

Το Hugging Face φιλοξενεί τα περισσότερα μοντέλα ανοιχτών βαρών. Το ίδιο μοντέλο έρχεται συνήθως σε πολλά builds, και η μορφή αποφασίζει ποια εφαρμογή μπορεί να το εκτελέσει:

Δεν ξέρετε ποιο runtime να χρησιμοποιήσετε; Το MLX vs Ollama vs llama.cpp τα συγκρίνει. Είστε εντελώς νέοι σε αυτά; Ξεκινήστε από την εκτέλεση LLM σε Mac.

2Διαλέξτε μέγεθος που χωράει στη μνήμη σας

Τα βάρη ενός μοντέλου πρέπει να χωρούν στη μνήμη με περιθώριο. Το MLX αποθηκεύει ένα κβαντοποιημένο βάρος ως τα bits του συν μια κοινή κλίμακα και ένα bias για κάθε ομάδα 64 βαρών, δηλαδή περίπου μισό bit επιπλέον ανά βάρος (MLX). Έτσι το 4-bit κοστίζει περίπου 0,56 GB ανά δισεκατομμύριο παραμέτρους και το 8-bit περίπου 1,06 GB.

Το macOS αφήνει από προεπιλογή την GPU να χρησιμοποιεί μόνο μέρος της ενοποιημένης μνήμης· η Σύγκριση υποθέτει περίπου τα τρία τέταρτα, και το README του mlx-lm δείχνει πώς αυξάνετε το όριο σε macOS 15 ή νεότερο με sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Στα μοντέλα mixture-of-experts, οι συνολικές παράμετροι ορίζουν τη μνήμη και οι ενεργές παράμετροι την ταχύτητα. Η Σύγκριση κάνει αυτούς τους υπολογισμούς για κάθε δημοφιλές μοντέλο και κάθε τσιπ της Apple, και ο καλύτερος Mac για τοπικά LLM εξηγεί γιατί το εύρος ζώνης μνήμης ορίζει την ταχύτητα.

3Κβαντοποίηση: 4-bit, 8-bit και οι υπόλοιπες

Η κβαντοποίηση αποθηκεύει κάθε βάρος σε λιγότερα bits, οπότε το μοντέλο πιάνει λιγότερη μνήμη και τρέχει πιο γρήγορα, με κάποιο κόστος στην ποιότητα. Το 4-bit είναι το συνηθισμένο σημείο εκκίνησης σε Mac. Το 8-bit είναι πιο κοντά στο αρχικό και διπλάσιο σε μέγεθος. Κάτω από 4 bits τα αρχεία μικραίνουν, αλλά οι απαντήσεις χειροτερεύουν πιο γρήγορα· δοκιμάστε τα μόνο όταν ένα μεγαλύτερο μοντέλο αλλιώς δεν θα χωρούσε.

• Τα builds MLX το λένε στο όνομα: -4bit, -8bit, και μερικές φορές builds μικτής ακρίβειας που κρατούν τα ευαίσθητα επίπεδα σε περισσότερα bits.
• Τα αρχεία GGUF χρησιμοποιούν τα ονόματα του llama.cpp: Q4_K_M, Q5_K_M, Q8_0 κ.ο.κ. Όταν εκτελείτε ένα αποθετήριο GGUF του Hugging Face στο Ollama χωρίς να ορίσετε αρχείο, επιλέγει το Q4_K_M αν υπάρχει (Hugging Face).
• Φτιάξτε το δικό σας build MLX από τα αρχικά βάρη: το mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q γράφει ένα αντίγραφο 4-bit (mlx-lm).

4Χώρος στον δίσκο και πού φυλάσσονται τα μοντέλα

Μια λήψη έχει περίπου το μέγεθος των βαρών στον παραπάνω πίνακα, οπότε ένα μοντέλο 8B στα 4-bit είναι λίγα gigabytes και ένα μοντέλο 70B δεκάδες gigabytes. Αν δοκιμάζετε πολλά μεγέθη ή builds του ίδιου μοντέλου, ο χώρος γεμίζει γρήγορα.

Το mlx-lm και τα άλλα εργαλεία του Hugging Face κρατούν τις λήψεις στο ~/.cache/huggingface/hub· ορίστε HF_HOME ή HF_HUB_CACHE για να το μετακινήσετε. Το hf cache ls δείχνει τι υπάρχει και το hf cache rm διαγράφει ένα μοντέλο (Hugging Face). Το Ollama και το LM Studio κρατούν τα μοντέλα στους δικούς τους φακέλους και τα διαχειρίζονται μόνα τους.

5Gated μοντέλα και tokens του Hugging Face

Ορισμένα μοντέλα, ανάμεσά τους το Llama, είναι gated: πρέπει να αποδεχτείτε τους όρους του δημιουργού πριν τα κατεβάσετε (Hugging Face).

1. Συνδεθείτε σε έναν δωρεάν λογαριασμό Hugging Face και ανοίξτε τη σελίδα του μοντέλου.
2. Αποδεχτείτε τους όρους με το κουμπί της σελίδας (από προεπιλογή Agree and send request to access repo). Ορισμένοι δημιουργοί εγκρίνουν τα αιτήματα με το χέρι, κάτι που παίρνει περισσότερο χρόνο.
3. Δημιουργήστε ένα access token στις ρυθμίσεις του Hugging Face.
4. Δώστε το token στα εργαλεία σας: εκτελέστε hf auth login στο Τερματικό για το mlx-lm και τα άλλα εργαλεία του Hugging Face (Hugging Face) ή επικολλήστε το στο πεδίο token του Hugging Face στην εφαρμογή.

6Εκτελέστε το: τρεις τρόποι

mlx-lm: το MLX της Apple στο Τερματικό

Εγκαταστήστε το με pip και δώστε το όνομα οποιουδήποτε μοντέλου MLX στο Hugging Face· η πρώτη εκτέλεση το κατεβάζει (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

Το mlx_lm.server σερβίρει ένα μοντέλο σε API τύπου OpenAI στο localhost:8080 για άλλες εφαρμογές (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: εφαρμογή με περιηγητή μοντέλων

Το LM Studio αναζητά και κατεβάζει μοντέλα από το Hugging Face μέσα στην εφαρμογή και εκτελεί μοντέλα MLX σε Apple Silicon, καθώς και GGUF μέσω llama.cpp. Χρειάζεται Apple Silicon και macOS 14 ή νεότερο, και προτείνει 16 GB μνήμης ή περισσότερα (LM Studio).

Ollama: μία εντολή

Το Ollama εκτελεί μοντέλα από τη δική του βιβλιοθήκη και απευθείας οποιοδήποτε αποθετήριο GGUF στο Hugging Face, προαιρετικά με ετικέτα κβαντοποίησης (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

Το AI App Store έχει κι άλλες εφαρμογές που τρέχουν μοντέλα τοπικά, καθώς και ανοιχτά μοντέλα, το καθένα με την επίσημη λήψη του δημιουργού του και την άδειά του.

Όταν δεν τον χρησιμοποιείτε

Ένας Mac που τρέχει καλά μοντέλα είναι καλός και στο να τα τρέχει για άλλους. Όταν δεν τον χρησιμοποιείτε, το MLX Node μπορεί να τον διαθέσει στο MLX Network: εκτελεί εργασίες AI μέσα στα όρια που ορίζετε και κερδίζει tokens MLX για επαληθευμένη δουλειά. Τα tokens MLX μπορεί να χάσουν αξία· διαβάστε τους κινδύνους.

7Ερωτήσεις

Από πού κατεβάζω LLM για Mac;

Από το Hugging Face. Αναζητήστε builds MLX, πολλά από τα οποία δημοσιεύει το mlx-community, ή αρχεία GGUF. Το LM Studio και το Ollama μπορούν να τα αναζητήσουν και να τα κατεβάσουν για εσάς.

Ποιο μέγεθος μοντέλου να κατεβάσω;

Ένα του οποίου τα βάρη χωρούν άνετα στη μνήμη του Mac σας: στα 4-bit περίπου 0,56 GB ανά δισεκατομμύριο παραμέτρους, δηλαδή περίπου 4,5 GB για ένα μοντέλο 8B και 39 GB για ένα 70B, συν χώρο για τα συμφραζόμενα. Η Σύγκριση στο mlx.app το ελέγχει για τον Mac σας.

MLX ή GGUF σε Mac;

Και τα δύο τρέχουν καλά σε Apple Silicon. Τα builds MLX είναι φτιαγμένα για το MLX της Apple και τρέχουν σε mlx-lm και LM Studio· τα αρχεία GGUF τρέχουν σε llama.cpp, Ollama και LM Studio.

Χρειάζομαι λογαριασμό Hugging Face;

Όχι για τα δημόσια μοντέλα. Τα gated μοντέλα χρειάζονται δωρεάν λογαριασμό, αποδοχή της άδειας και ένα access token.

Μπορώ να εκτελώ μοντέλα που κατέβασα χωρίς σύνδεση;

Ναι. Μόλις τα αρχεία βρίσκονται στον Mac σας, το μοντέλο τρέχει χωρίς σύνδεση στο διαδίκτυο και τα prompts σας μένουν στον Mac.