Με λίγα λόγια
- 16 GB: άνετα τρέχουν μόνο μικρά γενικά μοντέλα· το Qwen3 Coder 30B A3B χωρά μόνο σε χαμηλότερη ακρίβεια. 24 GB: Devstral Small 2 (24B). 32–64 GB: Qwen3 Coder 30B A3B και Devstral Small 2 σε 4-bit.
- 96 GB και πάνω: Qwen3 Coder Next (80B, 3B ενεργές). 128 GB: και το Devstral 2 (123B), αργά. 512 GB: Kimi K2.7 Code, σε χαμηλή ακρίβεια.
- Τα μοντέλα κώδικα mixture-of-experts διαβάζουν μόνο λίγα δισεκατομμύρια βάρη ανά token, οπότε το Qwen3 Coder 30B A3B μπορεί να γράφει αρκετές φορές πιο γρήγορα από το πυκνό Devstral Small 2 στον ίδιο Mac.
- Οι agents κώδικα στέλνουν μεγάλα prompts: αφήστε αρκετά gigabyte για τα συμφραζόμενα και δείτε πόση RAM χρειάζεται ένα LLM.
1Μοντέλα κώδικα που τρέχουν καλά, ανά μνήμη
«Τρέχει καλά» σημαίνει ότι χωρά σε 4-bit ή καλύτερα με χώρο για συμφραζόμενα, με 10 ή περισσότερα tokens το δευτερόλεπτο, ο ίδιος κανόνας με κάθε σελίδα Mac. Μοντέλα φτιαγμένα για κώδικα από τον κατάλογό μας με ανοιχτά μοντέλα, συν το γενικό μοντέλο με τον υψηλότερο Artificial Analysis Intelligence Index που τρέχει καλά σε αυτό το μέγεθος, το οποίο γράφει επίσης κώδικα:
| Μνήμη Mac | Φτιαγμένο για κώδικα | Ισχυρότερο γενικό μοντέλο |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B μόνο σε χαμηλότερη ακρίβεια | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (πιο αργό) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (πιο αργό) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code σε χαμηλότερη ακρίβεια, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Γιατί τα μοντέλα κώδικα mixture-of-experts μοιάζουν γρήγορα
Η ταχύτητα γραφής περιορίζεται από το πόσα byte βαρών διαβάζονται για κάθε token. Ένα πυκνό μοντέλο τα διαβάζει όλα· ένα μοντέλο mixture-of-experts διαβάζει μόνο το ενεργό του μέρος. Σε έναν Mac mini με M5 Pro (307 GB/s, Apple), σε 4-bit:
| Μοντέλο | Παράμετροι | Ανάγνωση ανά token | Ανώτατο όριο για μία συνομιλία |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 30,5B συνολικά, 3,3B ενεργές | περίπου 1,9 GB | περίπου 165 tokens/s |
| Devstral Small 2 | 24B, πυκνό | περίπου 13,5 GB | περίπου 23 tokens/s |
Η ταχύτητα δεν είναι ποιότητα: ένα πυκνό μοντέλο μπορεί να γράφει καλύτερο κώδικα με την ίδια μνήμη. Δοκιμάστε και τα δύο στον δικό σας κώδικα.
3Αφήστε χώρο για τα συμφραζόμενα
Τα εργαλεία κώδικα στέλνουν πολύ κείμενο: τα αρχεία της εργασίας, περιγραφές εργαλείων και τη συνομιλία ως τώρα. Αυτά τα συμφραζόμενα κρατιούνται στη μνήμη δίπλα στο μοντέλο, στο KV cache, και μεγαλώνουν με κάθε token. Για το Qwen3 8B, 32.000 tokens πιάνουν περίπου 4,8 GB (ο υπολογισμός εδώ). Τα μεγαλύτερα μοντέλα χρειάζονται περισσότερη μνήμη ανά token.
Έτσι, όταν ένα μοντέλο μόλις που χωρά, προτιμήστε το αμέσως μικρότερο ή μια χαμηλότερη ακρίβεια αντί να στριμώξετε τα συμφραζόμενα. Τα μεγάλα prompts χρειάζονται επίσης χρόνο για να διαβαστούν πριν εμφανιστεί η πρώτη λέξη· η γενιά M5 διαβάζει τα prompts πιο γρήγορα από την M4 (Apple).
4Χρησιμοποιήστε το στον editor ή στον agent σας
Τα εργαλεία κώδικα μιλούν με ένα μοντέλο μέσω API. Τρέξτε το μοντέλο τοπικά και στρέψτε το εργαλείο σε αυτό:
- Ο τοπικός διακομιστής του LM Studio μιλά τις μορφές OpenAI και Anthropic, και το LM Studio έχει οδηγούς ρύθμισης για Claude Code, Codex, OpenClaw και Hermes Agent (LM Studio).
- mlx-lm: το
mlx_lm.server --model <model>προσφέρει API τύπου OpenAI στη θύρα 8080 (mlx-lm). - Το Ollama προσφέρει επίσης API συμβατό με OpenAI: ο οδηγός οι καλύτερες εφαρμογές για LLM σε Mac τα συγκρίνει.
Οι agents καλούν εργαλεία, οπότε το μοντέλο πρέπει να παράγει κλήσεις εργαλείων σε μορφή που καταλαβαίνει ο server. Τα μοντέλα που φτιάχτηκαν για κώδικα και agents, όπως τα Qwen3 Coder και Devstral, είναι εκπαιδευμένα γι' αυτό· τα μικρά γενικά μοντέλα συχνά δεν είναι αξιόπιστα σε αυτό.
Η κατηγορία προγραμματισμού του AI App Store έχει πράκτορες και επεξεργαστές κώδικα, όπως το Claude Code και το Codex, το καθένα με την επίσημη λήψη του δημιουργού, την τιμή και πού πηγαίνουν τα δεδομένα σας.
5Ερωτήσεις
- Ποιο είναι το καλύτερο τοπικό LLM για κώδικα σε Mac με 32 GB;
- Τα Qwen3 Coder 30B A3B και Devstral Small 2 τρέχουν και τα δύο καλά σε 4-bit. Το Qwen3 Coder γράφει πολύ πιο γρήγορα, επειδή μόνο 3,3B από τις 30,5B παραμέτρους του διαβάζονται ανά token· δοκιμάστε και τα δύο στον δικό σας κώδικα.
- Μπορεί ένας Mac με 16 GB να τρέξει μοντέλο κώδικα;
- Μικρά μοντέλα, ναι. Το Qwen3 Coder 30B A3B χωρά στα 16 GB μόνο σε χαμηλότερη ακρίβεια, με λίγο χώρο για συμφραζόμενα. Για agents κώδικα, τα 32 GB ή περισσότερα είναι καλύτερη αφετηρία.
- Μπορώ να χρησιμοποιήσω το Claude Code ή το Codex με τοπικό μοντέλο;
- Ναι. Το LM Studio έχει οδηγούς ρύθμισης και για τα δύο: ο τοπικός του διακομιστής μιλά τη μορφή Anthropic που χρησιμοποιεί το Claude Code και τη μορφή OpenAI που χρησιμοποιεί το Codex (LM Studio). Το πόσο καλά δουλεύουν εξαρτάται από το μοντέλο που φορτώνετε.
- Είναι ένα τοπικό μοντέλο κώδικα τόσο καλό όσο ένα στο cloud;
- Τα μεγαλύτερα ανοιχτά μοντέλα πλησιάζουν σε πολλές εργασίες, αλλά χρειάζονται Mac Studio με 256 ή 512 GB. Τα μοντέλα που χωρούν σε 32–64 GB είναι χρήσιμα για συμπλήρωση κώδικα, εξηγήσεις και μικρότερες εργασίες agent, και κρατούν τον κώδικά σας στον Mac σας.