Ποιο είναι το καλύτερο LLM για Mac με M2 Pro και 32 GB;

Από τα μοντέλα με δημοσιευμένο Intelligence Index, το Qwen3.6 35B A3B έχει την υψηλότερη βαθμολογία ανάμεσα σε όσα τρέχουν καλά εδώ: 4-bit, περίπου 53–94 tokens ανά δευτερόλεπτο.

Μπορεί ένας Mac με M2 Pro και 32 GB να τρέξει το Llama 3.3 70B;

Ναι, αλλά αργά: 2-bit (χαμηλότερη ποιότητα), με περίπου 4–7 tokens ανά δευτερόλεπτο.

Πόσο γρήγορο είναι το gpt-oss-20b σε M2 Pro;

Περίπου 47–84 tokens ανά δευτερόλεπτο (εγγενές 4,25-bit), με βάση το εύρος ζώνης μνήμης του τσιπ, 200 GB/s.

M2 Pro 32 GB για τοπικά LLM: καλύτερα μοντέλα, ταχύτητα

Τρέχει καλά 37

Χωράει με χώρο για τα συμφραζόμενα, με 10 ή περισσότερα tokens ανά δευτερόλεπτο.

Μοντέλο	Έκδοση	Μνήμη	Tokens/s
Qwen3.6 35B A3B35B · 3B ενεργές · Νοημοσύνη 18,2	4-bit	19,7 GB	53–94
Nemotron 3.5 Lightning 30B A3B30B · 3B ενεργές · Νοημοσύνη 12,9	4-bit	16,9 GB	53–94
MiniCPM5 2B2,52B · Νοημοσύνη 12,5	8-bit	2,7 GB	33–59
Qwen3.5 9B9B · Νοημοσύνη 11,2	6-bit	7,3 GB	12–22
Granite 4.2 8B8B · Νοημοσύνη 11,1	8-bit	8,5 GB	11–19
Granite 4.2 3B3B · Νοημοσύνη 9,1	8-bit	3,2 GB	28–50
gpt-oss-20b21B · 3,6B ενεργές · Νοημοσύνη 9	εγγενές 4,25-bit	13,8 GB	47–84
Nemotron 3 Nano 30B A3B30B · 3,5B ενεργές · Νοημοσύνη 8,9	4-bit	16,9 GB	45–80
Gemma 4 E4B8B · Νοημοσύνη 8,9	8-bit	8,5 GB	19–33
Ministral 3 8B8,9B · Νοημοσύνη 5,5	6-bit	7,2 GB	13–22
Nemotron 3 Nano 4B3,97B · Νοημοσύνη 4,8	8-bit	4,2 GB	21–38
Sage-A1.535B · 2,95B ενεργές	4-bit	19,7 GB	53–94
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B ενεργές	4-bit	17,2 GB	47–84
Hy-Memory-30B-A3B30,1B · 3,2B ενεργές	4-bit	16,9 GB	50–89
GLM-4.7 Flash30B · 3B ενεργές	4-bit	16,9 GB	53–94
Raon-1 mini Preview28,8B · 4,3B ενεργές	4-bit	16,2 GB	38–67
Gemma 4 26B A4B25,2B · 3,8B ενεργές	6-bit	20,5 GB	29–52
LFM2.5 24B A2B24B · 2B ενεργές	6-bit	19,5 GB	56–100
Phi-4 Reasoning Vision 15B15B	4-bit	8,4 GB	11–19
Phi-4 (14B)14B	4-bit	7,9 GB	11–20
Gemma 4 12B Unified12B	4-bit	6,7 GB	13–24
Qwen3 8B8,2B	8-bit	8,7 GB	10–18
Llama 3.1 8B Instruct8B	8-bit	8,5 GB	11–19
Gemma 4 E2B5,1B	8-bit	5,4 GB	38–67
Nanbeige4.2 3B4,17B	8-bit	4,4 GB	12–21
Spark-X2.6 4B4,11B	8-bit	4,4 GB	20–36
Qwen3.5 4B4B	8-bit	4,3 GB	21–37
Nemotron-Labs Dory 1.0 4B3,98B	8-bit	4,2 GB	15–26
Phi-4 mini instruct3,8B	8-bit	4 GB	23–40
Llama 3.2 3B Instruct3,21B	8-bit	3,4 GB	26–47
SmolLM3 3B3B	8-bit	3,2 GB	28–50
LFM2.5 2.6B2,69B	8-bit	2,9 GB	31–55
Qwen3.5 2B2B	8-bit	2,1 GB	43–76
Llama 3.2 1B Instruct1,23B	8-bit	1,3 GB	69–123
Qwen3.5 0.8B0,8B	8-bit	0,9 GB	100–178
Qwen3 0.6B0,6B	8-bit	0,6 GB	150–267
Recursive Flint39,8B · 2,5B ενεργές	3-bit χαμηλότερη ποιότητα	17,4 GB	82–145

Τρέχει, αλλά αργά 9

Χωράει, αλλά με λιγότερα από 10 tokens ανά δευτερόλεπτο: καλό για μαζικές εργασίες, αργό για συνομιλία.

Μοντέλο	Έκδοση	Μνήμη	Tokens/s
Qwen3.8 27B27B · Νοημοσύνη 33,7	6-bit	21,9 GB	4–7
Muse Glimmer 30B29,6B · Νοημοσύνη 17,5	4-bit	16,7 GB	5–10
Gemma 4 31B30,7B · Νοημοσύνη 14,7	4-bit	17,3 GB	5–9
Granite 4.2 30B30B · Νοημοσύνη 12,7	4-bit	16,9 GB	5–9
Qwen3.6 27B27B	6-bit	21,9 GB	4–7
Devstral Small 2 (24B)24B	6-bit	19,5 GB	5–8
Magistral Small 1.2 (2509)24B	6-bit	19,5 GB	5–8
Mistral Small 3.2 (24B)24B	6-bit	19,5 GB	5–8
Llama 3.3 70B Instruct70B	2-bit χαμηλότερη ποιότητα	21,9 GB	4–7

Χωράει οριακά 2

Χρειάζεται σχεδόν όλη τη μνήμη: αυξήστε το όριο μνήμης της GPU και κρατήστε τα συμφραζόμενα σύντομα.

Μοντέλο	Έκδοση	Μνήμη	Tokens/s
Nemotron 3.5 Bolt 74B A9B74B · 9B ενεργές · Νοημοσύνη 21,4	2-bit χαμηλότερη ποιότητα	23,1 GB	32–57
Qwen3 Coder Next80B · 3B ενεργές · Νοημοσύνη 9,2	2-bit χαμηλότερη ποιότητα	25 GB	100–178

Πολύ μεγάλο 34

Χρειάζεται περισσότερα από 32 GB μνήμης, ακόμη και στα 2 bit.

Οι καλύτερες εφαρμογές AI για ένα Mac σαν αυτό στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.

Άλλοι Mac

Όλοι οι Mac με 32 GB, με οποιοδήποτε τσιπ.

Το M2 Pro με περισσότερη ή λιγότερη μνήμη:

16 GB25 τρέχουν καλά

Γειτονικά τσιπ:

Κατά μέτωπο:

Συγκρίνετέ το με οποιονδήποτε Mac ή GPU · Το M2 Pro για τοπικό AI · Ο καλύτερος Mac για τοπικά LLM · Πόση RAM χρειάζεται ένα LLM · Όλοι οι Mac

Ερωτήσεις

Ποιο είναι το καλύτερο LLM για Mac με M2 Pro και 32 GB;: Από τα μοντέλα με δημοσιευμένο Intelligence Index, το Qwen3.6 35B A3B έχει την υψηλότερη βαθμολογία ανάμεσα σε όσα τρέχουν καλά εδώ: 4-bit, περίπου 53–94 tokens ανά δευτερόλεπτο.
Μπορεί ένας Mac με M2 Pro και 32 GB να τρέξει το Llama 3.3 70B;: Ναι, αλλά αργά: 2-bit (χαμηλότερη ποιότητα), με περίπου 4–7 tokens ανά δευτερόλεπτο.
Πόσο γρήγορο είναι το gpt-oss-20b σε M2 Pro;: Περίπου 47–84 tokens ανά δευτερόλεπτο (εγγενές 4,25-bit), με βάση το εύρος ζώνης μνήμης του τσιπ, 200 GB/s.

Εκτελέστε τα με το mlx-lm της Apple στο Terminal: βήμα προς βήμα.

Πώς υπολογίζεται

Μνήμη: οι παράμετροι του μοντέλου σε 8, 6, 4, 3 ή 2 bit ανά βάρος συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στην εγγενή του μορφή, με χώρο για τα συμφραζόμενα από πάνω. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της ενοποιημένης μνήμης. Ταχύτητα: το εύρος ζώνης μνήμης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% του ορίου, και αυτό το εύρος δείχνουμε. Είναι εκτιμήσεις, όχι μετρήσεις: μετρήστε τον δικό σας Mac στο MLX Bench. Στοιχεία μοντέλων από την επίσημη κάρτα κάθε μοντέλου, στοιχεία τσιπ από τα Τεχνικά χαρακτηριστικά της Apple. Ελέγχθηκε 2026-10-19. Ίδια δεδομένα με το mlx.app/compare.

Ανοιχτά δεδομένα: mlx.app/data (JSON, CSV)