Τρέχει καλά 77
Χωράει με χώρο για τα συμφραζόμενα, με 10 ή περισσότερα tokens ανά δευτερόλεπτο.
| Μοντέλο | Έκδοση | Μνήμη | Tokens/s |
|---|---|---|---|
| DeepSeek V4.1 Flash 1017552B · 16B ενεργές · Νοημοσύνη 45,1 | 4-bit | 311 GB | 60–107 |
| GLM-5.3 Flash320B · 18B ενεργές · Νοημοσύνη 41,8 | 8-bit | 340 GB | 28–50 |
| Ling 3.1 Flash560B · 25B ενεργές · Νοημοσύνη 41,1 | 4-bit | 315 GB | 38–68 |
| Qwen3.8 Flash Next180B · 6B ενεργές · Νοημοσύνη 39,8 | 8-bit | 191 GB | 84–150 |
| MiMo V2.6 Flash309B · 15B ενεργές · Νοημοσύνη 37,9 | εγγενές 4,48-bit | 173 GB | 64–114 |
| Qwen3.8 27B27B · Νοημοσύνη 33,7 | 8-bit | 28,7 GB | 19–33 |
| Beam 1.0501B · 23B ενεργές · Νοημοσύνη 30,3 | 4-bit | 282 GB | 42–74 |
| MiniMax M3428B · 23B ενεργές · Νοημοσύνη 29,2 | 6-bit | 348 GB | 29–51 |
| Nemotron 3.5 Super VL 120B A12B120B · 12B ενεργές · Νοημοσύνη 26,5 | 8-bit | 128 GB | 42–75 |
| Inkling Small276B · 12B ενεργές · Νοημοσύνη 25,7 | 8-bit | 293 GB | 42–75 |
| Hy3295B · 21B ενεργές · Νοημοσύνη 25,3 | 8-bit | 313 GB | 24–43 |
| Nemotron 3 Ultra 550B A55B550B · 55B ενεργές · Νοημοσύνη 22,9 | 4-bit | 309 GB | 17–31 |
| Nemotron 3.5 Bolt 74B A9B74B · 9B ενεργές · Νοημοσύνη 21,4 | 8-bit | 78,6 GB | 56–100 |
| Qwen3.5 397B A17B397B · 17B ενεργές · Νοημοσύνη 18,4 | 6-bit | 323 GB | 39–70 |
| Qwen3.6 35B A3B35B · 3B ενεργές · Νοημοσύνη 18,2 | 8-bit | 37,2 GB | 169–300 |
| Muse Glimmer 30B29,6B · Νοημοσύνη 17,5 | 8-bit | 31,5 GB | 17–30 |
| Qwen3.5 122B A10B122B · 10B ενεργές · Νοημοσύνη 15,6 | 8-bit | 130 GB | 51–91 |
| Gemma 4 31B30,7B · Νοημοσύνη 14,7 | 8-bit | 32,6 GB | 17–29 |
| Nemotron 3.5 Lightning 30B A3B30B · 3B ενεργές · Νοημοσύνη 12,9 | 8-bit | 31,9 GB | 169–300 |
| Granite 4.2 30B30B · Νοημοσύνη 12,7 | 8-bit | 31,9 GB | 17–30 |
| MiniCPM5 2B2,52B · Νοημοσύνη 12,5 | 8-bit | 2,7 GB | 200–356 |
| gpt-oss-120b117B · 5,1B ενεργές · Νοημοσύνη 11,6 | εγγενές 4,25-bit | 65,3 GB | 200–356 |
| Mistral Small 4 (119B)119B · 6,5B ενεργές · Νοημοσύνη 11,3 | 8-bit | 126 GB | 78–139 |
| Qwen3.5 9B9B · Νοημοσύνη 11,2 | 8-bit | 9,6 GB | 56–100 |
| Granite 4.2 8B8B · Νοημοσύνη 11,1 | 8-bit | 8,5 GB | 64–113 |
| Llama 4 Maverick 17B-128E Instruct400B · 17B ενεργές · Νοημοσύνη 9,3 | 6-bit | 325 GB | 39–70 |
| Qwen3 Coder Next80B · 3B ενεργές · Νοημοσύνη 9,2 | 8-bit | 85 GB | 169–300 |
| Granite 4.2 3B3B · Νοημοσύνη 9,1 | 8-bit | 3,2 GB | 169–300 |
| gpt-oss-20b21B · 3,6B ενεργές · Νοημοσύνη 9 | εγγενές 4,25-bit | 13,8 GB | 284–505 |
| Nemotron 3 Nano 30B A3B30B · 3,5B ενεργές · Νοημοσύνη 8,9 | 8-bit | 31,9 GB | 146–259 |
| Gemma 4 E4B8B · Νοημοσύνη 8,9 | 8-bit | 8,5 GB | 113–200 |
| Llama 4 Scout 17B-16E Instruct109B · 17B ενεργές · Νοημοσύνη 6,5 | 8-bit | 116 GB | 30–53 |
| Ministral 3 8B8,9B · Νοημοσύνη 5,5 | 8-bit | 9,5 GB | 57–101 |
| Nemotron 3 Nano 4B3,97B · Νοημοσύνη 4,8 | 8-bit | 4,2 GB | 129–229 |
| DeepSeek V4 Flash 0731284B · 13B ενεργές | 8-bit | 302 GB | 39–70 |
| MiniMax M2.7230B · 10B ενεργές | 8-bit | 244 GB | 51–91 |
| Ornith 1.5 122B122B · 10B ενεργές | 8-bit | 130 GB | 51–91 |
| Nemotron 3 Super 120B A12B120B · 12B ενεργές | 8-bit | 128 GB | 42–75 |
| GLM-4.5 Air106B · 12B ενεργές | 8-bit | 113 GB | 42–75 |
| Llama 3.3 70B Instruct70B | 4-bit | 39,4 GB | 14–24 |
| Recursive Flint39,8B · 2,5B ενεργές | 8-bit | 42,3 GB | 200–356 |
| Sage-A1.535B · 2,95B ενεργές | 8-bit | 37,2 GB | 174–310 |
| Qwen3 Coder 30B A3B Instruct30,5B · 3,3B ενεργές | 8-bit | 32,4 GB | 154–274 |
| Hy-Memory-30B-A3B30,1B · 3,2B ενεργές | 8-bit | 31,9 GB | 159–282 |
| GLM-4.7 Flash30B · 3B ενεργές | 8-bit | 31,9 GB | 169–300 |
| Raon-1 mini Preview28,8B · 4,3B ενεργές | 8-bit | 30,6 GB | 117–209 |
| Qwen3.6 27B27B | 8-bit | 28,7 GB | 19–33 |
| Gemma 4 26B A4B25,2B · 3,8B ενεργές | 8-bit | 26,8 GB | 135–240 |
| Devstral Small 2 (24B)24B | 8-bit | 25,5 GB | 21–38 |
| Magistral Small 1.2 (2509)24B | 8-bit | 25,5 GB | 21–38 |
| Mistral Small 3.2 (24B)24B | 8-bit | 25,5 GB | 21–38 |
| LFM2.5 24B A2B24B · 2B ενεργές | 8-bit | 25,5 GB | 257–457 |
| Phi-4 Reasoning Vision 15B15B | 8-bit | 15,9 GB | 34–60 |
| Phi-4 (14B)14B | 8-bit | 14,9 GB | 36–64 |
| Gemma 4 12B Unified12B | 8-bit | 12,7 GB | 43–76 |
| Qwen3 8B8,2B | 8-bit | 8,7 GB | 62–110 |
| Llama 3.1 8B Instruct8B | 8-bit | 8,5 GB | 64–113 |
| Gemma 4 E2B5,1B | 8-bit | 5,4 GB | 225–400 |
| Nanbeige4.2 3B4,17B | 8-bit | 4,4 GB | 69–123 |
| Spark-X2.6 4B4,11B | 8-bit | 4,4 GB | 123–218 |
| Qwen3.5 4B4B | 8-bit | 4,3 GB | 126–223 |
| Nemotron-Labs Dory 1.0 4B3,98B | 8-bit | 4,2 GB | 87–155 |
| Phi-4 mini instruct3,8B | 8-bit | 4 GB | 135–240 |
| Llama 3.2 3B Instruct3,21B | 8-bit | 3,4 GB | 159–282 |
| SmolLM3 3B3B | 8-bit | 3,2 GB | 169–300 |
| LFM2.5 2.6B2,69B | 8-bit | 2,9 GB | 186–331 |
| Qwen3.5 2B2B | 8-bit | 2,1 GB | 257–457 |
| Llama 3.2 1B Instruct1,23B | 8-bit | 1,3 GB | 415–738 |
| Qwen3.5 0.8B0,8B | 8-bit | 0,9 GB | 600–1067 |
| Qwen3 0.6B0,6B | 8-bit | 0,6 GB | 900–1600 |
| MiMo V2.6 Pro1.020B · 42B ενεργές · Νοημοσύνη 46,3 | 2-bit χαμηλότερη ποιότητα | 319 GB | 41–73 |
| GLM-5.3744B · 40B ενεργές · Νοημοσύνη 44,8 | 3-bit χαμηλότερη ποιότητα | 326 GB | 31–55 |
| Muse Spark Open816B · 42B ενεργές · Νοημοσύνη 38,9 | 2-bit χαμηλότερη ποιότητα | 255 GB | 41–73 |
| Kimi K2.7 Code1.000B · 32B ενεργές · Νοημοσύνη 25,8 | 2-bit χαμηλότερη ποιότητα | 313 GB | 54–96 |
| Inkling975B · 41B ενεργές · Νοημοσύνη 25 | 2-bit χαμηλότερη ποιότητα | 305 GB | 42–75 |
| Kimi K2.61.000B · 32B ενεργές | 2-bit χαμηλότερη ποιότητα | 313 GB | 54–96 |
| Mistral Large 3 (675B)675B · 41B ενεργές | 3-bit χαμηλότερη ποιότητα | 295 GB | 30–54 |
Τρέχει, αλλά αργά 2
Χωράει, αλλά με λιγότερα από 10 tokens ανά δευτερόλεπτο: καλό για μαζικές εργασίες, αργό για συνομιλία.
| Μοντέλο | Έκδοση | Μνήμη | Tokens/s |
|---|---|---|---|
| Mistral Medium 3.5 (128B)128B · Νοημοσύνη 14,2 | 8-bit | 136 GB | 4–7 |
| Devstral 2 (123B)123B | 8-bit | 131 GB | 4–7 |
Πολύ μεγάλο 3
Χρειάζεται περισσότερα από 512 GB μνήμης, ακόμη και στα 2 bit.
Οι καλύτερες εφαρμογές AI για ένα Mac σαν αυτό στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.
Άλλοι Mac
Όλοι οι Mac με 512 GB, με οποιοδήποτε τσιπ.
Το M5 Ultra με περισσότερη ή λιγότερη μνήμη:
Γειτονικά τσιπ:
Κατά μέτωπο:
Απέναντι σε PC και κάρτες γραφικών:
Συγκρίνετέ το με οποιονδήποτε Mac ή GPU · Το M5 Ultra για τοπικό AI · Ο καλύτερος Mac για τοπικά LLM · Πόση RAM χρειάζεται ένα LLM · Όλοι οι Mac
Ερωτήσεις
- Ποιο είναι το καλύτερο LLM για Mac με M5 Ultra και 512 GB;
- Από τα μοντέλα με δημοσιευμένο Intelligence Index, το DeepSeek V4.1 Flash 1017 έχει την υψηλότερη βαθμολογία ανάμεσα σε όσα τρέχουν καλά εδώ: 4-bit, περίπου 60–107 tokens ανά δευτερόλεπτο. Το μεγαλύτερο που τρέχει καλά είναι το Ling 3.1 Flash.
- Μπορεί ένας Mac με M5 Ultra και 512 GB να τρέξει το Llama 3.3 70B;
- Ναι: 4-bit, με περίπου 14–24 tokens ανά δευτερόλεπτο.
- Πόσο γρήγορο είναι το gpt-oss-20b σε M5 Ultra;
- Περίπου 284–505 tokens ανά δευτερόλεπτο (εγγενές 4,25-bit), με βάση το εύρος ζώνης μνήμης του τσιπ, 1.200 GB/s.
Εκτελέστε τα με το mlx-lm της Apple στο Terminal: βήμα προς βήμα.
Πώς υπολογίζεται
Μνήμη: οι παράμετροι του μοντέλου σε 8, 6, 4, 3 ή 2 bit ανά βάρος συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στην εγγενή του μορφή, με χώρο για τα συμφραζόμενα από πάνω. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της ενοποιημένης μνήμης. Ταχύτητα: το εύρος ζώνης μνήμης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% του ορίου, και αυτό το εύρος δείχνουμε. Είναι εκτιμήσεις, όχι μετρήσεις: μετρήστε τον δικό σας Mac στο MLX Bench. Στοιχεία μοντέλων από την επίσημη κάρτα κάθε μοντέλου, στοιχεία τσιπ από τα Τεχνικά χαρακτηριστικά της Apple. Ελέγχθηκε 2026-10-19. Ίδια δεδομένα με το mlx.app/compare.
Ανοιχτά δεδομένα: mlx.app/data (JSON, CSV)