ΣύνδεσηΔημιουργία πορτοφολιού

Τι τρέχει ένας Mac με M3 Ultra και 96 GB;

50 από 82 ανοιχτά μοντέλα τρέχουν καλά σε αυτόν. Από προεπιλογή η GPU μπορεί να χρησιμοποιήσει περίπου 72 GB από τα 96 GB, και διαβάζει τη μνήμη με 819 GB/s, κάτι που καθορίζει πόσο γρήγορα γράφει. Υπάρχει σε: Mac Studio (2025).

Ενημέρωση

Το εξυπνότερο που τρέχει καλάQwen3.8 27B8-bit · 28,7 GB · 13–23 tok/sΤο μεγαλύτερο που τρέχει καλάgpt-oss-120bεγγενές 4,25-bit · 65,3 GB · 137–243 tok/sΓια κώδικαQwen3 Coder Next6-bit · 65 GB · 154–273 tok/s

Τρέχει καλά 56

Χωράει με χώρο για τα συμφραζόμενα, με 10 ή περισσότερα tokens ανά δευτερόλεπτο.

ΜοντέλοΈκδοσηΜνήμηTokens/s
Qwen3.8 27B27B · Νοημοσύνη 33,78-bit28,7 GB13–23
Nemotron 3.5 Bolt 74B A9B74B · 9B ενεργές · Νοημοσύνη 21,46-bit60,1 GB50–90
Qwen3.6 35B A3B35B · 3B ενεργές · Νοημοσύνη 18,28-bit37,2 GB115–205
Muse Glimmer 30B29,6B · Νοημοσύνη 17,58-bit31,5 GB12–21
Gemma 4 31B30,7B · Νοημοσύνη 14,78-bit32,6 GB11–20
Nemotron 3.5 Lightning 30B A3B30B · 3B ενεργές · Νοημοσύνη 12,98-bit31,9 GB115–205
Granite 4.2 30B30B · Νοημοσύνη 12,78-bit31,9 GB12–21
MiniCPM5 2B2,52B · Νοημοσύνη 12,58-bit2,7 GB137–243
gpt-oss-120b117B · 5,1B ενεργές · Νοημοσύνη 11,6εγγενές 4,25-bit65,3 GB137–243
Qwen3.5 9B9B · Νοημοσύνη 11,28-bit9,6 GB38–68
Granite 4.2 8B8B · Νοημοσύνη 11,18-bit8,5 GB43–77
Qwen3 Coder Next80B · 3B ενεργές · Νοημοσύνη 9,26-bit65 GB154–273
Granite 4.2 3B3B · Νοημοσύνη 9,18-bit3,2 GB115–205
gpt-oss-20b21B · 3,6B ενεργές · Νοημοσύνη 9εγγενές 4,25-bit13,8 GB194–345
Nemotron 3 Nano 30B A3B30B · 3,5B ενεργές · Νοημοσύνη 8,98-bit31,9 GB100–177
Gemma 4 E4B8B · Νοημοσύνη 8,98-bit8,5 GB77–137
Llama 4 Scout 17B-16E Instruct109B · 17B ενεργές · Νοημοσύνη 6,54-bit61,3 GB38–68
Ministral 3 8B8,9B · Νοημοσύνη 5,58-bit9,5 GB39–69
Nemotron 3 Nano 4B3,97B · Νοημοσύνη 4,88-bit4,2 GB88–156
GLM-4.5 Air106B · 12B ενεργές4-bit59,6 GB54–96
Recursive Flint39,8B · 2,5B ενεργές8-bit42,3 GB137–243
Sage-A1.535B · 2,95B ενεργές8-bit37,2 GB119–211
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B ενεργές8-bit32,4 GB105–187
Hy-Memory-30B-A3B30,1B · 3,2B ενεργές8-bit31,9 GB108–193
GLM-4.7 Flash30B · 3B ενεργές8-bit31,9 GB115–205
Raon-1 mini Preview28,8B · 4,3B ενεργές8-bit30,6 GB80–142
Qwen3.6 27B27B8-bit28,7 GB13–23
Gemma 4 26B A4B25,2B · 3,8B ενεργές8-bit26,8 GB92–164
Devstral Small 2 (24B)24B8-bit25,5 GB14–26
Magistral Small 1.2 (2509)24B8-bit25,5 GB14–26
Mistral Small 3.2 (24B)24B8-bit25,5 GB14–26
LFM2.5 24B A2B24B · 2B ενεργές8-bit25,5 GB176–312
Phi-4 Reasoning Vision 15B15B8-bit15,9 GB23–41
Phi-4 (14B)14B8-bit14,9 GB25–44
Gemma 4 12B Unified12B8-bit12,7 GB29–52
Qwen3 8B8,2B8-bit8,7 GB42–75
Llama 3.1 8B Instruct8B8-bit8,5 GB43–77
Gemma 4 E2B5,1B8-bit5,4 GB154–273
Nanbeige4.2 3B4,17B8-bit4,4 GB47–84
Spark-X2.6 4B4,11B8-bit4,4 GB84–149
Qwen3.5 4B4B8-bit4,3 GB86–152
Nemotron-Labs Dory 1.0 4B3,98B8-bit4,2 GB59–106
Phi-4 mini instruct3,8B8-bit4 GB92–164
Llama 3.2 3B Instruct3,21B8-bit3,4 GB108–193
SmolLM3 3B3B8-bit3,2 GB115–205
LFM2.5 2.6B2,69B8-bit2,9 GB127–226
Qwen3.5 2B2B8-bit2,1 GB176–312
Llama 3.2 1B Instruct1,23B8-bit1,3 GB284–504
Qwen3.5 0.8B0,8B8-bit0,9 GB410–728
Qwen3 0.6B0,6B8-bit0,6 GB614–1092
Qwen3.8 Flash Next180B · 6B ενεργές · Νοημοσύνη 39,82-bit χαμηλότερη ποιότητα56,3 GB194–345
Nemotron 3.5 Super VL 120B A12B120B · 12B ενεργές · Νοημοσύνη 26,53-bit χαμηλότερη ποιότητα52,5 GB70–124
Qwen3.5 122B A10B122B · 10B ενεργές · Νοημοσύνη 15,63-bit χαμηλότερη ποιότητα53,4 GB84–149
Mistral Small 4 (119B)119B · 6,5B ενεργές · Νοημοσύνη 11,33-bit χαμηλότερη ποιότητα52,1 GB132–234
Ornith 1.5 122B122B · 10B ενεργές3-bit χαμηλότερη ποιότητα53,4 GB84–149
Nemotron 3 Super 120B A12B120B · 12B ενεργές3-bit χαμηλότερη ποιότητα52,5 GB70–124

Τρέχει, αλλά αργά 3

Χωράει, αλλά με λιγότερα από 10 tokens ανά δευτερόλεπτο: καλό για μαζικές εργασίες, αργό για συνομιλία.

ΜοντέλοΈκδοσηΜνήμηTokens/s
Llama 3.3 70B Instruct70B6-bit56,9 GB6–12
Mistral Medium 3.5 (128B)128B · Νοημοσύνη 14,23-bit χαμηλότερη ποιότητα56 GB7–12
Devstral 2 (123B)123B3-bit χαμηλότερη ποιότητα53,8 GB7–12

Χωράει οριακά 1

Χρειάζεται σχεδόν όλη τη μνήμη: αυξήστε το όριο μνήμης της GPU και κρατήστε τα συμφραζόμενα σύντομα.

ΜοντέλοΈκδοσηΜνήμηTokens/s
MiniMax M2.7230B · 10B ενεργές2-bit χαμηλότερη ποιότητα71,9 GB119–211

Πολύ μεγάλο 22

Χρειάζεται περισσότερα από 96 GB μνήμης, ακόμη και στα 2 bit.

Οι καλύτερες εφαρμογές AI για ένα Mac σαν αυτό στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.

Άλλοι Mac

Όλοι οι Mac με 96 GB, με οποιοδήποτε τσιπ.

Το M3 Ultra με περισσότερη ή λιγότερη μνήμη:

Γειτονικά τσιπ:

Κατά μέτωπο:

Απέναντι σε PC και κάρτες γραφικών:

Συγκρίνετέ το με οποιονδήποτε Mac ή GPU · Το M3 Ultra για τοπικό AI · Ο καλύτερος Mac για τοπικά LLM · Πόση RAM χρειάζεται ένα LLM · Όλοι οι Mac

Ερωτήσεις

Ποιο είναι το καλύτερο LLM για Mac με M3 Ultra και 96 GB;
Από τα μοντέλα με δημοσιευμένο Intelligence Index, το Qwen3.8 27B έχει την υψηλότερη βαθμολογία ανάμεσα σε όσα τρέχουν καλά εδώ: 8-bit, περίπου 13–23 tokens ανά δευτερόλεπτο. Το μεγαλύτερο που τρέχει καλά είναι το gpt-oss-120b.
Μπορεί ένας Mac με M3 Ultra και 96 GB να τρέξει το Llama 3.3 70B;
Ναι, αλλά αργά: 6-bit, με περίπου 6–12 tokens ανά δευτερόλεπτο.
Πόσο γρήγορο είναι το gpt-oss-20b σε M3 Ultra;
Περίπου 194–345 tokens ανά δευτερόλεπτο (εγγενές 4,25-bit), με βάση το εύρος ζώνης μνήμης του τσιπ, 819 GB/s.

Εκτελέστε τα με το mlx-lm της Apple στο Terminal: βήμα προς βήμα.

Πώς υπολογίζεται

Μνήμη: οι παράμετροι του μοντέλου σε 8, 6, 4, 3 ή 2 bit ανά βάρος συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στην εγγενή του μορφή, με χώρο για τα συμφραζόμενα από πάνω. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της ενοποιημένης μνήμης. Ταχύτητα: το εύρος ζώνης μνήμης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% του ορίου, και αυτό το εύρος δείχνουμε. Είναι εκτιμήσεις, όχι μετρήσεις: μετρήστε τον δικό σας Mac στο MLX Bench. Στοιχεία μοντέλων από την επίσημη κάρτα κάθε μοντέλου, στοιχεία τσιπ από τα Τεχνικά χαρακτηριστικά της Apple. Ελέγχθηκε 2026-10-19. Ίδια δεδομένα με το mlx.app/compare.

Ανοιχτά δεδομένα: mlx.app/data (JSON, CSV)