Ανά μέγεθος μνήμης
| Μνήμη | Τρέχουν καλά | Το μεγαλύτερο που τρέχει καλά | gpt-oss-20b |
|---|---|---|---|
| 64 GB800 GB/s | 46 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 GB800 GB/s | 55 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 GB800 GB/s | 57 | MiniMax M2.7 | 189–337 tok/s |
Μοντέλα: Mac Pro (2023), Mac Pro (Rack, 2023). Δεν διατίθεται κάθε μέγεθος μνήμης με κάθε μοντέλο· τα Τεχνικά χαρακτηριστικά της Apple αναφέρουν τι προσφέρει το καθένα.
Οι καλύτερες εφαρμογές AI για ένα Mac σαν αυτό στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.
Ερωτήσεις
- Είναι ο Mac Pro με M2 Ultra καλός για τοπικά LLM;
- Με 192 GB τρέχει καλά 57 από 82 ανοιχτά μοντέλα, έως και το MiniMax M2.7, και γράφει περίπου 189–337 tokens ανά δευτερόλεπτο με το gpt-oss-20b. Το M2 Ultra διαβάζει τη μνήμη με 800 GB/s, κάτι που καθορίζει πόσο γρήγορα γράφει.
- Πόση μνήμη πρέπει να έχει ένας Mac Pro με M2 Ultra για AI;
- Με 64 GB τρέχει καλά 46 ανοιχτά μοντέλα· με 192 GB, 57, έως και το MiniMax M2.7. Η μνήμη καθορίζει ποια μοντέλα χωρούν και δεν αναβαθμίζεται αργότερα.
Άλλοι Mac
Άλλοι Mac με M2 Ultra:
Κατά μέτωπο:
Το M2 Ultra για τοπικό AI · Ο καλύτερος Mac για τοπικά LLM · Πόση RAM χρειάζεται ένα LLM · Όλοι οι Mac
Πώς υπολογίζεται
Μνήμη: οι παράμετροι του μοντέλου σε 8, 6, 4, 3 ή 2 bit ανά βάρος συν τις κλίμακες ομάδων του MLX (μισό bit ανά βάρος), ή στην εγγενή του μορφή, με χώρο για τα συμφραζόμενα από πάνω. Από προεπιλογή το macOS αφήνει την GPU να χρησιμοποιεί περίπου το 75% της ενοποιημένης μνήμης. Ταχύτητα: το εύρος ζώνης μνήμης διαιρεμένο με τα bytes που διαβάζονται ανά token είναι το ανώτατο όριο για μία συνομιλία· στα δημόσια benchmarks Apple Silicon του llama.cpp οι πραγματικές εκτελέσεις φτάνουν περίπου το 45% έως 80% του ορίου, και αυτό το εύρος δείχνουμε. Είναι εκτιμήσεις, όχι μετρήσεις: μετρήστε τον δικό σας Mac στο MLX Bench. Στοιχεία μοντέλων από την επίσημη κάρτα κάθε μοντέλου, στοιχεία τσιπ από τα Τεχνικά χαρακτηριστικά της Apple. Ελέγχθηκε 2026-10-19. Ίδια δεδομένα με το mlx.app/compare.
Ανοιχτά δεδομένα: mlx.app/data (JSON, CSV)