Μπορεί ένας Mac να τρέξει το Mistral Small 3.2 (24B);

Μνήμη σε κάθε ακρίβεια

Πόση RAM χρειάζεται ένα LLM

Σε κάθε τσιπ της Apple

Το μικρότερο μέγεθος μνήμης κάθε τσιπ που τρέχει το Mistral Small 3.2 (24B), η καλύτερη έκδοση που χωράει και η ταχύτητα γραφής που μπορείτε να περιμένετε.

Πώς να το τρέξετε

Βήμα προς βήμα: λήψη και εκτέλεση LLM σε Mac · MLX vs Ollama vs llama.cpp

Το Mistral Small 3.2 (24B) στο AI App Store · Προτιμάτε μια εφαρμογή από το Τερματικό; Συγκρίνετε τις εφαρμογές Mac που τρέχουν τοπικά μοντέλα στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.

Σχετικά με το Mistral Small 3.2 (24B)

Ερωτήσεις

Πόση μνήμη χρειάζεται το Mistral Small 3.2 (24B);

Περίπου 13,5 GB για τα βάρη σε 4-bit, συν χώρο για τα συμφραζόμενα: 15 GB συνολικά. Σε Mac αυτό σημαίνει 24 GB ενοποιημένης μνήμης ή περισσότερα, αφού το macOS αφήνει από προεπιλογή την GPU να χρησιμοποιεί περίπου το 75% της.

Πόσο γρήγορο είναι το Mistral Small 3.2 (24B) σε Mac;

Η ταχύτητα γραφής εξαρτάται από το εύρος ζώνης μνήμης. Ο ταχύτερος Mac γι’ αυτό εδώ είναι ένας Mac με M5 Ultra και 96 GB, με περίπου 21–38 tokens ανά δευτερόλεπτο (8-bit). Ο μικρότερος Mac που το τρέχει, με 24 GB, φτάνει περίπου τα 10–18 με M5 Pro.

Βλάπτει η κβαντοποίηση το Mistral Small 3.2 (24B);

Στα 4 bit τα περισσότερα μοντέλα μένουν κοντά στην αρχική ποιότητα· κάτω από τα 4 bit η ποιότητα πέφτει πιο γρήγορα. Επιλέξτε την υψηλότερη ακρίβεια που χωράει στον Mac σας με περιθώριο.

Παρόμοια μοντέλα

• Devstral Small 2 (24B)από 24 GB
• Magistral Small 1.2 (2509)από 24 GB
• Ministral 3 8Bαπό 16 GB
• LFM2.5 24B A2Bαπό 24 GB
• Gemma 4 26B A4Bαπό 24 GB
• Qwen3.8 27Bαπό 24 GB

Όλα τα μοντέλα · Όλοι οι Mac · Συγκρίνετε τον Mac σας