Μπορεί ένας Mac να τρέξει το Nemotron 3 Nano 30B A3B;

Μνήμη σε κάθε ακρίβεια

Πόση RAM χρειάζεται ένα LLM

Σε κάθε τσιπ της Apple

Το μικρότερο μέγεθος μνήμης κάθε τσιπ που τρέχει το Nemotron 3 Nano 30B A3B, η καλύτερη έκδοση που χωράει και η ταχύτητα γραφής που μπορείτε να περιμένετε.

Πώς να το τρέξετε

Βήμα προς βήμα: λήψη και εκτέλεση LLM σε Mac · MLX vs Ollama vs llama.cpp

Το Nemotron 3 Nano 30B A3B στο AI App Store · Προτιμάτε μια εφαρμογή από το Τερματικό; Συγκρίνετε τις εφαρμογές Mac που τρέχουν τοπικά μοντέλα στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.

Σχετικά με το Nemotron 3 Nano 30B A3B

Ερωτήσεις

Πόση μνήμη χρειάζεται το Nemotron 3 Nano 30B A3B;

Περίπου 16,9 GB για τα βάρη σε 4-bit, συν χώρο για τα συμφραζόμενα: 18,4 GB συνολικά. Σε Mac αυτό σημαίνει 32 GB ενοποιημένης μνήμης ή περισσότερα, αφού το macOS αφήνει από προεπιλογή την GPU να χρησιμοποιεί περίπου το 75% της.

Πόσο γρήγορο είναι το Nemotron 3 Nano 30B A3B σε Mac;

Η ταχύτητα γραφής εξαρτάται από το εύρος ζώνης μνήμης. Ο ταχύτερος Mac γι’ αυτό εδώ είναι ένας Mac με M5 Ultra και 96 GB, με περίπου 146–259 tokens ανά δευτερόλεπτο (8-bit). Ο μικρότερος Mac που το τρέχει, με 32 GB, φτάνει περίπου τα 90–160 με M2 Max.

Γιατί το Nemotron 3 Nano 30B A3B τρέχει πιο γρήγορα απ’ ό,τι δείχνει το μέγεθός του;

Είναι μοντέλο mixture of experts: κρατά 30B παραμέτρους στη μνήμη αλλά διαβάζει μόνο 3,5B για κάθε token, οπότε γράφει με την ταχύτητα ενός πολύ μικρότερου μοντέλου.

Παρόμοια μοντέλα

• Nemotron 3.5 Lightning 30B A3Bαπό 32 GB
• Nemotron 3.5 Bolt 74B A9Bαπό 64 GB
• Nemotron 3 Super 120B A12Bαπό 128 GB
• GLM-4.7 Flashαπό 32 GB
• Granite 4.2 30Bαπό 32 GB
• Hy-Memory-30B-A3Bαπό 32 GB

Όλα τα μοντέλα · Όλοι οι Mac · Συγκρίνετε τον Mac σας