Μπορεί ένας Mac να τρέξει το Nemotron 3.5 Lightning 30B A3B;

Μνήμη σε κάθε ακρίβεια

Πόση RAM χρειάζεται ένα LLM

Σε κάθε τσιπ της Apple

Το μικρότερο μέγεθος μνήμης κάθε τσιπ που τρέχει το Nemotron 3.5 Lightning 30B A3B, η καλύτερη έκδοση που χωράει και η ταχύτητα γραφής που μπορείτε να περιμένετε.

Πώς να το τρέξετε

Βήμα προς βήμα: λήψη και εκτέλεση LLM σε Mac · MLX vs Ollama vs llama.cpp

Προτιμάτε μια εφαρμογή από το Τερματικό; Συγκρίνετε τις εφαρμογές Mac που τρέχουν τοπικά μοντέλα στο AI App Store: τιμή, άδεια και πού πηγαίνουν τα δεδομένα σας.

Σχετικά με το Nemotron 3.5 Lightning 30B A3B

Ερωτήσεις

Πόση μνήμη χρειάζεται το Nemotron 3.5 Lightning 30B A3B;

Περίπου 16,9 GB για τα βάρη σε 4-bit, συν χώρο για τα συμφραζόμενα: 18,4 GB συνολικά. Σε Mac αυτό σημαίνει 32 GB ενοποιημένης μνήμης ή περισσότερα, αφού το macOS αφήνει από προεπιλογή την GPU να χρησιμοποιεί περίπου το 75% της.

Πόσο γρήγορο είναι το Nemotron 3.5 Lightning 30B A3B σε Mac;

Η ταχύτητα γραφής εξαρτάται από το εύρος ζώνης μνήμης. Ο ταχύτερος Mac γι’ αυτό εδώ είναι ένας Mac με M5 Ultra και 96 GB, με περίπου 169–300 tokens ανά δευτερόλεπτο (8-bit). Ο μικρότερος Mac που το τρέχει, με 32 GB, φτάνει περίπου τα 106–188 με M2 Max.

Γιατί το Nemotron 3.5 Lightning 30B A3B τρέχει πιο γρήγορα απ’ ό,τι δείχνει το μέγεθός του;

Είναι μοντέλο mixture of experts: κρατά 30B παραμέτρους στη μνήμη αλλά διαβάζει μόνο 3B για κάθε token, οπότε γράφει με την ταχύτητα ενός πολύ μικρότερου μοντέλου.

Παρόμοια μοντέλα

• Nemotron 3 Nano 30B A3Bαπό 32 GB
• Nemotron 3.5 Bolt 74B A9Bαπό 64 GB
• Nemotron 3 Super 120B A12Bαπό 128 GB
• GLM-4.7 Flashαπό 32 GB
• Granite 4.2 30Bαπό 32 GB
• Hy-Memory-30B-A3Bαπό 32 GB

Όλα τα μοντέλα · Όλοι οι Mac · Συγκρίνετε τον Mac σας