Пам’ять за кожної точності
| Версія | Ваги | З контекстом | Мінімальний Mac |
|---|---|---|---|
| 8 біт | 78,6 ГБ | 84,9 ГБ | 128 ГБ |
| 6 біт | 60,1 ГБ | 64,9 ГБ | 96 ГБ |
| 4 біт | 41,6 ГБ | 44,9 ГБ | 64 ГБ |
| 3 біт нижча якість | 32,4 ГБ | 35 ГБ | 48 ГБ |
| 2 біт нижча якість | 23,1 ГБ | 24,9 ГБ | 36 ГБ |
На кожному чипі Apple
Мінімальний обсяг пам’яті кожного чипа, на якому запускається Nemotron 3.5 Bolt 74B A9B, найкраща версія, що вміщується, і очікувана швидкість генерації.
| Чип | Потрібно | Версія | Токенів/с |
|---|---|---|---|
| M6 | 32 ГБ | 2 біт Ледь вміщується | 27–49 |
| M5 Ultra | 96 ГБ | 6 біт Працює добре | 74–132 |
| M5 Max | 64 ГБ | 4 біт Працює добре | 54–96 |
| M5 Pro | 64 ГБ | 4 біт Працює добре | 27–48 |
| M5 | 32 ГБ | 2 біт Ледь вміщується | 25–44 |
| M4 Max | 64 ГБ | 4 біт Працює добре | 48–86 |
| M4 Pro | 64 ГБ | 4 біт Працює добре | 24–43 |
| M4 | 32 ГБ | 2 біт Ледь вміщується | 19–34 |
| M3 Ultra | 96 ГБ | 6 біт Працює добре | 50–90 |
| M3 Max | 64 ГБ | 4 біт Працює добре | 35–63 |
| M3 Pro | 36 ГБ | 2 біт Працює добре | 24–43 |
| M3 | жоден обсяг не підходить | Завелика | – |
| M2 Ultra | 64 ГБ | 4 біт Працює добре | 71–125 |
| M2 Max | 64 ГБ | 4 біт Працює добре | 35–63 |
| M2 Pro | 32 ГБ | 2 біт Ледь вміщується | 32–57 |
| M2 | жоден обсяг не підходить | Завелика | – |
| M1 Ultra | 64 ГБ | 4 біт Працює добре | 71–125 |
| M1 Max | 64 ГБ | 4 біт Працює добре | 35–63 |
| M1 Pro | 32 ГБ | 2 біт Ледь вміщується | 32–57 |
| M1 | жоден обсяг не підходить | Завелика | – |
Як запустити
- Найпростіший спосіб: завантажте MLX Harness — безкоштовно і з відкритим кодом. Знайдіть Nemotron 3.5 Bolt 74B A9B, завантажте версію, яка підходить вашому Mac, і спілкуйтеся. Застосунок також віддає модель іншим вашим програмам через API, сумісний з OpenAI.Завантажити MLX HarnessБезкоштовно · Apple Silicon · macOS 14.5 або новіша
- У Терміналі з MLX від Apple: Готової збірки MLX від спільноти поки немає, тож створіть її з офіційних ваг:
pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q
Покроково: завантажити й запустити LLM на Mac · як користуватися MLX Harness · MLX, Ollama і llama.cpp
Про модель Nemotron 3.5 Bolt 74B A9B
| Розробник | NVIDIA |
|---|---|
| Параметри | 74B усього · 9B активних (mixture of experts) |
| Контекст | токенів: 256K |
| Ліцензія | OpenMDW-1.1 |
| Випуск | 2026-10 |
| Вхідні дані | Текст і зображення |
| Інтелект | 21,4 в Artificial Analysis Intelligence Index |
| Ваги | nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 |
Запитання
- Скільки пам’яті потрібно моделі Nemotron 3.5 Bolt 74B A9B?
- Близько 41,6 ГБ на ваги (4 біт) плюс місце для контексту: загалом 44,9 ГБ. На Mac це означає 64 ГБ об’єднаної пам’яті або більше, адже за замовчуванням macOS дає GPU близько 75% пам’яті.
- Наскільки швидко Nemotron 3.5 Bolt 74B A9B працює на Mac?
- Швидкість генерації залежить від пропускної здатності пам’яті. Найшвидший Mac для неї тут — M5 Ultra із 96 ГБ: близько 74–132 токенів за секунду (6 біт). Мінімальний Mac, що її запускає, — M2 Ultra із 64 ГБ — видає близько 71–125.
- Чому Nemotron 3.5 Bolt 74B A9B працює швидше, ніж можна очікувати з її розміру?
- Це модель mixture-of-experts: вона тримає в пам’яті 74B параметрів, але на кожен токен читає лише 9B, тож пише зі швидкістю значно меншої моделі.
Схожі моделі
Для картки моделі або README
Показує мінімальний Mac, на якому Nemotron 3.5 Bolt 74B A9B добре працює, і веде сюди.
[](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)Як це розраховано
Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.