ВойтиСоздать кошелек

Что запустит M3 Max с 96 ГБ?

На нем хорошо работают 38 из 73 открытых моделей. По умолчанию GPU может использовать около 72 ГБ из 96 ГБ, а память читается со скоростью 300 ГБ/с — от этого зависит скорость генерации. Встречается в: MacBook Pro (14-inch, M3 Pro or M3 Max, Nov 2023), MacBook Pro (16-inch, Nov 2023).

Самая умная из работающих хорошоNemotron 3.5 Bolt 74B A9B6 бит · 60,1 ГБ · 18–33 tok/sСамая большая из работающих хорошоgpt-oss-120bнативные 4,25 бит · 65,3 ГБ · 50–89 tok/sДля кодаQwen3 Coder Next6 бит · 65 ГБ · 56–100 tok/s

Работают хорошо 43

Помещается с запасом для контекста, 10 и более токенов в секунду.

МодельВерсияПамятьТокенов/с
Nemotron 3.5 Bolt 74B A9B74B · активных: 9B · Интеллект 21,46 бит60,1 ГБ18–33
Qwen3.6 35B A3B35B · активных: 3B · Интеллект 18,28 бит37,2 ГБ42–75
Nemotron 3.5 Lightning 30B A3B30B · активных: 3B · Интеллект 12,98 бит31,9 ГБ42–75
MiniCPM5 2B2,52B · Интеллект 12,58 бит2,7 ГБ50–89
gpt-oss-120b117B · активных: 5,1B · Интеллект 11,6нативные 4,25 бит65,3 ГБ50–89
Qwen3.5 9B9B · Интеллект 11,28 бит9,6 ГБ14–25
Granite 4.2 8B8B · Интеллект 11,18 бит8,5 ГБ16–28
Qwen3 Coder Next80B · активных: 3B · Интеллект 9,26 бит65 ГБ56–100
Granite 4.2 3B3B · Интеллект 9,18 бит3,2 ГБ42–75
gpt-oss-20b21B · активных: 3,6B · Интеллект 9нативные 4,25 бит13,8 ГБ71–126
Nemotron 3 Nano 30B A3B30B · активных: 3,5B · Интеллект 8,98 бит31,9 ГБ36–65
Gemma 4 E4B8B · Интеллект 8,98 бит8,5 ГБ28–50
Llama 4 Scout 17B-16E Instruct109B · активных: 17B · Интеллект 6,54 бит61,3 ГБ14–25
Ministral 3 8B8,9B · Интеллект 5,58 бит9,5 ГБ14–25
Nemotron 3 Nano 4B3,97B · Интеллект 4,88 бит4,2 ГБ32–57
GLM-4.5 Air106B · активных: 12B4 бит59,6 ГБ20–35
Qwen3 Coder 30B A3B Instruct30,5B · активных: 3,3B8 бит32,4 ГБ39–69
GLM-4.7 Flash30B · активных: 3B8 бит31,9 ГБ42–75
Gemma 4 26B A4B25,2B · активных: 3,8B8 бит26,8 ГБ34–60
Devstral Small 2 (24B)24B4 бит13,5 ГБ10–18
Magistral Small 1.2 (2509)24B4 бит13,5 ГБ10–18
Mistral Small 3.2 (24B)24B4 бит13,5 ГБ10–18
LFM2.5 24B A2B24B · активных: 2B8 бит25,5 ГБ64–114
Phi-4 Reasoning Vision 15B15B6 бит12,2 ГБ11–20
Phi-4 (14B)14B6 бит11,4 ГБ12–21
Gemma 4 12B Unified12B8 бит12,7 ГБ11–19
Qwen3 8B8,2B8 бит8,7 ГБ16–28
Llama 3.1 8B Instruct8B8 бит8,5 ГБ16–28
Gemma 4 E2B5,1B8 бит5,4 ГБ56–100
Qwen3.5 4B4B8 бит4,3 ГБ31–56
Phi-4 mini instruct3,8B8 бит4 ГБ34–60
Llama 3.2 3B Instruct3,21B8 бит3,4 ГБ40–71
SmolLM3 3B3B8 бит3,2 ГБ42–75
LFM2.5 2.6B2,69B8 бит2,9 ГБ47–83
Qwen3.5 2B2B8 бит2,1 ГБ64–114
Llama 3.2 1B Instruct1,23B8 бит1,3 ГБ104–185
Qwen3.5 0.8B0,8B8 бит0,9 ГБ150–267
Qwen3 0.6B0,6B8 бит0,6 ГБ225–400
Qwen3.8 Flash Next180B · активных: 6B · Интеллект 39,82 бит ниже качество56,3 ГБ71–126
Qwen3.5 122B A10B122B · активных: 10B · Интеллект 15,63 бит ниже качество53,4 ГБ31–55
Mistral Small 4 (119B)119B · активных: 6,5B · Интеллект 11,33 бит ниже качество52,1 ГБ48–86
Ornith 1.5 122B122B · активных: 10B3 бит ниже качество53,4 ГБ31–55
Nemotron 3 Super 120B A12B120B · активных: 12B3 бит ниже качество52,5 ГБ25–45

Работают, но медленно 8

Помещается, но меньше 10 токенов в секунду: подойдет для пакетных задач, для чата медленно.

МодельВерсияПамятьТокенов/с
Qwen3.8 27B27B · Интеллект 33,78 бит28,7 ГБ5–8
Muse Glimmer 30B29,6B · Интеллект 17,58 бит31,5 ГБ4–8
Gemma 4 31B30,7B · Интеллект 14,78 бит32,6 ГБ4–7
Granite 4.2 30B30B · Интеллект 12,78 бит31,9 ГБ4–8
Llama 3.3 70B Instruct70B6 бит56,9 ГБ2–4
Qwen3.6 27B27B8 бит28,7 ГБ5–8
Mistral Medium 3.5 (128B)128B · Интеллект 14,23 бит ниже качество56 ГБ2–4
Devstral 2 (123B)123B3 бит ниже качество53,8 ГБ3–4

Еле помещаются 1

Занимает почти всю память: поднимите лимит памяти GPU и держите контекст коротким.

МодельВерсияПамятьТокенов/с
MiniMax M2.7230B · активных: 10B2 бит ниже качество71,9 ГБ44–77

Слишком большие 21

Нужно больше 96 ГБ памяти, даже при 2 битах.

Другие Mac

Все Mac с 96 ГБ, на любом чипе.

M3 Max с другим объемом памяти:

Соседние чипы:

Один на один:

Сравнить с любым Mac или GPU · M3 Max для локального ИИ · Лучший Mac для локальных LLM · Все Mac

Вопросы

Какая LLM лучше всего подходит для M3 Max с 96 ГБ?
Среди моделей с опубликованным Intelligence Index выше всех из тех, что здесь хорошо работают, оценена Nemotron 3.5 Bolt 74B A9B: 6 бит, около 18–33 токенов в секунду. Самая большая из хорошо работающих — gpt-oss-120b.
Запустит ли M3 Max с 96 ГБ Llama 3.3 70B?
Да, но медленно: 6 бит, около 2–4 токенов в секунду.
Насколько быстро gpt-oss-20b работает на M3 Max?
Около 71–126 токенов в секунду (нативные 4,25 бит) при пропускной способности памяти чипа 300 ГБ/с.

Запускайте их в MLX Harness (бесплатно, открытый код) или через mlx-lm от Apple в Терминале: пошагово.

Как это рассчитано

Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.

Какие LLM запустит M3 Max с 96 ГБ? Все модели и скорость