ВойтиСоздать кошелек

Что запустит M3 Ultra с 96 ГБ?

На нем хорошо работают 43 из 73 открытых моделей. По умолчанию GPU может использовать около 72 ГБ из 96 ГБ, а память читается со скоростью 819 ГБ/с — от этого зависит скорость генерации. Встречается в: Mac Studio (2025).

Самая умная из работающих хорошоQwen3.8 27B8 бит · 28,7 ГБ · 13–23 tok/sСамая большая из работающих хорошоgpt-oss-120bнативные 4,25 бит · 65,3 ГБ · 137–243 tok/sДля кодаQwen3 Coder Next6 бит · 65 ГБ · 154–273 tok/s

Работают хорошо 48

Помещается с запасом для контекста, 10 и более токенов в секунду.

МодельВерсияПамятьТокенов/с
Qwen3.8 27B27B · Интеллект 33,78 бит28,7 ГБ13–23
Nemotron 3.5 Bolt 74B A9B74B · активных: 9B · Интеллект 21,46 бит60,1 ГБ50–90
Qwen3.6 35B A3B35B · активных: 3B · Интеллект 18,28 бит37,2 ГБ115–205
Muse Glimmer 30B29,6B · Интеллект 17,58 бит31,5 ГБ12–21
Gemma 4 31B30,7B · Интеллект 14,78 бит32,6 ГБ11–20
Nemotron 3.5 Lightning 30B A3B30B · активных: 3B · Интеллект 12,98 бит31,9 ГБ115–205
Granite 4.2 30B30B · Интеллект 12,78 бит31,9 ГБ12–21
MiniCPM5 2B2,52B · Интеллект 12,58 бит2,7 ГБ137–243
gpt-oss-120b117B · активных: 5,1B · Интеллект 11,6нативные 4,25 бит65,3 ГБ137–243
Qwen3.5 9B9B · Интеллект 11,28 бит9,6 ГБ38–68
Granite 4.2 8B8B · Интеллект 11,18 бит8,5 ГБ43–77
Qwen3 Coder Next80B · активных: 3B · Интеллект 9,26 бит65 ГБ154–273
Granite 4.2 3B3B · Интеллект 9,18 бит3,2 ГБ115–205
gpt-oss-20b21B · активных: 3,6B · Интеллект 9нативные 4,25 бит13,8 ГБ194–345
Nemotron 3 Nano 30B A3B30B · активных: 3,5B · Интеллект 8,98 бит31,9 ГБ100–177
Gemma 4 E4B8B · Интеллект 8,98 бит8,5 ГБ77–137
Llama 4 Scout 17B-16E Instruct109B · активных: 17B · Интеллект 6,54 бит61,3 ГБ38–68
Ministral 3 8B8,9B · Интеллект 5,58 бит9,5 ГБ39–69
Nemotron 3 Nano 4B3,97B · Интеллект 4,88 бит4,2 ГБ88–156
GLM-4.5 Air106B · активных: 12B4 бит59,6 ГБ54–96
Qwen3 Coder 30B A3B Instruct30,5B · активных: 3,3B8 бит32,4 ГБ105–187
GLM-4.7 Flash30B · активных: 3B8 бит31,9 ГБ115–205
Qwen3.6 27B27B8 бит28,7 ГБ13–23
Gemma 4 26B A4B25,2B · активных: 3,8B8 бит26,8 ГБ92–164
Devstral Small 2 (24B)24B8 бит25,5 ГБ14–26
Magistral Small 1.2 (2509)24B8 бит25,5 ГБ14–26
Mistral Small 3.2 (24B)24B8 бит25,5 ГБ14–26
LFM2.5 24B A2B24B · активных: 2B8 бит25,5 ГБ176–312
Phi-4 Reasoning Vision 15B15B8 бит15,9 ГБ23–41
Phi-4 (14B)14B8 бит14,9 ГБ25–44
Gemma 4 12B Unified12B8 бит12,7 ГБ29–52
Qwen3 8B8,2B8 бит8,7 ГБ42–75
Llama 3.1 8B Instruct8B8 бит8,5 ГБ43–77
Gemma 4 E2B5,1B8 бит5,4 ГБ154–273
Qwen3.5 4B4B8 бит4,3 ГБ86–152
Phi-4 mini instruct3,8B8 бит4 ГБ92–164
Llama 3.2 3B Instruct3,21B8 бит3,4 ГБ108–193
SmolLM3 3B3B8 бит3,2 ГБ115–205
LFM2.5 2.6B2,69B8 бит2,9 ГБ127–226
Qwen3.5 2B2B8 бит2,1 ГБ176–312
Llama 3.2 1B Instruct1,23B8 бит1,3 ГБ284–504
Qwen3.5 0.8B0,8B8 бит0,9 ГБ410–728
Qwen3 0.6B0,6B8 бит0,6 ГБ614–1092
Qwen3.8 Flash Next180B · активных: 6B · Интеллект 39,82 бит ниже качество56,3 ГБ194–345
Qwen3.5 122B A10B122B · активных: 10B · Интеллект 15,63 бит ниже качество53,4 ГБ84–149
Mistral Small 4 (119B)119B · активных: 6,5B · Интеллект 11,33 бит ниже качество52,1 ГБ132–234
Ornith 1.5 122B122B · активных: 10B3 бит ниже качество53,4 ГБ84–149
Nemotron 3 Super 120B A12B120B · активных: 12B3 бит ниже качество52,5 ГБ70–124

Работают, но медленно 3

Помещается, но меньше 10 токенов в секунду: подойдет для пакетных задач, для чата медленно.

МодельВерсияПамятьТокенов/с
Llama 3.3 70B Instruct70B6 бит56,9 ГБ6–12
Mistral Medium 3.5 (128B)128B · Интеллект 14,23 бит ниже качество56 ГБ7–12
Devstral 2 (123B)123B3 бит ниже качество53,8 ГБ7–12

Еле помещаются 1

Занимает почти всю память: поднимите лимит памяти GPU и держите контекст коротким.

МодельВерсияПамятьТокенов/с
MiniMax M2.7230B · активных: 10B2 бит ниже качество71,9 ГБ119–211

Слишком большие 21

Нужно больше 96 ГБ памяти, даже при 2 битах.

Другие Mac

Все Mac с 96 ГБ, на любом чипе.

M3 Ultra с другим объемом памяти:

Соседние чипы:

Один на один:

Против ПК и видеокарт:

Сравнить с любым Mac или GPU · M3 Ultra для локального ИИ · Лучший Mac для локальных LLM · Все Mac

Вопросы

Какая LLM лучше всего подходит для M3 Ultra с 96 ГБ?
Среди моделей с опубликованным Intelligence Index выше всех из тех, что здесь хорошо работают, оценена Qwen3.8 27B: 8 бит, около 13–23 токенов в секунду. Самая большая из хорошо работающих — gpt-oss-120b.
Запустит ли M3 Ultra с 96 ГБ Llama 3.3 70B?
Да, но медленно: 6 бит, около 6–12 токенов в секунду.
Насколько быстро gpt-oss-20b работает на M3 Ultra?
Около 194–345 токенов в секунду (нативные 4,25 бит) при пропускной способности памяти чипа 819 ГБ/с.

Запускайте их в MLX Harness (бесплатно, открытый код) или через mlx-lm от Apple в Терминале: пошагово.

Как это рассчитано

Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.

Какие LLM запустит M3 Ultra с 96 ГБ? Все модели и скорость