ВойтиСоздать кошелек

Лучшие LLM для Mac с 96 ГБ.

В 96 ГБ хорошо работают 44 из 73 открытых моделей. По умолчанию GPU может использовать около 72 ГБ. Скорость зависит от чипа: от 300 ГБ/с у M3 Max до 1 200 ГБ/с у M5 Ultra.

Самая умная из работающих хорошоQwen3.8 27B8 бит · 28,7 ГБ · 5–33 tok/sСамая большая из работающих хорошоgpt-oss-120bнативные 4,25 бит · 65,3 ГБ · 50–356 tok/sДля кодаQwen3 Coder Next6 бит · 65 ГБ · 56–400 tok/s

Mac с 96 ГБ

Чипов M2–M5 с 96 ГБ: 4. Откройте любой, чтобы увидеть его список и скорость.

Работают хорошо 51

Помещается с запасом для контекста, 10 и более токенов в секунду на M5 Ultra.

МодельВерсияПамятьM3 MaxM5 Ultra
Qwen3.8 27B27B · Интеллект 33,78 бит28,7 ГБ5–819–33
Nemotron 3.5 Bolt 74B A9B74B · активных: 9B · Интеллект 21,46 бит60,1 ГБ18–3374–132
Qwen3.6 35B A3B35B · активных: 3B · Интеллект 18,28 бит37,2 ГБ42–75169–300
Muse Glimmer 30B29,6B · Интеллект 17,58 бит31,5 ГБ4–817–30
Gemma 4 31B30,7B · Интеллект 14,78 бит32,6 ГБ4–717–29
Nemotron 3.5 Lightning 30B A3B30B · активных: 3B · Интеллект 12,98 бит31,9 ГБ42–75169–300
Granite 4.2 30B30B · Интеллект 12,78 бит31,9 ГБ4–817–30
MiniCPM5 2B2,52B · Интеллект 12,58 бит2,7 ГБ50–89200–356
gpt-oss-120b117B · активных: 5,1B · Интеллект 11,6нативные 4,25 бит65,3 ГБ50–89200–356
Qwen3.5 9B9B · Интеллект 11,28 бит9,6 ГБ14–2556–100
Granite 4.2 8B8B · Интеллект 11,18 бит8,5 ГБ16–2864–113
Qwen3 Coder Next80B · активных: 3B · Интеллект 9,26 бит65 ГБ56–100225–400
Granite 4.2 3B3B · Интеллект 9,18 бит3,2 ГБ42–75169–300
gpt-oss-20b21B · активных: 3,6B · Интеллект 9нативные 4,25 бит13,8 ГБ71–126284–505
Nemotron 3 Nano 30B A3B30B · активных: 3,5B · Интеллект 8,98 бит31,9 ГБ36–65146–259
Gemma 4 E4B8B · Интеллект 8,98 бит8,5 ГБ28–50113–200
Llama 4 Scout 17B-16E Instruct109B · активных: 17B · Интеллект 6,54 бит61,3 ГБ14–2556–100
Ministral 3 8B8,9B · Интеллект 5,58 бит9,5 ГБ14–2557–101
Nemotron 3 Nano 4B3,97B · Интеллект 4,88 бит4,2 ГБ32–57129–229
GLM-4.5 Air106B · активных: 12B4 бит59,6 ГБ20–3579–141
Llama 3.3 70B Instruct70B4 бит39,4 ГБ2–414–24
Qwen3 Coder 30B A3B Instruct30,5B · активных: 3,3B8 бит32,4 ГБ39–69154–274
GLM-4.7 Flash30B · активных: 3B8 бит31,9 ГБ42–75169–300
Qwen3.6 27B27B8 бит28,7 ГБ5–819–33
Gemma 4 26B A4B25,2B · активных: 3,8B8 бит26,8 ГБ34–60135–240
Devstral Small 2 (24B)24B8 бит25,5 ГБ10–1821–38
Magistral Small 1.2 (2509)24B8 бит25,5 ГБ10–1821–38
Mistral Small 3.2 (24B)24B8 бит25,5 ГБ10–1821–38
LFM2.5 24B A2B24B · активных: 2B8 бит25,5 ГБ64–114257–457
Phi-4 Reasoning Vision 15B15B8 бит15,9 ГБ11–2034–60
Phi-4 (14B)14B8 бит14,9 ГБ12–2136–64
Gemma 4 12B Unified12B8 бит12,7 ГБ11–1943–76
Qwen3 8B8,2B8 бит8,7 ГБ16–2862–110
Llama 3.1 8B Instruct8B8 бит8,5 ГБ16–2864–113
Gemma 4 E2B5,1B8 бит5,4 ГБ56–100225–400
Qwen3.5 4B4B8 бит4,3 ГБ31–56126–223
Phi-4 mini instruct3,8B8 бит4 ГБ34–60135–240
Llama 3.2 3B Instruct3,21B8 бит3,4 ГБ40–71159–282
SmolLM3 3B3B8 бит3,2 ГБ42–75169–300
LFM2.5 2.6B2,69B8 бит2,9 ГБ47–83186–331
Qwen3.5 2B2B8 бит2,1 ГБ64–114257–457
Llama 3.2 1B Instruct1,23B8 бит1,3 ГБ104–185415–738
Qwen3.5 0.8B0,8B8 бит0,9 ГБ150–267600–1067
Qwen3 0.6B0,6B8 бит0,6 ГБ225–400900–1600
Qwen3.8 Flash Next180B · активных: 6B · Интеллект 39,82 бит ниже качество56,3 ГБ71–126284–505
Qwen3.5 122B A10B122B · активных: 10B · Интеллект 15,63 бит ниже качество53,4 ГБ31–55123–218
Mistral Medium 3.5 (128B)128B · Интеллект 14,23 бит ниже качество56 ГБ2–410–17
Mistral Small 4 (119B)119B · активных: 6,5B · Интеллект 11,33 бит ниже качество52,1 ГБ48–86193–343
Devstral 2 (123B)123B3 бит ниже качество53,8 ГБ3–410–18
Ornith 1.5 122B122B · активных: 10B3 бит ниже качество53,4 ГБ31–55123–218
Nemotron 3 Super 120B A12B120B · активных: 12B3 бит ниже качество52,5 ГБ25–45102–181

Еле помещаются 1

Занимает почти всю память: поднимите лимит памяти GPU и держите контекст коротким.

МодельВерсияПамятьM3 MaxM5 Ultra
MiniMax M2.7230B · активных: 10B2 бит ниже качество71,9 ГБ44–77174–310

Слишком большие 21

Нужно больше 96 ГБ памяти, даже при 2 битах.

Вопросы

Какая LLM лучше всего подходит для Mac с 96 ГБ?
Среди моделей с опубликованным Intelligence Index выше всех из тех, что хорошо работают в 96 ГБ, оценена Qwen3.8 27B (8 бит). Самая большая из хорошо работающих — gpt-oss-120b. Для кода: Qwen3 Coder Next.
Хватит ли 96 ГБ для локального ИИ на Mac?
Из 73 открытых моделей здесь 44 хорошо работают в таком объеме при 4 битах или лучше. По умолчанию macOS отдает GPU около 72 ГБ; модель и ее контекст должны поместиться в этот объем.
Запустит ли Mac с 96 ГБ gpt-oss-20b?
Да, нативные 4,25 бит: около 71–126 токенов в секунду на M3 Max и 284–505 на M5 Ultra.

Другие объемы: 8 ГБ · 16 ГБ · 18 ГБ · 24 ГБ · 32 ГБ · 36 ГБ · 48 ГБ · 64 ГБ · 96 ГБ · 128 ГБ · 192 ГБ · 256 ГБ · 512 ГБ

Запускайте их в MLX Harness (бесплатно, открытый код) или через mlx-lm от Apple в Терминале: пошагово.

Как это рассчитано

Память: параметры модели при 8, 6, 4, 3 или 2 битах на вес плюс групповые масштабы MLX (полбита на вес) или ее нативный формат, а сверху — место для контекста. По умолчанию macOS отдает GPU около 75% объединенной памяти. Скорость: пропускная способность памяти, деленная на число байтов, читаемых на каждый токен, — это потолок для одного диалога; в публичных тестах llama.cpp на Apple Silicon реальные запуски достигают примерно 45–80% от него, и показан именно этот диапазон. Это оценки, а не измерения: измерьте свой Mac в MLX Bench. Данные моделей — из официальных карточек моделей, данные чипов — из технических характеристик Apple. Проверено 2026-10-19. Те же данные, что и на mlx.app/compare.

Лучшие локальные LLM для Mac с 96 ГБ (M2–M5): что работает