Яка LLM найкраще підходить для M4 із 24 ГБ?

Серед моделей з опублікованим Intelligence Index найвищу оцінку з тих, що тут добре працюють, має MiniCPM5 2B: 8 біт, близько 20–36 токенів за секунду. Найбільша з тих, що працюють добре, — Gemma 4 26B A4B.

Чи запустить M4 із 24 ГБ Llama 3.3 70B?

Ні: навіть за 2 біт їй потрібно більше ніж 18 ГБ, які GPU може використовувати за замовчуванням.

Наскільки швидко gpt-oss-20b працює на M4?

Близько 28–51 токенів за секунду (нативні 4,25 біт) за пропускної здатності пам’яті чипа 120 ГБ/с.

Які LLM запустить M4 із 24 ГБ? Усі моделі та швидкість

Працюють добре 27

Вміщується із запасом для контексту, 10 і більше токенів за секунду.

Модель	Версія	Пам’ять	Токенів/с
MiniCPM5 2B2,52B · Інтелект 12,5	8 біт	2,7 ГБ	20–36
Qwen3.5 9B9B · Інтелект 11,2	4 біт	5,1 ГБ	11–19
Granite 4.2 8B8B · Інтелект 11,1	4 біт	4,5 ГБ	12–21
Granite 4.2 3B3B · Інтелект 9,1	8 біт	3,2 ГБ	17–30
gpt-oss-20b21B · активних: 3,6B · Інтелект 9	нативні 4,25 біт	13,8 ГБ	28–51
Gemma 4 E4B8B · Інтелект 8,9	8 біт	8,5 ГБ	11–20
Ministral 3 8B8,9B · Інтелект 5,5	4 біт	5 ГБ	11–19
Nemotron 3 Nano 4B3,97B · Інтелект 4,8	8 біт	4,2 ГБ	13–23
Gemma 4 26B A4B25,2B · активних: 3,8B	4 біт	14,2 ГБ	26–46
LFM2.5 24B A2B24B · активних: 2B	4 біт	13,5 ГБ	49–87
Qwen3 8B8,2B	4 біт	4,6 ГБ	12–21
Llama 3.1 8B Instruct8B	4 біт	4,5 ГБ	12–21
Gemma 4 E2B5,1B	8 біт	5,4 ГБ	23–40
Qwen3.5 4B4B	8 біт	4,3 ГБ	13–22
Phi-4 mini instruct3,8B	8 біт	4 ГБ	14–24
Llama 3.2 3B Instruct3,21B	8 біт	3,4 ГБ	16–28
SmolLM3 3B3B	8 біт	3,2 ГБ	17–30
LFM2.5 2.6B2,69B	8 біт	2,9 ГБ	19–33
Qwen3.5 2B2B	8 біт	2,1 ГБ	26–46
Llama 3.2 1B Instruct1,23B	8 біт	1,3 ГБ	42–74
Qwen3.5 0.8B0,8B	8 біт	0,9 ГБ	60–107
Qwen3 0.6B0,6B	8 біт	0,6 ГБ	90–160
Qwen3.6 35B A3B35B · активних: 3B · Інтелект 18,2	3 біт нижча якість	15,3 ГБ	42–74
Nemotron 3.5 Lightning 30B A3B30B · активних: 3B · Інтелект 12,9	3 біт нижча якість	13,1 ГБ	42–74
Nemotron 3 Nano 30B A3B30B · активних: 3,5B · Інтелект 8,9	3 біт нижча якість	13,1 ГБ	36–64
Qwen3 Coder 30B A3B Instruct30,5B · активних: 3,3B	3 біт нижча якість	13,3 ГБ	39–69
GLM-4.7 Flash30B · активних: 3B	3 біт нижча якість	13,1 ГБ	42–74

Працюють, але повільно 11

Вміщується, але менше 10 токенів за секунду: годиться для пакетних задач, для чату повільно.

Модель	Версія	Пам’ять	Токенів/с
Qwen3.8 27B27B · Інтелект 33,7	4 біт	15,2 ГБ	4–6
Qwen3.6 27B27B	4 біт	15,2 ГБ	4–6
Devstral Small 2 (24B)24B	4 біт	13,5 ГБ	4–7
Magistral Small 1.2 (2509)24B	4 біт	13,5 ГБ	4–7
Mistral Small 3.2 (24B)24B	4 біт	13,5 ГБ	4–7
Phi-4 Reasoning Vision 15B15B	8 біт	15,9 ГБ	3–6
Phi-4 (14B)14B	8 біт	14,9 ГБ	4–6
Gemma 4 12B Unified12B	8 біт	12,7 ГБ	4–8
Muse Glimmer 30B29,6B · Інтелект 17,5	3 біт нижча якість	13 ГБ	4–7
Gemma 4 31B30,7B · Інтелект 14,7	3 біт нижча якість	13,4 ГБ	4–7
Granite 4.2 30B30B · Інтелект 12,7	3 біт нижча якість	13,1 ГБ	4–7

Завеликі 35

Потрібно більше ніж 24 ГБ пам’яті, навіть за 2 біт.

Інші Mac

Усі Mac із 24 ГБ, на будь-якому чипі.

M4 з іншим обсягом пам’яті:

Сусідні чипи:

Віч-на-віч:

Порівняти з будь-яким Mac або GPU · M4 для локального ШІ · Найкращий Mac для локальних LLM · Усі Mac

Запитання

Яка LLM найкраще підходить для M4 із 24 ГБ?: Серед моделей з опублікованим Intelligence Index найвищу оцінку з тих, що тут добре працюють, має MiniCPM5 2B: 8 біт, близько 20–36 токенів за секунду. Найбільша з тих, що працюють добре, — Gemma 4 26B A4B.
Чи запустить M4 із 24 ГБ Llama 3.3 70B?: Ні: навіть за 2 біт їй потрібно більше ніж 18 ГБ, які GPU може використовувати за замовчуванням.
Наскільки швидко gpt-oss-20b працює на M4?: Близько 28–51 токенів за секунду (нативні 4,25 біт) за пропускної здатності пам’яті чипа 120 ГБ/с.

Запускайте їх у MLX Harness (безкоштовно, відкритий код) або через mlx-lm від Apple у Терміналі: покроково.

Як це розраховано

Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.