Яка LLM найкраще підходить для M2 із 24 ГБ?

Серед моделей з опублікованим Intelligence Index найвищу оцінку з тих, що тут добре працюють, має MiniCPM5 2B: 8 біт, близько 17–30 токенів за секунду. Найбільша з тих, що працюють добре, — Gemma 4 26B A4B.

Чи запустить M2 із 24 ГБ Llama 3.3 70B?

Ні: навіть за 2 біт їй потрібно більше ніж 18 ГБ, які GPU може використовувати за замовчуванням.

Наскільки швидко gpt-oss-20b працює на M2?

Близько 24–42 токенів за секунду (нативні 4,25 біт) за пропускної здатності пам’яті чипа 100 ГБ/с.

Які LLM запустить M2 із 24 ГБ? Усі моделі та швидкість

Працюють добре 25

Вміщується із запасом для контексту, 10 і більше токенів за секунду.

Модель	Версія	Пам’ять	Токенів/с
MiniCPM5 2B2,52B · Інтелект 12,5	8 біт	2,7 ГБ	17–30
Granite 4.2 8B8B · Інтелект 11,1	4 біт	4,5 ГБ	10–18
Granite 4.2 3B3B · Інтелект 9,1	8 біт	3,2 ГБ	14–25
gpt-oss-20b21B · активних: 3,6B · Інтелект 9	нативні 4,25 біт	13,8 ГБ	24–42
Gemma 4 E4B8B · Інтелект 8,9	6 біт	6,5 ГБ	12–22
Nemotron 3 Nano 4B3,97B · Інтелект 4,8	8 біт	4,2 ГБ	11–19
Gemma 4 26B A4B25,2B · активних: 3,8B	4 біт	14,2 ГБ	21–38
LFM2.5 24B A2B24B · активних: 2B	4 біт	13,5 ГБ	41–73
Qwen3 8B8,2B	4 біт	4,6 ГБ	10–17
Llama 3.1 8B Instruct8B	4 біт	4,5 ГБ	10–18
Gemma 4 E2B5,1B	8 біт	5,4 ГБ	19–33
Qwen3.5 4B4B	8 біт	4,3 ГБ	10–19
Phi-4 mini instruct3,8B	8 біт	4 ГБ	11–20
Llama 3.2 3B Instruct3,21B	8 біт	3,4 ГБ	13–24
SmolLM3 3B3B	8 біт	3,2 ГБ	14–25
LFM2.5 2.6B2,69B	8 біт	2,9 ГБ	16–28
Qwen3.5 2B2B	8 біт	2,1 ГБ	21–38
Llama 3.2 1B Instruct1,23B	8 біт	1,3 ГБ	35–62
Qwen3.5 0.8B0,8B	8 біт	0,9 ГБ	50–89
Qwen3 0.6B0,6B	8 біт	0,6 ГБ	75–133
Qwen3.6 35B A3B35B · активних: 3B · Інтелект 18,2	3 біт нижча якість	15,3 ГБ	35–62
Nemotron 3.5 Lightning 30B A3B30B · активних: 3B · Інтелект 12,9	3 біт нижча якість	13,1 ГБ	35–62
Nemotron 3 Nano 30B A3B30B · активних: 3,5B · Інтелект 8,9	3 біт нижча якість	13,1 ГБ	30–53
Qwen3 Coder 30B A3B Instruct30,5B · активних: 3,3B	3 біт нижча якість	13,3 ГБ	32–57
GLM-4.7 Flash30B · активних: 3B	3 біт нижча якість	13,1 ГБ	35–62

Працюють, але повільно 13

Вміщується, але менше 10 токенів за секунду: годиться для пакетних задач, для чату повільно.

Модель	Версія	Пам’ять	Токенів/с
Qwen3.8 27B27B · Інтелект 33,7	4 біт	15,2 ГБ	3–5
Qwen3.5 9B9B · Інтелект 11,2	8 біт	9,6 ГБ	5–8
Ministral 3 8B8,9B · Інтелект 5,5	8 біт	9,5 ГБ	5–8
Qwen3.6 27B27B	4 біт	15,2 ГБ	3–5
Devstral Small 2 (24B)24B	4 біт	13,5 ГБ	3–6
Magistral Small 1.2 (2509)24B	4 біт	13,5 ГБ	3–6
Mistral Small 3.2 (24B)24B	4 біт	13,5 ГБ	3–6
Phi-4 Reasoning Vision 15B15B	8 біт	15,9 ГБ	3–5
Phi-4 (14B)14B	8 біт	14,9 ГБ	3–5
Gemma 4 12B Unified12B	8 біт	12,7 ГБ	4–6
Muse Glimmer 30B29,6B · Інтелект 17,5	3 біт нижча якість	13 ГБ	3–6
Gemma 4 31B30,7B · Інтелект 14,7	3 біт нижча якість	13,4 ГБ	3–6
Granite 4.2 30B30B · Інтелект 12,7	3 біт нижча якість	13,1 ГБ	3–6

Завеликі 35

Потрібно більше ніж 24 ГБ пам’яті, навіть за 2 біт.

Інші Mac

Усі Mac із 24 ГБ, на будь-якому чипі.

M2 з іншим обсягом пам’яті:

Сусідні чипи:

Віч-на-віч:

Порівняти з будь-яким Mac або GPU · M2 для локального ШІ · Найкращий Mac для локальних LLM · Усі Mac

Запитання

Яка LLM найкраще підходить для M2 із 24 ГБ?: Серед моделей з опублікованим Intelligence Index найвищу оцінку з тих, що тут добре працюють, має MiniCPM5 2B: 8 біт, близько 17–30 токенів за секунду. Найбільша з тих, що працюють добре, — Gemma 4 26B A4B.
Чи запустить M2 із 24 ГБ Llama 3.3 70B?: Ні: навіть за 2 біт їй потрібно більше ніж 18 ГБ, які GPU може використовувати за замовчуванням.
Наскільки швидко gpt-oss-20b працює на M2?: Близько 24–42 токенів за секунду (нативні 4,25 біт) за пропускної здатності пам’яті чипа 100 ГБ/с.

Запускайте їх у MLX Harness (безкоштовно, відкритий код) або через mlx-lm від Apple у Терміналі: покроково.

Як це розраховано

Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.