Яка LLM найкраще підходить для M2 із 16 ГБ?

Серед моделей з опублікованим Intelligence Index найвищу оцінку з тих, що тут добре працюють, має MiniCPM5 2B: 8 біт, близько 17–30 токенів за секунду. Найбільша з тих, що працюють добре, — Qwen3 8B.

Чи запустить M2 із 16 ГБ Llama 3.3 70B?

Ні: навіть за 2 біт їй потрібно більше ніж 12 ГБ, які GPU може використовувати за замовчуванням.

Наскільки швидко gpt-oss-20b працює на M2?

Близько 28–50 токенів за секунду (3 біт) за пропускної здатності пам’яті чипа 100 ГБ/с.

Які LLM запустить M2 із 16 ГБ? Усі моделі та швидкість

Працюють добре 24

Вміщується із запасом для контексту, 10 і більше токенів за секунду.

Модель	Версія	Пам’ять	Токенів/с
MiniCPM5 2B2,52B · Інтелект 12,5	8 біт	2,7 ГБ	17–30
Granite 4.2 8B8B · Інтелект 11,1	4 біт	4,5 ГБ	10–18
Granite 4.2 3B3B · Інтелект 9,1	8 біт	3,2 ГБ	14–25
Gemma 4 E4B8B · Інтелект 8,9	6 біт	6,5 ГБ	12–22
Nemotron 3 Nano 4B3,97B · Інтелект 4,8	8 біт	4,2 ГБ	11–19
Qwen3 8B8,2B	4 біт	4,6 ГБ	10–17
Llama 3.1 8B Instruct8B	4 біт	4,5 ГБ	10–18
Gemma 4 E2B5,1B	8 біт	5,4 ГБ	19–33
Qwen3.5 4B4B	8 біт	4,3 ГБ	10–19
Phi-4 mini instruct3,8B	8 біт	4 ГБ	11–20
Llama 3.2 3B Instruct3,21B	8 біт	3,4 ГБ	13–24
SmolLM3 3B3B	8 біт	3,2 ГБ	14–25
LFM2.5 2.6B2,69B	8 біт	2,9 ГБ	16–28
Qwen3.5 2B2B	8 біт	2,1 ГБ	21–38
Llama 3.2 1B Instruct1,23B	8 біт	1,3 ГБ	35–62
Qwen3.5 0.8B0,8B	8 біт	0,9 ГБ	50–89
Qwen3 0.6B0,6B	8 біт	0,6 ГБ	75–133
Nemotron 3.5 Lightning 30B A3B30B · активних: 3B · Інтелект 12,9	2 біт нижча якість	9,4 ГБ	50–89
gpt-oss-20b21B · активних: 3,6B · Інтелект 9	3 біт нижча якість	9,2 ГБ	28–50
Nemotron 3 Nano 30B A3B30B · активних: 3,5B · Інтелект 8,9	2 біт нижча якість	9,4 ГБ	41–73
Qwen3 Coder 30B A3B Instruct30,5B · активних: 3,3B	2 біт нижча якість	9,5 ГБ	45–80
GLM-4.7 Flash30B · активних: 3B	2 біт нижча якість	9,4 ГБ	50–89
Gemma 4 26B A4B25,2B · активних: 3,8B	2 біт нижча якість	7,9 ГБ	38–67
LFM2.5 24B A2B24B · активних: 2B	3 біт нижча якість	10,5 ГБ	50–89

Працюють, але повільно 13

Вміщується, але менше 10 токенів за секунду: годиться для пакетних задач, для чату повільно.

Модель	Версія	Пам’ять	Токенів/с
Qwen3.5 9B9B · Інтелект 11,2	8 біт	9,6 ГБ	5–8
Ministral 3 8B8,9B · Інтелект 5,5	8 біт	9,5 ГБ	5–8
Phi-4 Reasoning Vision 15B15B	4 біт	8,4 ГБ	5–10
Phi-4 (14B)14B	4 біт	7,9 ГБ	6–10
Gemma 4 12B Unified12B	6 біт	9,7 ГБ	5–8
Qwen3.8 27B27B · Інтелект 33,7	2 біт нижча якість	8,4 ГБ	5–10
Muse Glimmer 30B29,6B · Інтелект 17,5	2 біт нижча якість	9,3 ГБ	5–9
Gemma 4 31B30,7B · Інтелект 14,7	2 біт нижча якість	9,6 ГБ	5–8
Granite 4.2 30B30B · Інтелект 12,7	2 біт нижча якість	9,4 ГБ	5–9
Qwen3.6 27B27B	2 біт нижча якість	8,4 ГБ	5–10
Devstral Small 2 (24B)24B	3 біт нижча якість	10,5 ГБ	4–8
Magistral Small 1.2 (2509)24B	3 біт нижча якість	10,5 ГБ	4–8
Mistral Small 3.2 (24B)24B	3 біт нижча якість	10,5 ГБ	4–8

Ледь вміщуються 1

Займає майже всю пам’ять: підніміть ліміт пам’яті GPU і тримайте контекст коротким.

Модель	Версія	Пам’ять	Токенів/с
Qwen3.6 35B A3B35B · активних: 3B · Інтелект 18,2	2 біт нижча якість	10,9 ГБ	50–89

Завеликі 35

Потрібно більше ніж 16 ГБ пам’яті, навіть за 2 біт.

Інші Mac

Усі Mac із 16 ГБ, на будь-якому чипі.

M2 з іншим обсягом пам’яті:

Сусідні чипи:

Віч-на-віч:

Порівняти з будь-яким Mac або GPU · M2 для локального ШІ · Найкращий Mac для локальних LLM · Усі Mac

Запитання

Яка LLM найкраще підходить для M2 із 16 ГБ?: Серед моделей з опублікованим Intelligence Index найвищу оцінку з тих, що тут добре працюють, має MiniCPM5 2B: 8 біт, близько 17–30 токенів за секунду. Найбільша з тих, що працюють добре, — Qwen3 8B.
Чи запустить M2 із 16 ГБ Llama 3.3 70B?: Ні: навіть за 2 біт їй потрібно більше ніж 12 ГБ, які GPU може використовувати за замовчуванням.
Наскільки швидко gpt-oss-20b працює на M2?: Близько 28–50 токенів за секунду (3 біт) за пропускної здатності пам’яті чипа 100 ГБ/с.

Запускайте їх у MLX Harness (безкоштовно, відкритий код) або через mlx-lm від Apple у Терміналі: покроково.

Як це розраховано

Пам’ять: параметри моделі за 8, 6, 4, 3 або 2 біт на вагу плюс групові масштаби MLX (пів біта на вагу) або її нативний формат, а зверху — місце для контексту. За замовчуванням macOS дає GPU близько 75% об’єднаної пам’яті. Швидкість: пропускна здатність пам’яті, поділена на кількість байтів, що читаються на кожен токен, — це стеля для однієї розмови; у публічних тестах llama.cpp на Apple Silicon реальні запуски досягають приблизно 45–80% від неї, і показано саме цей діапазон. Це оцінки, а не вимірювання: виміряйте свій Mac у MLX Bench. Дані моделей — з офіційних карток моделей, дані чипів — з технічних характеристик Apple. Перевірено 2026-10-19. Ті самі дані, що й на mlx.app/compare.