W skrócie
- 16 GB: wygodnie działają tylko małe modele ogólne; Qwen3 Coder 30B A3B zmieści się tylko w niższej precyzji. 24 GB: Devstral Small 2 (24B). 32–64 GB: Qwen3 Coder 30B A3B i Devstral Small 2 w 4 bitach.
- Od 96 GB: Qwen3 Coder Next (80B, 3B aktywnych). 128 GB: także Devstral 2 (123B), powoli. 512 GB: Kimi K2.7 Code, w niskiej precyzji.
- Modele mixture-of-experts do kodu odczytują na token tylko kilka miliardów wag, więc Qwen3 Coder 30B A3B może pisać kilka razy szybciej niż gęsty Devstral Small 2 na tym samym Macu.
- Agenty do kodowania wysyłają długie prompty: zostaw kilka gigabajtów na kontekst i sprawdź, ile RAM potrzebuje LLM.
1Modele do kodowania, które dobrze działają, według pamięci
„Dobrze działa” oznacza, że model mieści się w 4 bitach lub wyższej precyzji z miejscem na kontekst i pisze z szybkością 10 lub więcej tokenów na sekundę – ta sama zasada co na każdej stronie Maca. Modele stworzone do kodu z naszego katalogu otwartych modeli oraz model ogólny z najwyższym Artificial Analysis Intelligence Index, który dobrze działa przy danym rozmiarze i również pisze kod:
| Pamięć Maca | Stworzone do kodu | Najmocniejszy model ogólny |
|---|---|---|
| 16 GB | Qwen3 Coder 30B A3B tylko w niższej precyzji | MiniCPM5 2B |
| 24 GB | Devstral Small 2 | MiniCPM5 2B |
| 32 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 48 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 64 GB | Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 96 GB | Qwen3 Coder Next, Qwen3 Coder 30B A3B, Devstral Small 2 | Qwen3.8 27B |
| 128 GB | Qwen3 Coder Next, Devstral 2 (123B) (wolniej) | Qwen3.8 27B |
| 256 GB | Qwen3 Coder Next, Devstral 2 (wolniej) | Qwen3.8 Flash Next |
| 512 GB | Kimi K2.7 Code w niższej precyzji, Qwen3 Coder Next | DeepSeek V4.1 Flash 1017 |
2Dlaczego modele mixture-of-experts do kodu są szybkie
Szybkość pisania ogranicza to, ile bajtów wag trzeba odczytać na każdy token. Model gęsty odczytuje wszystkie; model mixture-of-experts tylko swoją aktywną część. Na Mac mini z M5 Pro (307 GB/s, Apple), w 4 bitach:
| Model | Parametry | Odczyt na token | Górna granica dla jednego czatu |
|---|---|---|---|
| Qwen3 Coder 30B A3B | 30,5B łącznie, 3,3B aktywnych | ok. 1,9 GB | ok. 165 tokenów/s |
| Devstral Small 2 | 24B, gęsty | ok. 13,5 GB | ok. 23 tokenów/s |
Szybkość to nie jakość: przy tej samej pamięci model gęsty może lepiej kodować. Wypróbuj oba na własnym kodzie.
3Zostaw miejsce na kontekst
Narzędzia do kodowania wysyłają dużo tekstu: używane pliki, opisy narzędzi i dotychczasową rozmowę. Ten kontekst jest trzymany w pamięci obok modelu, w KV cache, i rośnie z każdym tokenem. Dla Qwen3 8B 32 000 tokenów zajmuje około 4,8 GB (tu policzone). Większe modele potrzebują więcej na token.
Gdy więc model ledwo się mieści, wybierz o rozmiar mniejszy albo niższą precyzję, zamiast ograniczać kontekst. Długie prompty wymagają też czasu na odczyt, zanim pojawi się pierwsze słowo; generacja M5 czyta prompty szybciej niż M4 (Apple).
4Używaj go w edytorze lub agencie
Narzędzia do kodowania łączą się z modelem przez API. Uruchom model lokalnie i wskaż go narzędziu:
- Lokalny serwer LM Studio obsługuje formaty OpenAI i Anthropic, a LM Studio ma instrukcje konfiguracji dla Claude Code, Codex, OpenClaw i Hermes Agent (LM Studio).
- mlx-lm:
mlx_lm.server --model <model>udostępnia API w stylu OpenAI na porcie 8080 (mlx-lm). - Ollama też udostępnia API zgodne z OpenAI: porównuje je poradnik najlepsze aplikacje do uruchamiania LLM na Macu.
Agenty wywołują narzędzia, więc model musi generować wywołania narzędzi w formacie, który rozumie serwer. Modele stworzone do kodu i agentów, takie jak Qwen3 Coder i Devstral, są do tego trenowane; małe modele ogólne często robią to niepewnie.
Kategoria programowania w AI App Store zbiera agentów i edytory do kodu, takie jak Claude Code i Codex, każde z oficjalnym pobraniem od twórcy, ceną i informacją, dokąd trafiają Twoje dane.
5Pytania
- Jaki jest najlepszy lokalny LLM do kodowania na Maca z 32 GB?
- Qwen3 Coder 30B A3B i Devstral Small 2 dobrze działają w 4 bitach. Qwen3 Coder pisze dużo szybciej, bo na token odczytuje tylko 3,3B z 30,5B parametrów; wypróbuj oba na własnym kodzie.
- Czy Mac z 16 GB uruchomi model do kodowania?
- Małe modele tak. Qwen3 Coder 30B A3B mieści się w 16 GB tylko w niższej precyzji, z niewielkim miejscem na kontekst. Do agentów do kodowania lepiej zacząć od 32 GB lub więcej.
- Czy mogę używać Claude Code lub Codex z lokalnym modelem?
- Tak. LM Studio ma instrukcje konfiguracji dla obu: jego lokalny serwer obsługuje format Anthropic, którego używa Claude Code, i format OpenAI, którego używa Codex (LM Studio). To, jak dobrze działają, zależy od wczytanego modelu.
- Czy lokalny model do kodowania jest tak dobry jak model w chmurze?
- Największe otwarte modele zbliżają się do nich w wielu zadaniach, ale wymagają Mac Studio z 256 lub 512 GB. Modele mieszczące się w 32–64 GB przydają się do uzupełniania kodu, wyjaśnień i mniejszych zadań agentów, a Twój kod zostaje na Twoim Macu.