Skąd mam wiedzieć, czy LLM zadziała na moim Macu?

Porównaj rozmiar modelu w wybranej precyzji z pamięcią zunifikowaną swojego Maca. Domyślnie macOS pozwala GPU używać około 75% tej pamięci, a model potrzebuje jeszcze miejsca na kontekst. Model 4-bitowy potrzebuje nieco ponad pół gigabajta na miliard parametrów.

Ile tokenów na sekundę uzyskam?

Generowanie ogranicza przepustowość pamięci: każdy token raz odczytuje aktywne wagi modelu. Przepustowość podzielona przez bajty na token to górna granica dla jednej rozmowy; w praktyce osiąga się zwykle około 45–80% tej wartości.

Dlaczego modele typu mixture of experts (MoE) działają szybciej?

Trzymają w pamięci wielu ekspertów, ale do każdego tokenu używają tylko kilku, więc każdy token odczytuje znacznie mniej bajtów. Pamięci potrzebują na cały model, ale działają z szybkością dużo mniejszego.

Czy 4 bity wystarczą?

W większości modeli 4 bity zachowują jakość bliską oryginałowi. Poniżej 4 bitów jakość spada szybciej, dlatego takie wersje są oznaczone.

Co uruchomi Twój Mac?

Wybierz swojego Maca albo dowolny inny komputer i zobacz, które otwarte modele AI zmieszczą się w jego pamięci i jak szybko je uruchomi. Obliczone na podstawie karty każdego modelu oraz opublikowanych danych o pamięci i przepustowości każdego układu.

Twój komputer

Apple M5 z 16 GB: domyślnie około 12 GB na modele, przepustowość pamięci 153 GB/s. Działa na nim 20 z 43 popularnych modeli. Jego strona Zmierzono: 32 tokenów/s z Llama 2 7B w 4 bitach w llama.cpp (M5 (10-core GPU)).

Działają dobrze Mieści się z zapasem na kontekst, 10 lub więcej tokenów na sekundę.

Gemma 4 E4BGoogle DeepMind · 2026-03 · kontekst 128K · obrazyInteligencja 8,9Karta modelu Wersja MLX8B8-bit8,5 GB Mieści się14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · kontekst 256K · obrazyKarta modelu Wersja MLX4B8-bit4,3 GB Mieści się16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · kontekst 128KKarta modelu Wersja MLX3,21B8-bit3,4 GB Mieści się20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · kontekst 64KKarta modelu Wersja MLX3B8-bit3,2 GB Mieści się22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · kontekst 256K · obrazyKarta modelu Wersja MLX0,8B8-bit0,9 GB Mieści się77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · kontekst 256KInteligencja 12,9Karta modelu Wersja MLX30B · aktywne: 3B2-bit niższa jakość9,4 GB Mieści się77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · kontekst 128KInteligencja 9Karta modelu Wersja MLX21B · aktywne: 3,6B3-bit niższa jakość9,2 GB Mieści się43–77 tok/s

Udostępniany w natywnym formacie niskobitowym: około 14 GB wag.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · kontekst 256KKarta modelu Wersja MLX30,5B · aktywne: 3,3B2-bit niższa jakość9,5 GB Mieści się69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · kontekst 198KKarta modelu Wersja MLX30B · aktywne: 3B2-bit niższa jakość9,4 GB Mieści się77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · kontekst 256K · obrazyKarta modelu Wersja MLX25,2B · aktywne: 3,8B2-bit niższa jakość7,9 GB Mieści się57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · kontekst 128KKarta modelu Wersja MLX24B · aktywne: 2B3-bit niższa jakość10,5 GB Mieści się77–136 tok/s

Działają, ale wolno Mieści się, ale poniżej 10 tokenów na sekundę: dobre do pracy wsadowej, wolne do czatu.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · kontekst 256K · obrazyInteligencja 11,2Karta modelu Wersja MLX9B8-bit9,6 GB Mieści się7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · kontekst 128KInteligencja 11,1Karta modelu8B8-bit8,5 GB Mieści się8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · kontekst 16KKarta modelu Wersja MLX14B4-bit7,9 GB Mieści się9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · kontekst 256K · obrazyKarta modelu Wersja MLX12B6-bit9,7 GB Mieści się7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · kontekst 128KKarta modelu Wersja MLX8B8-bit8,5 GB Mieści się8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · kontekst 256K · obrazyInteligencja 33,7Karta modelu Wersja MLX27B2-bit niższa jakość8,4 GB Mieści się8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · kontekst 128K · obrazyInteligencja 17,5Karta modelu Wersja MLX29,6B2-bit niższa jakość9,3 GB Mieści się7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · kontekst 256K · obrazyInteligencja 14,7Karta modelu Wersja MLX30,7B2-bit niższa jakość9,6 GB Mieści się7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · kontekst 256K · obrazyKarta modelu Wersja MLX24B3-bit niższa jakość10,5 GB Mieści się7–12 tok/s

Ledwo się mieszczą Zajmuje prawie całą pamięć: podnieś limit pamięci GPU i trzymaj krótki kontekst.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · kontekst 256K · obrazyInteligencja 18,2Karta modelu Wersja MLX35B · aktywne: 3B2-bit niższa jakość10,9 GB Ledwo się mieści77–136 tok/s

Inteligencja: Artificial Analysis Intelligence Index v4.3.2, tam gdzie zmierzono. Nazwy modeli prowadzą do ich oficjalnych kart.

Jak to liczymy

Pamięć. Każdy model jest pokazany w najwyższej precyzji, która się mieści: 8, 6, 4, 3 lub 2 bity na wagę plus skale grup MLX (pół bita na wagę) albo w natywnym formacie, jeśli w takim jest udostępniany. Na Macu GPU może domyślnie używać około 75% pamięci zunifikowanej; ponad to zostawiamy miejsce na kontekst.

Szybkość. Przy generowaniu każdy token raz odczytuje wszystkie aktywne wagi, więc przepustowość pamięci podzielona przez te bajty to górna granica dla jednej rozmowy. W publicznych testach llama.cpp na Apple Silicon rzeczywiste uruchomienia osiągają około 45–80% tej wartości i ten zakres pokazujemy. Wczytywanie długiego promptu zależy od mocy obliczeniowej i nie jest tu pokazane.

Źródła. Parametry, kontekst i licencje pochodzą z oficjalnej karty każdego modelu na Hugging Face (link w nazwie); pamięć i przepustowość ze specyfikacji Apple i producentów. Sprawdzono 2026-10-19. Zmierz swojego Maca w MLX Bench. Wszystkie Maki, wszystkie modele i pełną tabelę dopasowania można pobrać za darmo w JSON i CSV: otwarte dane.

Przeglądaj. Każdy Mac, od M1 z 8 GB do M5 Ultra z 512 GB, z każdym modelem, który na nim działa, oraz każdy model z najmniejszym Makiem, jakiego potrzebuje.

Uruchom. Krok po kroku: jak pobrać i uruchomić LLM na Macu, MLX, Ollama czy llama.cpp i najlepszy Mac do lokalnych LLM. Gdy Mac jest bezczynny, może zarabiać tokeny MLX.

Skąd mam wiedzieć, czy LLM zadziała na moim Macu?: Porównaj rozmiar modelu w wybranej precyzji z pamięcią zunifikowaną swojego Maca. Domyślnie macOS pozwala GPU używać około 75% tej pamięci, a model potrzebuje jeszcze miejsca na kontekst. Model 4-bitowy potrzebuje nieco ponad pół gigabajta na miliard parametrów.
Ile tokenów na sekundę uzyskam?: Generowanie ogranicza przepustowość pamięci: każdy token raz odczytuje aktywne wagi modelu. Przepustowość podzielona przez bajty na token to górna granica dla jednej rozmowy; w praktyce osiąga się zwykle około 45–80% tej wartości.
Dlaczego modele typu mixture of experts (MoE) działają szybciej?: Trzymają w pamięci wielu ekspertów, ale do każdego tokenu używają tylko kilku, więc każdy token odczytuje znacznie mniej bajtów. Pamięci potrzebują na cały model, ale działają z szybkością dużo mniejszego.
Czy 4 bity wystarczą?: W większości modeli 4 bity zachowują jakość bliską oryginałowi. Poniżej 4 bitów jakość spada szybciej, dlatego takie wersje są oznaczone.