Ile pamięci potrzebuje Inkling Small?

Około 155 GB na wagi (4-bit) plus miejsce na kontekst: łącznie 168 GB. Na Macu oznacza to 256 GB pamięci zunifikowanej lub więcej, bo macOS domyślnie pozwala GPU używać około 75% pamięci.

Jak szybko działa Inkling Small na Macu?

Szybkość generowania zależy od przepustowości pamięci. Najszybszy Mac dla tego modelu to M5 Ultra z 256 GB: około 79–141 tokenów na sekundę (4-bit). Najmniejszy Mac, który go uruchomi, M5 Ultra z 256 GB, osiąga około 79–141.

Dlaczego Inkling Small działa szybciej, niż wskazuje jego rozmiar?

To model mixture-of-experts: trzyma w pamięci 276B parametrów, ale dla każdego tokenu odczytuje tylko 12B, więc generuje z szybkością znacznie mniejszego modelu.

Czy Mac uruchomi Inkling Small? Pamięć i szybkość

Pamięć przy każdej precyzji

Wersja	Wagi	Z kontekstem	Najmniejszy Mac
8-bit	293 GB	317 GB	512 GB
6-bit	224 GB	242 GB	512 GB
4-bit	155 GB	168 GB	256 GB
3-bit niższa jakość	121 GB	131 GB	192 GB
2-bit niższa jakość	86,3 GB	93,2 GB	128 GB

Na każdym układzie Apple

Najmniejsza pamięć każdego układu, na której działa Inkling Small, najlepsza wersja, która się mieści, i spodziewana szybkość generowania.

Układ	Potrzebuje	Wersja	Tokeny/s
M6	żaden rozmiar nie pasuje	Za duży	–
M5 Ultra	256 GB	4-bit Działa dobrze	79–141
M5 Max	128 GB	2-bit Działa dobrze	73–129
M5 Pro	żaden rozmiar nie pasuje	Za duży	–
M5	żaden rozmiar nie pasuje	Za duży	–
M4 Max	128 GB	2-bit Działa dobrze	65–115
M4 Pro	żaden rozmiar nie pasuje	Za duży	–
M4	żaden rozmiar nie pasuje	Za duży	–
M3 Ultra	256 GB	4-bit Działa dobrze	54–96
M3 Max	128 GB	2-bit Działa dobrze	47–84
M3 Pro	żaden rozmiar nie pasuje	Za duży	–
M3	żaden rozmiar nie pasuje	Za duży	–
M2 Ultra	128 GB	2-bit Działa dobrze	95–168
M2 Max	żaden rozmiar nie pasuje	Za duży	–
M2 Pro	żaden rozmiar nie pasuje	Za duży	–
M2	żaden rozmiar nie pasuje	Za duży	–
M1 Ultra	128 GB	2-bit Działa dobrze	95–168
M1 Max	żaden rozmiar nie pasuje	Za duży	–
M1 Pro	żaden rozmiar nie pasuje	Za duży	–
M1	żaden rozmiar nie pasuje	Za duży	–

Jak go uruchomić

Najprościej: pobierz MLX Harness, za darmo i z otwartym kodem. Wyszukaj Inkling Small, pobierz wersję pasującą do Twojego Maca i rozmawiaj. Aplikacja udostępnia też model innym Twoim aplikacjom przez API zgodne z OpenAI.Pobierz MLX HarnessZa darmo · Apple Silicon · macOS 14.5 lub nowszy
W Terminalu z MLX od Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-Small-mlx-4bitWersja: mlx-community/Inkling-Small-mlx-4bit na Hugging Face. Obok znajdziesz inne precyzje.

Krok po kroku: pobierz i uruchom LLM na Macu · jak używać MLX Harness · MLX, Ollama i llama.cpp

O modelu Inkling Small

Twórca	Thinking Machines Lab
Parametry	276B łącznie · 12B aktywnych (mixture of experts)
Licencja	Apache-2.0
Wydany	2026-07
Wejście	Tekst i obrazy
Inteligencja	25,7 w Artificial Analysis Intelligence Index
Wagi	thinkingmachines/Inkling-Small

Pytania

Ile pamięci potrzebuje Inkling Small?: Około 155 GB na wagi (4-bit) plus miejsce na kontekst: łącznie 168 GB. Na Macu oznacza to 256 GB pamięci zunifikowanej lub więcej, bo macOS domyślnie pozwala GPU używać około 75% pamięci.
Jak szybko działa Inkling Small na Macu?: Szybkość generowania zależy od przepustowości pamięci. Najszybszy Mac dla tego modelu to M5 Ultra z 256 GB: około 79–141 tokenów na sekundę (4-bit). Najmniejszy Mac, który go uruchomi, M5 Ultra z 256 GB, osiąga około 79–141.
Dlaczego Inkling Small działa szybciej, niż wskazuje jego rozmiar?: To model mixture-of-experts: trzyma w pamięci 276B parametrów, ale dla każdego tokenu odczytuje tylko 12B, więc generuje z szybkością znacznie mniejszego modelu.

Podobne modele

Wszystkie modele · Wszystkie Maki · Porównaj swojego Maca

Do karty modelu lub README

Pokazuje najmniejszego Maca, na którym Inkling Small działa dobrze, i prowadzi tutaj.

[![Runs on a Mac](https://mlx.app/badge/run/inkling-small.svg)](https://mlx.app/run/inkling-small)

Jak to liczymy

Pamięć: parametry modelu przy 8, 6, 4, 3 lub 2 bitach na wagę plus skale grup MLX (pół bita na wagę) albo jego natywny format, a do tego miejsce na kontekst. Domyślnie macOS pozwala GPU używać około 75% pamięci zunifikowanej. Szybkość: przepustowość pamięci podzielona przez liczbę bajtów odczytywanych na token to górna granica dla jednej rozmowy; w publicznych testach llama.cpp na Apple Silicon rzeczywiste uruchomienia osiągają od około 45% do 80% tej wartości i właśnie ten zakres pokazujemy. To szacunki, nie pomiary: zmierz swojego Maca w MLX Bench. Dane modeli pochodzą z oficjalnych kart modeli, dane układów ze specyfikacji technicznych Apple. Sprawdzono 2026-10-19. Te same dane co na mlx.app/compare.