Nitajuaje kama LLM itafanya kazi kwenye Mac yangu?

Linganisha ukubwa wa modeli kwa usahihi unaotaka na unified memory ya Mac yako. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% yake, na modeli pia inahitaji nafasi ya context yake. Modeli ya biti 4 inahitaji zaidi kidogo ya nusu gigabaiti kwa kila vigezo bilioni moja.

Nitapata tokeni ngapi kwa sekunde?

Kuandika kunadhibitiwa na bandwidth ya kumbukumbu: kila tokeni husoma weights zinazotumika za modeli mara moja. Bandwidth ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; uendeshaji halisi kwa kawaida hufikia takriban 45% hadi 80% yake.

Kwa nini miundo ya mixture-of-experts (MoE) inaenda kasi zaidi?

Huhifadhi wataalamu (experts) wengi kwenye kumbukumbu lakini hutumia wachache tu kwa kila tokeni, kwa hiyo kila tokeni husoma baiti chache sana. Zinahitaji kumbukumbu ya modeli nzima, lakini zinaenda kwa kasi ya modeli ndogo zaidi sana.

Je, biti 4 zinatosha?

Kwa miundo mingi, biti 4 hudumisha ubora karibu na ule wa asili. Chini ya biti 4 ubora hushuka haraka zaidi, ndiyo sababu matoleo ya chini ya biti 4 yamewekewa alama.

Mac yako inaweza kuendesha nini?

Chagua Mac yako, au mashine nyingine yoyote, uone miundo ipi ya AI iliyo wazi inatosha kwenye kumbukumbu yake na inaiendesha kwa kasi gani. Imekokotolewa kutoka kwenye kadi ya kila modeli na kumbukumbu na bandwidth zilizochapishwa za kila chipu.

Mashine yako

Apple M5 yenye 16 GB: takriban 12 GB kwa miundo kwa chaguo-msingi, bandwidth ya kumbukumbu 153 GB/s. Miundo 20 kati ya 43 maarufu inaendeshwa nayo. Ukurasa wake Kipimo halisi: tokeni 32/s na Llama 2 7B kwa biti 4 kwenye llama.cpp (M5 (10-core GPU)).

Zinaenda vizuri Inatosha na kubakiza nafasi ya context, kwa tokeni 10 au zaidi kwa sekunde.

Gemma 4 E4BGoogle DeepMind · 2026-03 · context 128K · pichaAkili 8.9Kadi ya modeli Toleo la MLX8B8-bit8.5 GB Inatosha14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · context 256K · pichaKadi ya modeli Toleo la MLX4B8-bit4.3 GB Inatosha16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · context 128KKadi ya modeli Toleo la MLX3.21B8-bit3.4 GB Inatosha20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · context 64KKadi ya modeli Toleo la MLX3B8-bit3.2 GB Inatosha22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · context 256K · pichaKadi ya modeli Toleo la MLX0.8B8-bit0.9 GB Inatosha77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · context 256KAkili 12.9Kadi ya modeli Toleo la MLX30B · 3B zinazotumika2-bit ubora wa chini9.4 GB Inatosha77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · context 128KAkili 9Kadi ya modeli Toleo la MLX21B · 3.6B zinazotumika3-bit ubora wa chini9.2 GB Inatosha43–77 tok/s

Inatolewa kwa muundo asili wa biti chache: takriban 14 GB za weights.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · context 256KKadi ya modeli Toleo la MLX30.5B · 3.3B zinazotumika2-bit ubora wa chini9.5 GB Inatosha69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · context 198KKadi ya modeli Toleo la MLX30B · 3B zinazotumika2-bit ubora wa chini9.4 GB Inatosha77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · context 256K · pichaKadi ya modeli Toleo la MLX25.2B · 3.8B zinazotumika2-bit ubora wa chini7.9 GB Inatosha57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · context 128KKadi ya modeli Toleo la MLX24B · 2B zinazotumika3-bit ubora wa chini10.5 GB Inatosha77–136 tok/s

Zinaenda, lakini polepole Inatosha, lakini chini ya tokeni 10 kwa sekunde: sawa kwa kazi za kundi, polepole kwa mazungumzo.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · context 256K · pichaAkili 11.2Kadi ya modeli Toleo la MLX9B8-bit9.6 GB Inatosha7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · context 128KAkili 11.1Kadi ya modeli8B8-bit8.5 GB Inatosha8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · context 16KKadi ya modeli Toleo la MLX14B4-bit7.9 GB Inatosha9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · context 256K · pichaKadi ya modeli Toleo la MLX12B6-bit9.7 GB Inatosha7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · context 128KKadi ya modeli Toleo la MLX8B8-bit8.5 GB Inatosha8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · context 256K · pichaAkili 33.7Kadi ya modeli Toleo la MLX27B2-bit ubora wa chini8.4 GB Inatosha8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · context 128K · pichaAkili 17.5Kadi ya modeli Toleo la MLX29.6B2-bit ubora wa chini9.3 GB Inatosha7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · context 256K · pichaAkili 14.7Kadi ya modeli Toleo la MLX30.7B2-bit ubora wa chini9.6 GB Inatosha7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · context 256K · pichaKadi ya modeli Toleo la MLX24B3-bit ubora wa chini10.5 GB Inatosha7–12 tok/s

Zinatosha kwa shida Inahitaji karibu kumbukumbu yote: ongeza kikomo cha kumbukumbu ya GPU na weka context fupi.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · context 256K · pichaAkili 18.2Kadi ya modeli Toleo la MLX35B · 3B zinazotumika2-bit ubora wa chini10.9 GB Inatosha kwa shida77–136 tok/s

Werevu: Artificial Analysis Intelligence Index v4.3.2, palipopimwa. Majina ya miundo yanaunganishwa na kadi zao rasmi.

Jinsi inavyokokotolewa

Kumbukumbu. Kila modeli inaonyeshwa kwa usahihi wa juu kabisa unaotosha: biti 8, 6, 4, 3 au 2 kwa kila weight, pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili ikiwa inatolewa hivyo. Kwenye Mac, GPU inaweza kutumia takriban 75% ya unified memory kwa chaguo-msingi; juu yake tunaacha nafasi ya context.

Kasi. Wakati wa kuandika, kila tokeni husoma weights zote zinazotumika mara moja, kwa hiyo bandwidth ya kumbukumbu ikigawanywa kwa baiti hizo ndiyo kikomo cha juu kwa mazungumzo moja. Katika benchmarks za umma za llama.cpp kwenye Apple Silicon, uendeshaji halisi hufikia takriban 45% hadi 80% ya kikomo hicho, na huo ndio upana unaoonyeshwa. Kusoma prompt ndefu kunategemea nguvu ya kukokotoa, kwa hiyo hakuonyeshwi.

Vyanzo. Vigezo, context na leseni zinatoka kwenye kadi rasmi ya kila modeli kwenye Hugging Face (imeunganishwa kwenye jina lake); kumbukumbu na bandwidth kutoka kwenye maelezo ya Apple na watengenezaji. Imekaguliwa 2026-10-19. Pima Mac yako mwenyewe kwenye MLX Bench. Kila Mac, kila modeli na jedwali kamili la kutosha vinapakuliwa bure kama JSON na CSV: data wazi.

Vinjari. Kila Mac, kuanzia M1 ya GB 8 hadi M5 Ultra ya GB 512, pamoja na kila modeli inayoendeshwa nayo, na kila modeli pamoja na Mac ndogo kabisa inayohitaji.

Ziendeshe. Hatua kwa hatua: pakua na uendeshe LLM kwenye Mac, MLX dhidi ya Ollama dhidi ya llama.cpp na Mac bora kwa LLM za ndani. Mac yako ikiwa haitumiki, inaweza kupata MLX Tokens.

Nitajuaje kama LLM itafanya kazi kwenye Mac yangu?: Linganisha ukubwa wa modeli kwa usahihi unaotaka na unified memory ya Mac yako. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% yake, na modeli pia inahitaji nafasi ya context yake. Modeli ya biti 4 inahitaji zaidi kidogo ya nusu gigabaiti kwa kila vigezo bilioni moja.
Nitapata tokeni ngapi kwa sekunde?: Kuandika kunadhibitiwa na bandwidth ya kumbukumbu: kila tokeni husoma weights zinazotumika za modeli mara moja. Bandwidth ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; uendeshaji halisi kwa kawaida hufikia takriban 45% hadi 80% yake.
Kwa nini miundo ya mixture-of-experts (MoE) inaenda kasi zaidi?: Huhifadhi wataalamu (experts) wengi kwenye kumbukumbu lakini hutumia wachache tu kwa kila tokeni, kwa hiyo kila tokeni husoma baiti chache sana. Zinahitaji kumbukumbu ya modeli nzima, lakini zinaenda kwa kasi ya modeli ndogo zaidi sana.
Je, biti 4 zinatosha?: Kwa miundo mingi, biti 4 hudumisha ubora karibu na ule wa asili. Chini ya biti 4 ubora hushuka haraka zaidi, ndiyo sababu matoleo ya chini ya biti 4 yamewekewa alama.