Programu bora za kuendesha LLM kwenye Mac.

1Kwa muhtasari

2Kila moja kwa mistari michache

MLX Harness

Programu ya Mac ya bure na huria kwa mazungumzo, coding agents zenye zana zilizojengwa ndani, kutengeneza picha na API ya ndani inayozungumza miundo ya OpenAI, Anthropic na Ollama. Huendesha modeli kwa MLX ya Apple na kuzipakua kutoka Hugging Face; haiendeshi faili za GGUF. Inahitaji macOS 14.5 au mpya zaidi kwenye Apple Silicon. Ni yetu, imejengwa juu ya vMLX ya JANGQ AI, na inabeba MLX Node, inayoweza kuifanya Mac ikufanyie kazi kwa MLX Network ukiwa haupo (chanzo). Mwongozo: jinsi ya kutumia MLX Harness.

LM Studio

Programu iliyoboreshwa vizuri inayoendesha modeli za MLX na GGUF bega kwa bega, ikiwa na utafutaji wa modeli uliojengwa juu ya Hugging Face (LM Studio). Ni bure kutumia nyumbani na kazini tangu Julai 2025 (LM Studio). Zana yake ya command line, SDK na injini ya MLX zina leseni ya MIT; source ya programu ya desktop haijachapishwa (GitHub). Inahitaji macOS 14 au mpya zaidi kwenye Apple Silicon, na inapendekeza kumbukumbu ya 16 GB (mahitaji). Seva yake ya ndani huzungumza muundo wa OpenAI na, tangu toleo 0.4.1, muundo wa Anthropic (changelog).

Ollama

Njia ya amri moja ya kuendesha modeli, yenye maktaba yake ya modeli na, tangu Julai 2025, programu ya mazungumzo kwenye Mac (Ollama). Ina leseni ya MIT na huendesha modeli za GGUF kupitia llama.cpp (GitHub). Tangu Machi 2026 ina injini ya MLX kwenye preview kwenye Apple Silicon, kwa Mac zenye kumbukumbu zaidi ya 32 GB na orodha ya modeli inayoongezeka (Ollama). Inahitaji macOS 14 au mpya zaidi (nyaraka), na API yake kwenye port 11434 ndiyo ambayo programu nyingine nyingi hutarajia.

Jan

Programu huria (Apache 2.0) ya mazungumzo kwa Mac, Windows na Linux, yenye injini ya llama.cpp iliyojumuishwa, usaidizi wa asili wa MLX tangu Februari 2026, zana za MCP, na seva inayooana na OpenAI (GitHub, changelog). Inaweza pia kuunganishwa na modeli za cloud, ukitaka programu moja kwa zote mbili.

llama.cpp

Injini iliyo chini ya sehemu kubwa ya AI ya ndani: C/C++ yenye leseni ya MIT, ambapo Apple Silicon ni “raia wa daraja la kwanza” kupitia Metal (GitHub). Isakinishe kwa brew install llama.cpp; llama-server hukupa mazungumzo kwenye wavuti na API inayooana na OpenAI na Anthropic (nyaraka za seva). Huendesha faili za GGUF, muundo unaochapishwa kwa wingi zaidi.

mlx-lm

Zana za MLX za Apple yenyewe kwa modeli za lugha, zenye leseni ya MIT: kuzalisha maandishi, kuzungumza, kubadilisha na kufanya quantization ya modeli, na kuzifanyia fine-tuning kwa LoRA, kutoka command line (GitHub). mlx_lm.server hutoa endpoint ya msingi ya mtindo wa OpenAI ambayo waandishi wake hawaipendekezi kwa production (nyaraka za seva). Maelfu ya modeli zilizobadilishwa ziko kwenye shirika la mlx-community kwenye Hugging Face.

3Ipi uchague

• Unataka programu huria iliyotengenezwa kwa ajili ya Apple Silicon: MLX Harness.
• Unataka modeli za MLX na GGUF katika programu moja iliyoboreshwa, na hujali kuwa si huria: LM Studio.
• Programu nyingine au coding agent inatarajia API ya Ollama: Ollama (MLX Harness pia hutoa endpoints za mtindo wa Ollama).
• Unataka programu moja ya mazungumzo kwenye Mac, Windows na Linux, ya ndani na ya cloud: Jan.
• Unaandika scripts, unajenga seva au unahitaji quantization fulani ya GGUF: llama.cpp.
• Unafanya fine-tuning, unabadilisha modeli au unataka utekelezaji wa marejeo wa Apple: mlx-lm.

Watu wengi hutumia mbili: programu kwa mazungumzo ya kila siku na zana ya command line kwa scripts. Zinaweza kukaa kwenye Mac moja, lakini kila moja huhifadhi nakala yake ya faili za modeli.

4Kwanza, kagua kile Mac yako inaweza kubeba

Hakuna programu inayobadilisha hesabu: modeli na context yake lazima zitoshee kwenye sehemu ya unified memory ambayo macOS huiruhusu GPU kutumia, karibu 75% kwa chaguo-msingi, na bandwidth ya kumbukumbu huamua kasi inayoandika. Faili za MLX na GGUF za modeli ileile kwa precision ileile zina ukubwa unaokaribiana.

Tazama kila modeli inayotosha Mac yako, modeli bora kwa kila ukubwa wa kumbukumbu, au anza na modeli uone inahitaji Mac gani.

5Mac ikiwa haitumiki

Mac inayoendesha AI ya ndani vizuri pia ni nzuri katika kuiendesha kwa ajili ya wengine. MLX Node huendesha kazi za AI kwa MLX Network usipotumia Mac yako, ndani ya mipaka unayoweka, na hupata tokeni za MLX kwa kazi iliyothibitishwa. MLX Harness inaijumuisha. Tokeni za MLX zinaweza kupoteza thamani; soma hatari.

6Maswali

Je, LM Studio ni bure kwa kazi?

Ndiyo. Tangu Julai 2025 LM Studio ni bure kutumia nyumbani na kazini; mipango ya kulipia ni ya timu na makampuni makubwa (LM Studio).

Je, Ollama hutumia MLX kwenye Mac?

Kwenye preview tangu Machi 2026, kwenye Mac za Apple Silicon zenye kumbukumbu zaidi ya 32 GB, kwa modeli zinazotumika. Vinginevyo huendesha modeli za GGUF kupitia llama.cpp (Ollama).

Ni programu gani huendesha modeli za MLX na GGUF zote mbili?

LM Studio na Jan huendesha zote mbili; Ollama huendesha GGUF na, kwenye preview, MLX. MLX Harness na mlx-lm huendesha MLX tu; llama.cpp huendesha GGUF tu.

Ni programu zipi za LLM za ndani zilizo huria?

MLX Harness (Apache 2.0), Ollama (MIT), Jan (Apache 2.0), llama.cpp (MIT) na mlx-lm (MIT). LM Studio huchapisha zana yake ya command line, SDK na injini ya MLX chini ya MIT, lakini si programu ya desktop.