Kwa ufupi
- MLX ni framework ya Apple ya machine learning kwa Apple Silicon. mlx-lm huendesha modeli za lugha juu yake.
- llama.cpp ni injini ya inference ya C/C++ yenye kasi inayoendesha modeli za GGUF kwenye karibu vifaa vyovyote, zikiwemo Mac kupitia Metal.
- Ollama ni kiolesura rahisi: amri moja ya kupakua na kuendesha modeli, pamoja na API ya ndani. Kwenye Apple Silicon sasa ina preview inayoendeshwa na MLX.
- Kwa matokeo ya kasi zaidi ya asili ya Mac tumia MLX; kwa uchaguzi mpana zaidi wa modeli na majukwaa, llama.cpp; kwa mwanzo rahisi zaidi, Ollama au LM Studio.
1Kila moja ni nini
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Imetengenezwa na | Apple, huria (MIT) | Jumuiya ya programu huria | Ollama, huria |
| Huendeshwa kwenye | Apple Silicon | Mac, Windows, Linux, GPU nyingi | Mac, Windows, Linux |
| Muundo wa modeli | MLX (safetensors) | GGUF | Maktaba yake yenyewe; GGUF na, kwenye preview, MLX kwenye Mac |
| Bora kwa | Kasi na utafiti kwenye Mac | Kubebeka, uchaguzi wa quantization | Urahisi wa kutumia, programu zinazohitaji API |
| Mafunzo na fine-tuning | Ndiyo (LoRA na kamili) | Kwa kiasi kidogo | Hapana |
2Kasi kwenye Apple Silicon
Zote tatu huzuiliwa na kitu kimoja zinapozalisha maandishi: bandwidth ya kumbukumbu. Tofauti hutokana na jinsi kila moja inavyotumia GPU vizuri na jinsi modeli zake zilivyofanyiwa quantization.
MLX imeandikwa kwa ajili ya unified memory ya Apple Silicon na, kwenye chipu za M5, hutumia neural accelerators za GPU: Apple ilipima muda hadi tokeni ya kwanza ukiwa mara 3.3 hadi 4.1 haraka zaidi kuliko kwenye M4 (Apple). Mnamo Machi 2026 Ollama ilianza kuhamia MLX kwenye Apple Silicon katika preview yenye ongezeko kubwa la kasi kwa modeli zinazotumika (Ollama), jambo linalosema mengi kuhusu mahali utendaji wa Mac ulipo.
llama.cpp bado ina kasi kubwa sana na imepimwa vizuri kwenye Mac; uzi wake wa umma wa benchmarks ndio rejea bora ya kulinganisha chipu (llama.cpp). Kwa takwimu za MLX hasa, tazama MLX Bench.
3Ipi utumie
- Unataka kuzungumza na modeli leo: LM Studio (programu inayoendesha modeli za MLX na GGUF) au Ollama.
- Unajenga programu inayohitaji API ya ndani: Ollama, au
mlx_lm.serverkwa endpoint inayoendana na OpenAI kwenye MLX. - Unataka kasi kubwa zaidi kutoka kwa Mac, au kufanya fine-tuning: MLX pamoja na mlx-lm.
- Unahitaji mpangilio uleule kwenye Mac, Linux na Windows, au quantization maalum ya GGUF: llama.cpp.
Mwongozo wetu wa hatua kwa hatua wa kuendesha LLM kwenye Mac yako unazishughulikia zote.
4MLX zaidi ya Mac moja
MLX pia huendeshwa kwenye Mac kadhaa, kupitia Thunderbolt 5 kwa RDMA (cluster za AI za Mac). Na ndiyo injini ya MLX Network: MLX Node huendesha kazi za AI kwa framework ya MLX kwa ajili ya mtandao na kupata tokeni za MLX kwa kazi iliyothibitishwa. MLX Network ni mradi huru, haujatengenezwa na Apple; hii hapa tofauti.
5Maswali
- Je, MLX ina kasi kuliko llama.cpp?
- Kwenye Apple Silicon, MLX mara nyingi ina kasi sawa au zaidi katika uzalishaji, na hasa katika kuchakata prompts kwenye chipu za M5. Matokeo hutofautiana kulingana na modeli na quantization, hivyo linganisha kwenye Mac yako mwenyewe.
- Je, Ollama inaweza kutumia MLX?
- Ndiyo, katika preview tangu Ollama 0.19 kwenye Apple Silicon, kwa modeli zinazotumika, kwenye Mac zenye kumbukumbu zaidi ya GB 32.
- Je, modeli za MLX na GGUF zinatofautiana?
- Ni miundo tofauti ya faili kwa aina zilezile za modeli. Modeli nyingi maarufu huchapishwa kwa miundo yote miwili; shirika la mlx-community kwenye Hugging Face lina maelfu ya modeli zilizogeuzwa kuwa MLX.