Ang maikling bersyon
- Ang MLX ay machine learning framework ng Apple para sa Apple Silicon. Ang mlx-lm ang nagpapatakbo ng mga language model dito.
- Ang llama.cpp ay mabilis na C/C++ inference engine na nagpapatakbo ng GGUF model sa halos kahit anong hardware, kasama ang Mac sa pamamagitan ng Metal.
- Ang Ollama ang madaling front end: isang command para mag-download at magpatakbo ng model, may local API. Sa Apple Silicon, may MLX-powered preview na ito ngayon.
- Para sa pinakamabilis na resultang native sa Mac, gamitin ang MLX; para sa pinakamaraming pagpipiliang model at platform, llama.cpp; para sa pinakamadaling simula, Ollama o LM Studio.
1Ano ang bawat isa
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Gumawa | Apple, open source (MIT) | Open-source na komunidad | Ollama, open source |
| Tumatakbo sa | Apple Silicon | Mac, Windows, Linux, maraming GPU | Mac, Windows, Linux |
| Model format | MLX (safetensors) | GGUF | Sariling library; GGUF at, naka-preview, MLX sa Mac |
| Pinakabagay para sa | Bilis at research sa Mac | Portability, pagpili ng quantization | Dali ng paggamit, mga app na nangangailangan ng API |
| Training at fine-tuning | Oo (LoRA at full) | Limitado | Hindi |
2Bilis sa Apple Silicon
Iisa ang naglilimita sa tatlo kapag gumagawa ng text: memory bandwidth. Ang pagkakaiba ay galing sa kung gaano kahusay ginagamit ng bawat isa ang GPU at kung paano naka-quantize ang mga model nito.
Isinulat ang MLX para sa unified memory ng Apple Silicon at, sa mga M5 chip, ginagamit nito ang mga neural accelerator ng GPU: nasukat ng Apple na 3.3 hanggang 4.1 beses na mas mabilis ang time to first token kaysa sa M4 (Apple). Noong Marso 2026, nagsimulang lumipat ang Ollama sa MLX sa Apple Silicon sa isang preview na may malalaking speedup para sa mga suportadong model (Ollama), na maraming sinasabi tungkol sa kung nasaan ang performance sa Mac.
Napakabilis pa rin ng llama.cpp at mahusay itong nasusukat sa Mac; ang pampublikong benchmark thread nito ang pinakamagandang reference para sa paghahambing ng mga chip (llama.cpp). Para sa mga numero ng MLX mismo, tingnan ang MLX Bench.
3Alin ang gagamitin
- Gusto mong makipag-chat sa model ngayon din: LM Studio (isang app na nagpapatakbo ng MLX at GGUF model) o Ollama.
- Gumagawa ka ng app na nangangailangan ng local API: Ollama, o
mlx_lm.serverpara sa OpenAI-compatible na endpoint sa MLX. - Gusto mo ang pinakamataas na bilis sa Mac, o mag-fine-tune: MLX gamit ang mlx-lm.
- Kailangan mo ng parehong setup sa Mac, Linux at Windows, o partikular na GGUF quantization: llama.cpp.
Saklaw lahat ng mga ito ng hakbang-hakbang na gabay namin sa pagpapatakbo ng LLM sa Mac mo.
4MLX lampas sa iisang Mac
Tumatakbo rin ang MLX sa ilang Mac nang sabay, sa Thunderbolt 5 gamit ang RDMA (Mac AI cluster). At ito ang makina ng MLX Network: nagpapatakbo ang MLX Node ng AI job sa MLX framework para sa network at kumikita ng MLX tokens para sa na-verify na trabaho. Ang MLX Network ay independiyenteng proyekto, hindi gawa ng Apple; narito ang pagkakaiba.
5Mga tanong
- Mas mabilis ba ang MLX kaysa sa llama.cpp?
- Sa Apple Silicon, kadalasang kasimbilis o mas mabilis ang MLX sa generation, at lalo na sa prompt processing sa mga M5 chip. Nag-iiba ang resulta ayon sa model at quantization, kaya ihambing sa sarili mong Mac.
- Puwede bang gumamit ng MLX ang Ollama?
- Oo, naka-preview mula Ollama 0.19 sa Apple Silicon, para sa mga suportadong model, sa mga Mac na may higit sa 32 GB na memory.
- Magkaiba ba ang MLX at GGUF na model?
- Magkaibang file format sila para sa parehong uri ng model. Maraming sikat na model ang inilalathala sa dalawa; may libu-libong MLX conversion ang mlx-community organization sa Hugging Face.