Versi singkatnya
- MLX adalah framework machine learning dari Apple untuk Apple Silicon. mlx-lm menjalankan model bahasa di atasnya.
- llama.cpp adalah mesin inferensi C/C++ yang cepat dan menjalankan model GGUF di hampir semua perangkat keras, termasuk Mac lewat Metal.
- Ollama adalah antarmuka yang mudah: satu perintah untuk mengunduh dan menjalankan model, dengan API lokal. Di Apple Silicon kini ada pratinjau yang ditenagai MLX.
- Untuk hasil tercepat yang khas Mac, pakai MLX; untuk pilihan model dan platform terluas, llama.cpp; untuk awal termudah, Ollama atau LM Studio.
1Apa masing-masing itu
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Dibuat oleh | Apple, open source (MIT) | Komunitas open source | Ollama, open source |
| Berjalan di | Apple Silicon | Mac, Windows, Linux, banyak GPU | Mac, Windows, Linux |
| Format model | MLX (safetensors) | GGUF | Pustakanya sendiri; GGUF dan, dalam pratinjau, MLX di Mac |
| Paling cocok untuk | Kecepatan dan riset di Mac | Portabilitas, pilihan kuantisasi | Kemudahan, aplikasi yang butuh API |
| Pelatihan dan fine-tuning | Ya (LoRA dan penuh) | Terbatas | Tidak |
2Kecepatan di Apple Silicon
Saat menghasilkan teks, ketiganya dibatasi oleh hal yang sama: bandwidth memori. Perbedaannya datang dari seberapa baik masing-masing memanfaatkan GPU dan bagaimana modelnya dikuantisasi.
MLX ditulis untuk memori terpadu Apple Silicon dan, di chip M5, memakai neural accelerator di GPU: Apple mengukur waktu hingga token pertama 3,3 hingga 4,1 kali lebih cepat daripada di M4 (Apple). Pada Maret 2026, Ollama mulai beralih ke MLX di Apple Silicon dalam pratinjau dengan peningkatan kecepatan besar untuk model yang didukung (Ollama), yang sudah banyak menjelaskan ke mana arah performa Mac.
llama.cpp tetap sangat cepat dan pengukurannya di Mac sangat lengkap; thread benchmark publiknya adalah rujukan terbaik untuk membandingkan chip (llama.cpp). Untuk angka khusus MLX, lihat MLX Bench.
3Mana yang sebaiknya dipakai
- Anda ingin mengobrol dengan model hari ini: LM Studio (aplikasi yang menjalankan model MLX maupun GGUF) atau Ollama.
- Anda membangun aplikasi yang butuh API lokal: Ollama, atau
mlx_lm.serveruntuk endpoint yang kompatibel dengan OpenAI di MLX. - Anda ingin kecepatan maksimal dari Mac, atau ingin melakukan fine-tuning: MLX dengan mlx-lm.
- Anda butuh konfigurasi yang sama di Mac, Linux, dan Windows, atau kuantisasi GGUF tertentu: llama.cpp.
Panduan langkah demi langkah kami untuk menjalankan LLM di Mac Anda membahas semuanya.
4MLX lebih dari satu Mac
MLX juga berjalan di beberapa Mac sekaligus, lewat Thunderbolt 5 dengan RDMA (cluster AI Mac). Dan MLX adalah mesin di balik MLX Network: MLX Node menjalankan pekerjaan AI di framework MLX untuk jaringan dan memperoleh token MLX untuk pekerjaan yang terverifikasi. MLX Network adalah proyek independen, bukan buatan Apple; ini perbedaannya.
5Pertanyaan
- Apakah MLX lebih cepat daripada llama.cpp?
- Di Apple Silicon, MLX sering sama cepat atau lebih cepat untuk generasi, dan terutama untuk pemrosesan prompt di chip M5. Hasilnya berbeda menurut model dan kuantisasi, jadi bandingkan di Mac Anda sendiri.
- Bisakah Ollama memakai MLX?
- Bisa, dalam pratinjau sejak Ollama 0.19 di Apple Silicon, untuk model yang didukung, di Mac dengan memori lebih dari 32 GB.
- Apakah model MLX dan GGUF berbeda?
- Keduanya format file yang berbeda untuk jenis model yang sama. Banyak model populer diterbitkan dalam kedua format; organisasi mlx-community di Hugging Face punya ribuan konversi MLX.