Ringkasnya
- MLX ialah rangka kerja pembelajaran mesin Apple untuk Apple Silicon. mlx-lm menjalankan model bahasa di atasnya.
- llama.cpp ialah enjin inferens C/C++ yang pantas dan menjalankan model GGUF pada hampir semua perkakasan, termasuk Mac melalui Metal.
- Ollama ialah antara muka yang mudah: satu arahan untuk memuat turun dan menjalankan model, dengan API tempatan. Pada Apple Silicon kini ada pratonton yang dikuasakan MLX.
- Untuk hasil paling pantas yang asli Mac, guna MLX; untuk pilihan model dan platform paling luas, llama.cpp; untuk permulaan paling mudah, Ollama atau LM Studio.
1Apa setiap satu
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| Dibuat oleh | Apple, sumber terbuka (MIT) | Komuniti sumber terbuka | Ollama, sumber terbuka |
| Berjalan pada | Apple Silicon | Mac, Windows, Linux, banyak GPU | Mac, Windows, Linux |
| Format model | MLX (safetensors) | GGUF | Pustakanya sendiri; GGUF dan, dalam pratonton, MLX pada Mac |
| Paling sesuai untuk | Kelajuan dan penyelidikan pada Mac | Kemudahalihan, pilihan pengkuantuman | Kemudahan, aplikasi yang memerlukan API |
| Latihan dan penalaan halus | Ya (LoRA dan penuh) | Terhad | Tidak |
2Kelajuan pada Apple Silicon
Ketiga-tiganya dihadkan oleh perkara yang sama semasa menjana teks: lebar jalur memori. Perbezaannya datang daripada sejauh mana setiap satu menggunakan GPU dengan baik dan cara modelnya dikuantumkan.
MLX ditulis untuk memori bersatu Apple Silicon dan, pada cip M5, menggunakan pemecut neural GPU: Apple mengukur masa hingga token pertama 3.3 hingga 4.1 kali lebih pantas berbanding M4 (Apple). Pada bulan Mac 2026, Ollama mula beralih kepada MLX pada Apple Silicon dalam pratonton dengan peningkatan kelajuan yang besar untuk model yang disokong (Ollama), yang menunjukkan dengan jelas ke mana arah prestasi Mac.
llama.cpp kekal sangat pantas dan diukur dengan teliti pada Mac; bebenang penanda aras awamnya ialah rujukan terbaik untuk membandingkan cip (llama.cpp). Untuk angka khusus MLX, lihat MLX Bench.
3Yang mana patut digunakan
- Anda mahu bersembang dengan model hari ini: LM Studio (aplikasi yang menjalankan model MLX dan GGUF) atau Ollama.
- Anda membina aplikasi yang memerlukan API tempatan: Ollama, atau
mlx_lm.serveruntuk titik akhir yang serasi dengan OpenAI pada MLX. - Anda mahu kelajuan maksimum daripada Mac, atau mahu melakukan penalaan halus: MLX dengan mlx-lm.
- Anda perlukan persediaan yang sama pada Mac, Linux dan Windows, atau pengkuantuman GGUF tertentu: llama.cpp.
Panduan langkah demi langkah kami untuk menjalankan LLM pada Mac anda merangkumi kesemuanya.
4MLX melangkaui satu Mac
MLX juga berjalan merentas beberapa Mac, melalui Thunderbolt 5 dengan RDMA (kluster AI Mac). Dan ia ialah enjin MLX Network: MLX Node menjalankan kerja AI pada rangka kerja MLX untuk rangkaian dan memperoleh token MLX untuk kerja yang disahkan. MLX Network ialah projek bebas, bukan buatan Apple; inilah bezanya.
5Soalan
- Adakah MLX lebih pantas daripada llama.cpp?
- Pada Apple Silicon, MLX selalunya sama pantas atau lebih pantas untuk penjanaan, dan terutamanya untuk pemprosesan prompt pada cip M5. Hasil berbeza mengikut model dan pengkuantuman, jadi bandingkan pada Mac anda sendiri.
- Bolehkah Ollama menggunakan MLX?
- Ya, dalam pratonton sejak Ollama 0.19 pada Apple Silicon, untuk model yang disokong, pada Mac dengan memori lebih daripada 32 GB.
- Adakah model MLX dan GGUF berbeza?
- Ia ialah format fail yang berbeza untuk jenis model yang sama. Banyak model popular diterbitkan dalam kedua-dua format; organisasi mlx-community di Hugging Face mempunyai beribu-ribu penukaran MLX.