Aplikasi terbaik untuk menjalankan LLM pada Mac.

1Sepintas lalu

2Setiap satu dalam beberapa baris

MLX Harness

Aplikasi Mac percuma dan sumber terbuka untuk sembang, ejen pengekodan dengan alat terbina dalam, penjanaan imej dan API tempatan yang menyokong format OpenAI, Anthropic dan Ollama. Ia menjalankan model dengan MLX Apple dan memuat turunnya dari Hugging Face; ia tidak menjalankan fail GGUF. Ia memerlukan macOS 14.5 atau lebih baharu pada Apple Silicon. Ia aplikasi kami, dibina atas vMLX oleh JANGQ AI, dan ia membawa MLX Node, yang boleh menggerakkan Mac untuk MLX Network semasa anda tiada (sumber). Panduan: cara menggunakan MLX Harness.

LM Studio

Aplikasi yang kemas yang menjalankan model MLX dan GGUF bersebelahan, dengan carian model berasaskan Hugging Face (LM Studio). Sejak Julai 2025 ia percuma digunakan di rumah dan di tempat kerja (LM Studio). Alat baris perintah, SDK dan enjin MLX-nya berlesen MIT; kod sumber aplikasi desktopnya tidak diterbitkan (GitHub). Ia memerlukan macOS 14 atau lebih baharu pada Apple Silicon, dan mengesyorkan memori 16 GB (keperluan). Pelayan tempatannya menyokong format OpenAI dan, sejak versi 0.4.1, format Anthropic (log perubahan).

Ollama

Cara satu arahan untuk menjalankan model, dengan pustaka modelnya sendiri dan, sejak Julai 2025, aplikasi sembang pada Mac (Ollama). Ia berlesen MIT dan menjalankan model GGUF melalui llama.cpp (GitHub). Sejak bulan Mac 2026 ia mempunyai enjin MLX dalam pratonton pada Apple Silicon, untuk Mac dengan memori lebih daripada 32 GB dan senarai model yang semakin bertambah (Ollama). Ia memerlukan macOS 14 atau lebih baharu (dokumentasi), dan API-nya pada port 11434 ialah API yang dijangkakan oleh banyak aplikasi lain.

Jan

Aplikasi sembang sumber terbuka (Apache 2.0) untuk Mac, Windows dan Linux, dengan enjin llama.cpp terbina dalam, sokongan MLX asli sejak Februari 2026, alat MCP dan pelayan yang serasi dengan OpenAI (GitHub, log perubahan). Ia juga boleh bersambung ke model awan, jika anda mahu satu aplikasi untuk kedua-duanya.

llama.cpp

Enjin di sebalik sebahagian besar AI tempatan: C/C++ berlesen MIT, dengan Apple Silicon sebagai “warga kelas pertama” melalui Metal (GitHub). Pasangnya dengan brew install llama.cpp; llama-server memberi anda sembang web dan API yang serasi dengan OpenAI dan Anthropic (dokumentasi pelayan). Ia menjalankan fail GGUF, format yang paling banyak diterbitkan.

mlx-lm

Alat MLX Apple sendiri untuk model bahasa, berlesen MIT: menjana teks, bersembang, menukar dan mengkuantum model, serta menala halusnya dengan LoRA, semuanya dari baris perintah (GitHub). mlx_lm.server menyediakan titik akhir asas gaya OpenAI yang tidak disyorkan oleh pembuatnya untuk persekitaran produksi (dokumentasi pelayan). Beribu-ribu model yang telah ditukar terdapat dalam organisasi mlx-community di Hugging Face.

3Yang mana patut dipilih

• Anda mahu aplikasi sumber terbuka yang dibuat untuk Apple Silicon: MLX Harness.
• Anda mahu model MLX dan GGUF dalam satu aplikasi yang kemas, dan tidak kisah tentang sumber tertutup: LM Studio.
• Aplikasi lain atau ejen pengekodan menjangkakan API Ollama: Ollama (MLX Harness juga menyediakan titik akhir gaya Ollama).
• Anda mahu satu aplikasi sembang merentas Mac, Windows dan Linux, tempatan dan awan: Jan.
• Anda menulis skrip, membina pelayan atau memerlukan pengkuantuman GGUF tertentu: llama.cpp.
• Anda menala halus atau menukar model, atau mahukan pelaksanaan rujukan Apple: mlx-lm.

Ramai orang menggunakan dua: satu aplikasi untuk sembang harian dan satu alat baris perintah untuk skrip. Kedua-duanya boleh berkongsi Mac yang sama, tetapi setiap satu menyimpan salinan fail model sendiri.

4Mula-mula, semak apa yang boleh dimuatkan oleh Mac anda

Tiada aplikasi yang mengubah kiraannya: model dan konteksnya mesti muat dalam bahagian memori bersatu yang dibenarkan macOS untuk digunakan oleh GPU, kira-kira 75% secara lalai, dan lebar jalur memori menentukan seberapa pantas ia menulis. Fail MLX dan GGUF bagi model yang sama pada ketepatan yang sama lebih kurang sama saiznya.

Lihat setiap model yang muat pada Mac anda, model terbaik bagi setiap saiz memori, atau mulakan dari sebuah model untuk melihat Mac yang diperlukannya.

5Apabila Mac melahu

Mac yang menjalankan AI tempatan dengan baik juga bagus untuk menjalankannya bagi orang lain. MLX Node menjalankan kerja AI untuk MLX Network apabila anda tidak menggunakan Mac anda, dalam had yang anda tetapkan, dan memperoleh token MLX untuk kerja yang disahkan. MLX Harness menyertakannya. Token MLX boleh kehilangan nilai; baca risiko.

6Soalan

Adakah LM Studio percuma untuk kerja?

Ya. Sejak Julai 2025 LM Studio percuma digunakan di rumah dan di tempat kerja; pelan berbayar adalah untuk pasukan dan perusahaan (LM Studio).

Adakah Ollama menggunakan MLX pada Mac?

Dalam pratonton sejak bulan Mac 2026, pada Mac Apple Silicon dengan memori lebih daripada 32 GB, untuk model yang disokong. Selain itu, ia menjalankan model GGUF melalui llama.cpp (Ollama).

Aplikasi manakah yang menjalankan model MLX dan GGUF?

LM Studio dan Jan menjalankan kedua-duanya; Ollama menjalankan GGUF dan, dalam pratonton, MLX. MLX Harness dan mlx-lm hanya menjalankan MLX; llama.cpp hanya menjalankan GGUF.

Aplikasi LLM tempatan manakah yang sumber terbuka?

MLX Harness (Apache 2.0), Ollama (MIT), Jan (Apache 2.0), llama.cpp (MIT) dan mlx-lm (MIT). LM Studio menerbitkan alat baris perintah, SDK dan enjin MLX-nya di bawah lesen MIT, tetapi tidak aplikasi desktopnya.