Jalankan LLM di Mac Anda.

1Model apa yang muat di Mac Anda

Bobot model harus muat di memori dengan ruang sisa untuk konteks dan macOS. Pada 4 bit per bobot, perkirakan sekitar 0,55 hingga 0,6 GB per miliar parameter.

Kecepatan adalah soal lain: setiap token baru membutuhkan bobot aktif dibaca dari memori satu kali, sehingga token per detik naik seiring bandwidth memori. Panduan kami tentang Mac terbaik untuk LLM lokal membahas setiap chip.

2Cara mudah: LM Studio

LM Studio adalah aplikasi Mac gratis dengan jendela chat dan penjelajah model. Di Apple Silicon, aplikasi ini bisa menjalankan model dalam format MLX dari Apple maupun format GGUF yang dipakai llama.cpp.

1. Unduh LM Studio dan buka.
2. Cari sebuah model, utamakan versi MLX di Apple Silicon, dan pilih ukuran yang muat di memori Anda.
3. Muat model itu dan mulai mengobrol. Anda juga bisa mengaktifkan server lokalnya untuk aplikasi lain.

3Satu perintah: Ollama

Ollama menjalankan model dari terminal dan menyajikannya ke aplikasi lain di Mac Anda. Setelah memasangnya, satu perintah mengunduh dan menjalankan sebuah model:

ollama run llama3.2

Sejak versi 0.19, Ollama di Apple Silicon punya pratinjau yang ditenagai framework MLX dari Apple untuk model yang didukung, dengan peningkatan kecepatan besar; pratinjau ini membutuhkan Mac dengan memori lebih dari 32 GB (Ollama).

4Cara tercepat: MLX dari Apple dan mlx-lm

MLX adalah framework machine learning open-source dari Apple untuk Apple Silicon, dan mlx-lm adalah paketnya untuk model bahasa. Ribuan model siap pakai tersedia dari organisasi mlx-community di Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Gunakan mlx_lm.chat untuk percakapan di terminal dan mlx_lm.server untuk API lokal yang bisa dipanggil aplikasi lain. Di chip M5, MLX memakai neural accelerator baru di dalam GPU: Apple mengukur token pertama muncul 3,3 hingga 4,1 kali lebih cepat daripada di M4 (Apple Machine Learning Research).

5Ukur, lalu manfaatkan

MLX Bench adalah papan peringkat terbuka untuk kecepatan MLX di setiap chip Apple Silicon: token per detik untuk generasi dan prompt, serta memori puncak. Jalankan skrip satu file di Mac Anda dan lihat posisinya.

Saat tidak Anda pakai, Mac Anda bisa menjalankan AI untuk orang lain. MLX Node adalah aplikasi gratis yang menjalankan pekerjaan AI untuk MLX Network di framework MLX yang sama dan memperoleh token MLX untuk pekerjaan yang terverifikasi, dalam batas yang Anda atur.

6Pertanyaan

Bisakah MacBook Air menjalankan LLM?

Bisa. MacBook Air dengan 16 GB menjalankan model 7B hingga 14B pada 4-bit dengan nyaman; dengan 32 GB, model hingga sekitar 30B. Kecepatannya lebih rendah daripada Mac dengan chip Pro atau Max, yang punya bandwidth memori lebih besar.

Apakah MLX lebih cepat daripada Ollama di Mac?

Sering kali ya, karena MLX ditulis untuk Apple Silicon. Pratinjau Ollama yang ditenagai MLX pun melaporkan peningkatan kecepatan besar di Apple Silicon. Panduan MLX vs Ollama kami membandingkan keduanya secara rinci.

Apakah model lokal bisa dipakai offline?

Bisa. Setelah diunduh, model berjalan sepenuhnya di Mac Anda dan prompt Anda tidak pernah keluar dari Mac itu.

Berapa memori yang dibutuhkan untuk model 70B?

Sekitar 40 GB untuk bobotnya pada 4-bit, jadi Mac dengan 64 GB atau lebih. Model mixture-of-experts dengan kualitas serupa mungkin butuh memori lebih banyak tetapi berjalan lebih cepat.