Unduh dan jalankan LLM di Mac Anda.

1Tempat menemukan model

Hugging Face menampung sebagian besar model open-weight. Model yang sama biasanya hadir dalam beberapa build, dan formatnya menentukan aplikasi mana yang bisa menjalankannya:

Belum yakin runtime mana yang dipakai? MLX vs Ollama vs llama.cpp membandingkannya. Baru mengenal semua ini? Mulailah dengan menjalankan LLM di Mac.

2Pilih ukuran yang muat di memori Anda

Bobot model harus muat di memori dengan ruang sisa. MLX menyimpan bobot terkuantisasi sebagai bit-bitnya ditambah skala dan bias bersama untuk setiap kelompok 64 bobot, sekitar setengah bit tambahan per bobot (MLX). Jadi 4-bit butuh sekitar 0,56 GB per miliar parameter dan 8-bit sekitar 1,06 GB.

Secara default macOS hanya mengizinkan GPU memakai sebagian dari memori terpadu; halaman Bandingkan mengasumsikan sekitar tiga perempat, dan README mlx-lm menjelaskan cara menaikkan batasnya di macOS 15 atau lebih baru dengan sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Untuk model mixture-of-experts, total parameter menentukan memori dan parameter aktif menentukan kecepatan. Halaman Bandingkan melakukan hitungan ini untuk setiap model populer dan setiap chip Apple, dan Mac terbaik untuk LLM lokal menjelaskan mengapa bandwidth menentukan kecepatan.

3Kuantisasi: 4-bit, 8-bit, dan lainnya

Kuantisasi menyimpan setiap bobot dalam lebih sedikit bit, sehingga model memakai lebih sedikit memori dan berjalan lebih cepat, dengan sedikit penurunan kualitas. 4-bit adalah titik awal yang umum di Mac. 8-bit lebih dekat ke aslinya dan dua kali lebih besar. Di bawah 4 bit, file menjadi kecil tetapi kualitas jawaban lebih cepat menurun, jadi cobalah hanya jika model yang lebih besar tidak akan muat dengan cara lain.

• Build MLX menyebutkannya di nama: -4bit, -8bit, dan terkadang build presisi campuran yang mempertahankan lapisan sensitif dengan lebih banyak bit.
• File GGUF memakai penamaan llama.cpp: Q4_K_M, Q5_K_M, Q8_0, dan seterusnya. Saat Anda menjalankan repositori GGUF dari Hugging Face di Ollama tanpa menyebut salah satunya, Ollama memilih Q4_K_M jika tersedia (Hugging Face).
• Buat sendiri build MLX dari bobot asli: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q menulis salinan 4-bit (mlx-lm).

4Ruang disk dan tempat model disimpan

Ukuran unduhan kurang lebih sama dengan bobot di tabel di atas, jadi model 8B 4-bit berukuran beberapa gigabyte dan model 70B puluhan gigabyte. Mencoba beberapa ukuran atau build dari model yang sama cepat menumpuk.

mlx-lm dan tools Hugging Face lainnya menyimpan unduhan di ~/.cache/huggingface/hub; atur HF_HOME atau HF_HUB_CACHE untuk memindahkannya. hf cache ls menampilkan isinya dan hf cache rm menghapus sebuah model (Hugging Face). Ollama dan LM Studio menyimpan model di folder masing-masing dan mengelolanya sendiri.

5Model gated dan token Hugging Face

Beberapa model, termasuk Llama, bersifat gated: Anda harus menyetujui ketentuan pembuatnya sebelum bisa mengunduhnya (Hugging Face).

1. Masuk ke akun Hugging Face gratis dan buka halaman model itu.
2. Setujui ketentuannya dengan tombol di halaman tersebut (secara default Agree and send request to access repo). Sebagian pembuat menyetujui permintaan secara manual, yang memakan waktu lebih lama.
3. Buat access token di pengaturan Hugging Face Anda.
4. Berikan token itu ke tools Anda: jalankan hf auth login di Terminal untuk mlx-lm dan tools Hugging Face lainnya (Hugging Face), atau tempelkan ke kolom token Hugging Face di aplikasi.

6Jalankan: empat cara

mlx-lm: MLX dari Apple di Terminal

Pasang dengan pip, lalu sebutkan model MLX apa pun di Hugging Face; jalankan pertama kali akan mengunduhnya (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server menyajikan model di API bergaya OpenAI di localhost:8080 untuk aplikasi lain (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: aplikasi dengan penjelajah model

LM Studio mencari dan mengunduh model dari Hugging Face di dalam aplikasi dan menjalankan model MLX di Apple Silicon serta GGUF lewat llama.cpp. Aplikasi ini butuh Apple Silicon dan macOS 14 atau lebih baru, dan menyarankan memori 16 GB atau lebih (LM Studio).

Ollama: satu perintah

Ollama menjalankan model dari pustakanya sendiri, dan repositori GGUF mana pun di Hugging Face secara langsung, opsional dengan tag kuantisasi (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: aplikasi gratis kami

MLX Harness adalah aplikasi Mac gratis kami, dibangun di atas vMLX: aplikasi ini mencari model MLX di Hugging Face, chat, menjalankan tools dan model gambar, serta menyajikan semuanya di API lokal. Gateway-nya juga memakai port 8080, jadi jangan menjalankannya bersamaan dengan mlx_lm.server di port yang sama. Saat Mac tidak Anda pakai, MLX Node bisa meminjamkannya ke MLX Network.

7Pertanyaan

Di mana saya mengunduh LLM untuk Mac?

Dari Hugging Face. Carilah build MLX, banyak di antaranya diterbitkan oleh mlx-community, atau file GGUF. LM Studio dan Ollama bisa mencari dan mengunduhkannya untuk Anda.

Ukuran model mana yang sebaiknya saya unduh?

Model yang bobotnya muat dengan lega di memori Mac Anda: pada 4-bit sekitar 0,56 GB per miliar parameter, jadi sekitar 4,5 GB untuk model 8B dan 39 GB untuk 70B, ditambah ruang untuk konteks. Halaman Bandingkan di mlx.app memeriksanya untuk Mac Anda.

MLX atau GGUF di Mac?

Keduanya berjalan baik di Apple Silicon. Build MLX dibuat untuk MLX dari Apple dan berjalan di mlx-lm, LM Studio, dan MLX Harness; file GGUF berjalan di llama.cpp, Ollama, dan LM Studio.

Apakah saya butuh akun Hugging Face?

Tidak untuk model publik. Model gated butuh akun gratis, lisensi yang sudah disetujui, dan access token.

Bisakah saya menjalankan model yang sudah diunduh secara offline?

Bisa. Setelah file ada di Mac Anda, model berjalan tanpa koneksi internet dan prompt Anda tetap di Mac.