Muat turun dan jalankan LLM pada Mac anda.

1Tempat mencari model

Hugging Face menempatkan kebanyakan model open-weight. Model yang sama biasanya hadir dalam beberapa binaan, dan formatnya menentukan aplikasi mana yang boleh menjalankannya:

Tidak pasti runtime mana yang hendak digunakan? MLX vs Ollama vs llama.cpp membandingkannya. Baru dalam semua ini? Mulakan dengan menjalankan LLM pada Mac.

2Pilih saiz yang muat dalam memori anda

Pemberat model mesti muat dalam memori dengan ruang lebihan. MLX menyimpan pemberat yang dikuantumkan sebagai bitnya serta skala dan bias yang dikongsi bagi setiap kumpulan 64 pemberat, kira-kira setengah bit tambahan bagi setiap pemberat (MLX). Jadi 4-bit memerlukan kira-kira 0.56 GB bagi setiap bilion parameter dan 8-bit kira-kira 1.06 GB.

Secara lalai macOS hanya membenarkan GPU menggunakan sebahagian daripada memori bersatu; halaman Bandingkan menganggarkan kira-kira tiga perempat, dan README mlx-lm menunjukkan cara menaikkan had itu pada macOS 15 atau lebih baharu dengan sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Untuk model mixture-of-experts, jumlah parameter menentukan memori dan parameter aktif menentukan kelajuan. Halaman Bandingkan membuat pengiraan ini untuk setiap model popular dan setiap cip Apple, dan Mac terbaik untuk LLM tempatan menerangkan mengapa lebar jalur menentukan kelajuan.

3Pengkuantuman: 4-bit, 8-bit dan selebihnya

Pengkuantuman menyimpan setiap pemberat dalam bit yang lebih sedikit, jadi model menggunakan kurang memori dan berjalan lebih pantas, dengan sedikit kos kualiti. 4-bit ialah titik permulaan biasa pada Mac. 8-bit lebih hampir kepada asal dan dua kali ganda saiznya. Di bawah 4 bit, fail menjadi kecil tetapi kualiti jawapan merosot lebih cepat, jadi cubalah hanya apabila model yang lebih besar tidak akan muat dengan cara lain.

• Binaan MLX menyatakannya dalam nama: -4bit, -8bit, dan kadangkala binaan ketepatan campuran yang mengekalkan lapisan sensitif pada lebih banyak bit.
• Fail GGUF menggunakan nama llama.cpp: Q4_K_M, Q5_K_M, Q8_0 dan sebagainya. Apabila anda menjalankan repositori GGUF Hugging Face dalam Ollama tanpa menamakan satu, ia memilih Q4_K_M jika tersedia (Hugging Face).
• Buat sendiri binaan MLX daripada pemberat asal: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q menulis salinan 4-bit (mlx-lm).

4Ruang cakera dan tempat model disimpan

Muat turun lebih kurang sebesar pemberat dalam jadual di atas, jadi model 8B 4-bit bersaiz beberapa gigabait dan model 70B berpuluh-puluh gigabait. Mencuba beberapa saiz atau binaan model yang sama cepat bertambah.

mlx-lm dan alat Hugging Face lain menyimpan muat turun dalam ~/.cache/huggingface/hub; tetapkan HF_HOME atau HF_HUB_CACHE untuk memindahkannya. hf cache ls menunjukkan kandungannya dan hf cache rm memadam model (Hugging Face). Ollama dan LM Studio menyimpan model dalam folder mereka sendiri dan mengurusnya sendiri.

5Model berpagar dan token Hugging Face

Sesetengah model, termasuk Llama, berpagar (gated): anda perlu menerima syarat pembuatnya sebelum boleh memuat turunnya (Hugging Face).

1. Log masuk ke akaun Hugging Face percuma dan buka halaman model itu.
2. Terima syaratnya dengan butang pada halaman tersebut (secara lalai Agree and send request to access repo). Sesetengah pembuat meluluskan permintaan secara manual, yang mengambil masa lebih lama.
3. Cipta token akses dalam tetapan Hugging Face anda.
4. Berikan token itu kepada alat anda: jalankan hf auth login dalam Terminal untuk mlx-lm dan alat Hugging Face lain (Hugging Face), atau tampalkannya ke dalam medan token Hugging Face aplikasi.

6Jalankannya: empat cara

mlx-lm: MLX Apple dalam Terminal

Pasangnya dengan pip, kemudian namakan mana-mana model MLX di Hugging Face; larian pertama akan memuat turunnya (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server menyediakan model pada API gaya OpenAI di localhost:8080 untuk aplikasi lain (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: aplikasi dengan pelayar model

LM Studio mencari dan memuat turun model daripada Hugging Face dalam aplikasi dan menjalankan model MLX pada Apple Silicon serta GGUF melalui llama.cpp. Ia memerlukan Apple Silicon dan macOS 14 atau lebih baharu, dan mengesyorkan memori 16 GB atau lebih (LM Studio).

Ollama: satu arahan

Ollama menjalankan model daripada pustakanya sendiri, dan mana-mana repositori GGUF di Hugging Face secara terus, dengan tag pengkuantuman jika mahu (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: aplikasi percuma kami

MLX Harness ialah aplikasi Mac percuma kami, dibina atas vMLX: ia mencari model MLX di Hugging Face, bersembang, menjalankan alat dan model imej, dan menyediakan semuanya pada API tempatan. Gateway-nya juga menggunakan port 8080, jadi jangan jalankannya serentak dengan mlx_lm.server pada port yang sama. Apabila anda tidak menggunakan Mac, MLX Node boleh meminjamkannya kepada MLX Network.

7Soalan

Di mana saya boleh memuat turun LLM untuk Mac?

Daripada Hugging Face. Cari binaan MLX, banyak diterbitkan oleh mlx-community, atau fail GGUF. LM Studio dan Ollama boleh mencari dan memuat turunnya untuk anda.

Saiz model mana yang patut saya muat turun?

Model yang pemberatnya muat dengan selesa dalam memori Mac anda: pada 4-bit kira-kira 0.56 GB bagi setiap bilion parameter, jadi kira-kira 4.5 GB untuk model 8B dan 39 GB untuk 70B, serta ruang untuk konteks. Halaman Bandingkan di mlx.app menyemaknya untuk Mac anda.

MLX atau GGUF pada Mac?

Kedua-duanya berjalan dengan baik pada Apple Silicon. Binaan MLX dibuat untuk MLX Apple dan berjalan dalam mlx-lm, LM Studio dan MLX Harness; fail GGUF berjalan dalam llama.cpp, Ollama dan LM Studio.

Adakah saya memerlukan akaun Hugging Face?

Tidak untuk model awam. Model berpagar memerlukan akaun percuma, lesen yang telah diterima dan token akses.

Bolehkah saya menjalankan model yang dimuat turun secara luar talian?

Ya. Sebaik sahaja fail berada pada Mac anda, model berjalan tanpa sambungan internet dan prompt anda kekal pada Mac.