Mag-download at magpatakbo ng LLM sa Mac mo.

1Saan makakahanap ng mga model

Nasa Hugging Face ang karamihan ng open-weight model. Karaniwang may ilang build ang parehong model, at ang format ang nagpapasya kung aling app ang makakapagpatakbo nito:

Hindi sigurado kung aling runtime ang gagamitin? Inihahambing ang mga ito ng MLX vs Ollama vs llama.cpp. Bago pa lang sa lahat ng ito? Magsimula sa pagpapatakbo ng LLM sa Mac.

2Pumili ng laking kasya sa memory mo

Kailangang magkasya sa memory ang weights ng model, at may sobra pang espasyo. Iniimbak ng MLX ang isang quantized weight bilang mga bit nito dagdag ang isang shared scale at bias para sa bawat grupo ng 64 na weight, mga kalahating bit pa kada weight (MLX). Kaya mga 0.56 GB kada bilyong parameter ang 4-bit at mga 1.06 GB ang 8-bit.

Bilang default, bahagi lang ng unified memory ang ipinapagamit ng macOS sa GPU; mga tatlong-kapat ang ipinapalagay ng Paghambingin, at ipinapakita ng README ng mlx-lm kung paano itaas ang limit sa macOS 15 o mas bago gamit ang sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Para sa mga mixture-of-experts na model, ang kabuuang parameter ang nagpapasya sa memory at ang mga aktibong parameter ang nagpapasya sa bilis. Ginagawa ng Paghambingin ang kuwentang ito para sa bawat sikat na model at bawat Apple chip, at ipinapaliwanag ng pinakamahusay na Mac para sa local LLM kung bakit bandwidth ang nagtatakda ng bilis.

3Quantization: 4-bit, 8-bit at iba pa

Iniimbak ng quantization ang bawat weight sa mas kaunting bit, kaya mas kaunting memory ang kinakailangan ng model at mas mabilis itong tumakbo, kapalit ng kaunting kalidad. 4-bit ang karaniwang panimula sa Mac. Mas malapit sa orihinal ang 8-bit at doble ang laki. Sa ilalim ng 4 bit, lumiliit ang mga file pero mas mabilis na bumababa ang kalidad ng sagot, kaya subukan lang ang mga ito kapag hindi kasya ang mas malaking model sa ibang paraan.

• Sinasabi ito ng mga MLX build sa pangalan: -4bit, -8bit, at kung minsan ay mixed-precision na build na pinapanatili sa mas maraming bit ang mga sensitibong layer.
• Gumagamit ang mga GGUF file ng mga pangalan ng llama.cpp: Q4_K_M, Q5_K_M, Q8_0 at iba pa. Kapag pinatakbo mo sa Ollama ang isang GGUF repository mula sa Hugging Face nang hindi pinangangalanan ang isa, Q4_K_M ang pinipili nito kung mayroon (Hugging Face).
• Gumawa ng sarili mong MLX build mula sa orihinal na weights: sumusulat ng 4-bit na kopya ang mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q (mlx-lm).

4Disk space at kung saan itinatago ang mga model

Halos kasinlaki ng weights sa table sa itaas ang isang download, kaya ilang gigabyte ang isang 4-bit na 8B model at sampu-sampung gigabyte ang isang 70B model. Mabilis itong madagdagan kapag sinubukan mo ang ilang laki o build ng parehong model.

Itinatago ng mlx-lm at ng iba pang Hugging Face tool ang mga download sa ~/.cache/huggingface/hub; itakda ang HF_HOME o HF_HUB_CACHE para ilipat ito. Ipinapakita ng hf cache ls ang laman nito at binubura ng hf cache rm ang isang model (Hugging Face). Itinatago ng Ollama at LM Studio ang mga model sa sarili nilang folder at sila mismo ang namamahala sa mga ito.

5Mga gated model at Hugging Face token

Gated ang ilang model, kabilang ang Llama: kailangan mong tanggapin ang mga tuntunin ng gumawa bago mo ma-download ang mga ito (Hugging Face).

1. Mag-sign in sa libreng Hugging Face account at buksan ang pahina ng model.
2. Tanggapin ang mga tuntunin gamit ang button sa pahina (bilang default Agree and send request to access repo). Mano-manong inaaprubahan ng ilang gumawa ang mga request, kaya mas matagal ito.
3. Gumawa ng access token sa Hugging Face settings mo.
4. Ibigay ang token sa mga tool mo: patakbuhin ang hf auth login sa Terminal para sa mlx-lm at iba pang Hugging Face tool (Hugging Face), o i-paste ito sa Hugging Face token field ng app.

6Patakbuhin ito: apat na paraan

mlx-lm: ang MLX ng Apple sa Terminal

I-install ito gamit ang pip, saka pangalanan ang kahit anong MLX model sa Hugging Face; dina-download ito sa unang takbo (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

Sine-serve ng mlx_lm.server ang isang model sa OpenAI-style na API sa localhost:8080 para sa ibang app (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: app na may model browser

Naghahanap at nagda-download ang LM Studio ng mga model mula sa Hugging Face sa loob ng app at nagpapatakbo ng mga MLX model sa Apple Silicon pati GGUF sa pamamagitan ng llama.cpp. Kailangan nito ng Apple Silicon at macOS 14 o mas bago, at nagrerekomenda ito ng 16 GB na memory o higit pa (LM Studio).

Ollama: isang command

Nagpapatakbo ang Ollama ng mga model mula sa sarili nitong library, at ng kahit anong GGUF repository sa Hugging Face nang direkta, na may opsyonal na quantization tag (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: ang libre naming app

Ang MLX Harness ay ang libre naming Mac app, na binuo sa vMLX: naghahanap ito ng mga MLX model sa Hugging Face, nakikipag-chat, nagpapatakbo ng mga tool at image model, at sine-serve ang lahat sa isang lokal na API. Port 8080 din ang gamit ng gateway nito, kaya huwag itong patakbuhin kasabay ng mlx_lm.server sa parehong port. Kapag hindi mo ginagamit ang Mac, puwede itong ipahiram ng MLX Node sa MLX Network.

7Mga tanong

Saan ako magda-download ng LLM para sa Mac?

Sa Hugging Face. Hanapin ang mga MLX build, marami ang inilathala ng mlx-community, o mga GGUF file. Kaya ng LM Studio at Ollama na maghanap at mag-download para sa iyo.

Anong laki ng model ang dapat kong i-download?

Isang model na kumportableng kasya ang weights sa memory ng Mac mo: sa 4-bit mga 0.56 GB kada bilyong parameter, kaya mga 4.5 GB para sa 8B na model at 39 GB para sa 70B, dagdag ang espasyo para sa context. Sinusuri ito ng Paghambingin sa mlx.app para sa Mac mo.

MLX o GGUF sa Mac?

Parehong mahusay tumakbo sa Apple Silicon. Ginawa ang mga MLX build para sa MLX ng Apple at tumatakbo sa mlx-lm, LM Studio at MLX Harness; tumatakbo ang mga GGUF file sa llama.cpp, Ollama at LM Studio.

Kailangan ko ba ng Hugging Face account?

Hindi para sa mga pampublikong model. Kailangan ng mga gated model ng libreng account, natanggap na lisensya at access token.

Puwede ko bang patakbuhin offline ang mga na-download na model?

Oo. Kapag nasa Mac mo na ang mga file, tumatakbo ang model nang walang internet connection at nananatili sa Mac ang mga prompt mo.