Magpatakbo ng LLM sa Mac mo.

1Ano ang kasya sa Mac mo

Kailangang magkasya sa memory ang mga weight ng model, at may sobra pang espasyo para sa context at sa macOS. Sa 4 bit kada weight, magplano ng mga 0.55 hanggang 0.6 GB kada bilyong parameter.

Ibang usapan ang bilis: kailangang basahin nang isang beses mula sa memory ang mga aktibong weight para sa bawat bagong token, kaya sumasabay sa memory bandwidth ang tokens per second. Saklaw ng gabay namin sa pinakamagandang Mac para sa local LLM ang bawat chip.

2Ang madaling paraan: LM Studio

Ang LM Studio ay libreng Mac app na may chat window at model browser. Sa Apple Silicon, kaya nitong magpatakbo ng model sa MLX format ng Apple pati na rin sa GGUF format na ginagamit ng llama.cpp.

1. I-download ang LM Studio at buksan ito.
2. Maghanap ng model, piliin ang MLX na bersyon kung nasa Apple Silicon ka, at pumili ng laking kasya sa memory mo.
3. I-load ito at magsimulang mag-chat. Puwede mo ring buksan ang local server nito para sa ibang app.

3Isang command: Ollama

Nagpapatakbo ang Ollama ng model mula sa terminal at ibinibigay ang mga ito sa ibang app sa Mac mo. Pagkatapos itong i-install, isang command lang ang magda-download at magsisimula ng model:

ollama run llama3.2

Mula bersyon 0.19, may preview ang Ollama sa Apple Silicon na pinapagana ng MLX framework ng Apple para sa mga suportadong model, na may malalaking speedup; nangangailangan ang preview ng Mac na may higit sa 32 GB na memory (Ollama).

4Ang pinakamabilis na paraan: MLX ng Apple at mlx-lm

Ang MLX ay open-source na machine learning framework ng Apple para sa Apple Silicon, at ang mlx-lm ang package nito para sa mga language model. Libu-libong model ang handa nang gamitin mula sa mlx-community organization sa Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Gamitin ang mlx_lm.chat para makipag-usap sa terminal at ang mlx_lm.server para sa local API na matatawag ng ibang app. Sa mga M5 chip, ginagamit ng MLX ang mga bagong neural accelerator sa GPU: nasukat ng Apple na dumarating ang unang token nang 3.3 hanggang 4.1 beses na mas maaga kaysa sa M4 (Apple Machine Learning Research).

5Sukatin ito, saka pagtrabahuhin

Ang MLX Bench ay bukas na leaderboard ng bilis ng MLX sa bawat Apple Silicon chip: generation at prompt tokens per second at peak memory. Patakbuhin ang isang-file na script sa Mac mo at tingnan kung saan ito pupuwesto.

Kapag hindi mo ginagamit ang Mac mo, puwede itong magpatakbo ng AI para sa iba. Ang MLX Node ay libreng app na nagpapatakbo ng AI job para sa MLX Network sa parehong MLX framework at kumikita ng MLX tokens para sa na-verify na trabaho, sa loob ng mga limit na itinakda mo.

6Mga tanong

Kaya bang magpatakbo ng LLM ng MacBook Air?

Oo. Komportableng napapatakbo ng MacBook Air na may 16 GB ang 7B hanggang 14B na model sa 4-bit; kung 32 GB, mga model hanggang mga 30B. Mas mabagal ito kaysa sa Mac na may Pro o Max chip, na may mas malaking memory bandwidth.

Mas mabilis ba ang MLX kaysa sa Ollama sa Mac?

Madalas, dahil isinulat ang MLX para sa Apple Silicon. Nag-uulat ng malalaking speedup sa Apple Silicon ang sariling MLX-powered preview ng Ollama. Detalyadong inihahambing ang dalawa sa gabay namin na MLX vs Ollama.

Gumagana ba offline ang mga local model?

Oo. Kapag na-download na, buong tumatakbo ang model sa Mac mo at hindi kailanman lumalabas dito ang mga prompt mo.

Gaano kalaking memory ang kailangan ko para sa 70B na model?

Mga 40 GB para sa mga weight sa 4-bit, kaya Mac na may 64 GB o higit pa. Ang mga mixture-of-experts na model na may katulad na kalidad ay puwedeng mangailangan ng mas maraming memory pero mas mabilis tumakbo.