Pakua na uendeshe LLM kwenye Mac yako.

1Mahali pa kupata modeli

Hugging Face huhifadhi modeli nyingi za open-weight. Modeli ileile kwa kawaida huja katika matoleo kadhaa, na muundo huamua programu ipi inaweza kuiendesha:

Huna uhakika utumie runtime ipi? MLX dhidi ya Ollama dhidi ya llama.cpp inazilinganisha. Wewe ni mgeni katika haya yote? Anza na kuendesha LLM kwenye Mac.

2Chagua ukubwa unaotosha kumbukumbu yako

Weights za modeli lazima zitoshe kwenye kumbukumbu na kubakiza nafasi. MLX huhifadhi weight iliyofanyiwa quantization kama biti zake pamoja na scale na bias zinazoshirikiwa kwa kila kundi la weights 64, takriban nusu biti zaidi kwa kila weight (MLX). Hivyo 4-bit hugharimu takriban GB 0.56 kwa kila vigezo bilioni moja na 8-bit takriban GB 1.06.

Kwa chaguo-msingi macOS huiruhusu GPU kutumia sehemu tu ya unified memory; Linganisha hukadiria takriban robo tatu, na README ya mlx-lm inaonyesha jinsi ya kuongeza kikomo kwenye macOS 15 au mpya zaidi kwa sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Kwa modeli za mixture-of-experts, jumla ya vigezo huamua kumbukumbu na vigezo vinavyotumika huamua kasi. Linganisha hufanya hesabu hii kwa kila modeli maarufu na kila chipu ya Apple, na Mac bora kwa LLM za ndani inaeleza kwa nini bandwidth huamua kasi.

3Quantization: 4-bit, 8-bit na nyinginezo

Quantization huhifadhi kila weight kwa biti chache zaidi, hivyo modeli huchukua kumbukumbu kidogo na kwenda kwa kasi zaidi, kwa gharama fulani ya ubora. 4-bit ndiyo mahali pa kawaida pa kuanzia kwenye Mac. 8-bit iko karibu zaidi na asili na ni kubwa mara mbili. Chini ya biti 4, faili huwa ndogo lakini majibu huharibika mapema zaidi, hivyo zijaribu tu pale modeli kubwa zaidi isingetosha vinginevyo.

• Matoleo ya MLX husema hivyo kwenye jina: -4bit, -8bit, na wakati mwingine matoleo ya usahihi mchanganyiko yanayoweka tabaka nyeti kwenye biti zaidi.
• Faili za GGUF hutumia majina ya llama.cpp: Q4_K_M, Q5_K_M, Q8_0 na kadhalika. Unapoendesha hazina ya GGUF ya Hugging Face kwenye Ollama bila kutaja moja, huchagua Q4_K_M ikiwa ipo (Hugging Face).
• Tengeneza lako mwenyewe toleo la MLX kutoka weights asili: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q huandika nakala ya 4-bit (mlx-lm).

4Nafasi ya diski na mahali modeli zinapohifadhiwa

Upakuaji ni takriban mkubwa kama weights kwenye jedwali hapo juu, hivyo modeli ya 8B ya 4-bit ni gigabaiti chache na modeli ya 70B ni makumi ya gigabaiti. Kujaribu ukubwa au matoleo kadhaa ya modeli ileile huongezeka haraka.

mlx-lm na zana nyingine za Hugging Face huhifadhi upakuaji kwenye ~/.cache/huggingface/hub; weka HF_HOME au HF_HUB_CACHE ili kuuhamisha. hf cache ls huonyesha kilichomo na hf cache rm hufuta modeli (Hugging Face). Ollama na LM Studio huhifadhi modeli kwenye folda zao wenyewe na kuzisimamia zenyewe.

5Modeli zenye vizuizi na tokeni za Hugging Face

Baadhi ya modeli, Llama ikiwa mojawapo, zina vizuizi (gated): unahitaji kukubali masharti ya mtengenezaji kabla ya kuweza kuzipakua (Hugging Face).

1. Ingia kwenye akaunti ya bure ya Hugging Face na ufungue ukurasa wa modeli.
2. Kubali masharti kwa kitufe kilicho kwenye ukurasa (kwa chaguo-msingi Agree and send request to access repo). Baadhi ya watengenezaji huidhinisha maombi kwa mkono, jambo linalochukua muda zaidi.
3. Tengeneza access token kwenye mipangilio yako ya Hugging Face.
4. Wape zana zako tokeni hiyo: endesha hf auth login kwenye Terminal kwa mlx-lm na zana nyingine za Hugging Face (Hugging Face), au ibandike kwenye sehemu ya tokeni ya Hugging Face ya programu.

6Iendeshe: njia nne

mlx-lm: MLX ya Apple kwenye Terminal

Isakinishe kwa pip, kisha taja modeli yoyote ya MLX kwenye Hugging Face; uendeshaji wa kwanza huipakua (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server hutoa modeli kupitia API ya mtindo wa OpenAI kwenye localhost:8080 kwa programu nyingine (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: programu yenye kivinjari cha modeli

LM Studio hutafuta na kupakua modeli kutoka Hugging Face ndani ya programu na huendesha modeli za MLX kwenye Apple Silicon pamoja na GGUF kupitia llama.cpp. Inahitaji Apple Silicon na macOS 14 au mpya zaidi, na inapendekeza kumbukumbu ya GB 16 au zaidi (LM Studio).

Ollama: amri moja

Ollama huendesha modeli kutoka kwenye maktaba yake, na hazina yoyote ya GGUF kwenye Hugging Face moja kwa moja, ikiwa na tagi ya quantization ukipenda (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: programu yetu ya bure

MLX Harness ni programu yetu ya bure ya Mac, iliyojengwa juu ya vMLX: hutafuta modeli za MLX kwenye Hugging Face, huzungumza, huendesha zana na modeli za picha, na hutoa kila kitu kupitia API ya ndani. Gateway yake pia hutumia port 8080, hivyo usiiendeshe sambamba na mlx_lm.server kwenye port ileile. Usipoitumia Mac, MLX Node inaweza kuikopesha kwa MLX Network badala yake.

7Maswali

Ninapakua wapi LLM kwa Mac?

Kutoka Hugging Face. Tafuta matoleo ya MLX, mengi yakichapishwa na mlx-community, au faili za GGUF. LM Studio na Ollama zinaweza kukutafutia na kukupakulia.

Nipakue modeli ya ukubwa gani?

Ile ambayo weights zake zinatosha kwa nafasi kwenye kumbukumbu ya Mac yako: kwa 4-bit takriban GB 0.56 kwa kila vigezo bilioni moja, hivyo takriban GB 4.5 kwa modeli ya 8B na GB 39 kwa 70B, pamoja na nafasi ya context. Linganisha kwenye mlx.app huikagua kwa ajili ya Mac yako.

MLX au GGUF kwenye Mac?

Zote huendeshwa vizuri kwenye Apple Silicon. Matoleo ya MLX yametengenezwa kwa MLX ya Apple na huendeshwa kwenye mlx-lm, LM Studio na MLX Harness; faili za GGUF huendeshwa kwenye llama.cpp, Ollama na LM Studio.

Je, ninahitaji akaunti ya Hugging Face?

Si kwa modeli za umma. Modeli zenye vizuizi zinahitaji akaunti ya bure, leseni iliyokubaliwa na access token.

Je, ninaweza kuendesha modeli zilizopakuliwa bila intaneti?

Ndiyo. Faili zikishakuwa kwenye Mac yako, modeli huendeshwa bila muunganisho wa intaneti na prompts zako hubaki kwenye Mac.