Endesha LLM kwenye Mac yako.

1Kinachotosha kwenye Mac yako

Weights za modeli lazima zitoshe kwenye kumbukumbu na kubakiza nafasi ya context na macOS. Kwa biti 4 kwa kila weight, panga takriban GB 0.55 hadi 0.6 kwa kila vigezo bilioni moja.

Kasi ni swali tofauti: kila tokeni mpya inahitaji weights zinazotumika kusomwa kutoka kwenye kumbukumbu mara moja, hivyo tokeni kwa sekunde huongezeka pamoja na bandwidth ya kumbukumbu. Mwongozo wetu wa Mac bora kwa LLM za ndani unashughulikia kila chipu.

2Njia rahisi: LM Studio

LM Studio ni programu ya bure ya Mac yenye dirisha la mazungumzo na kivinjari cha modeli. Kwenye Apple Silicon inaweza kuendesha modeli katika muundo wa MLX wa Apple pamoja na muundo wa GGUF unaotumiwa na llama.cpp.

1. Pakua LM Studio na uifungue.
2. Tafuta modeli, pendelea toleo la MLX kwenye Apple Silicon, na uchague ukubwa unaotosha kumbukumbu yako.
3. Ipakie na uanze kuzungumza. Unaweza pia kuwasha seva yake ya ndani kwa ajili ya programu nyingine.

3Amri moja: Ollama

Ollama huendesha modeli kutoka kwenye terminal na kuzipatia programu nyingine kwenye Mac yako. Baada ya kuisakinisha, amri moja hupakua na kuanzisha modeli:

ollama run llama3.2

Tangu toleo la 0.19, Ollama kwenye Apple Silicon ina toleo la majaribio (preview) linaloendeshwa na framework ya MLX ya Apple kwa modeli zinazotumika, lenye ongezeko kubwa la kasi; preview hiyo inahitaji Mac yenye kumbukumbu zaidi ya GB 32 (Ollama).

4Njia ya kasi zaidi: MLX ya Apple na mlx-lm

MLX ni framework huria ya Apple ya machine learning kwa Apple Silicon, na mlx-lm ni kifurushi chake cha modeli za lugha. Maelfu ya modeli ziko tayari kutumika kutoka kwa shirika la mlx-community kwenye Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Tumia mlx_lm.chat kwa mazungumzo kwenye terminal na mlx_lm.server kwa API ya ndani ambayo programu nyingine zinaweza kuiita. Kwenye chipu za M5, MLX hutumia neural accelerators mpya ndani ya GPU: Apple ilipima tokeni ya kwanza ikifika mara 3.3 hadi 4.1 mapema zaidi kuliko kwenye M4 (Apple Machine Learning Research).

5Ipime, kisha iweke kazini

MLX Bench ni jedwali la wazi la kasi ya MLX kwenye kila chipu ya Apple Silicon: tokeni za kuzalisha na za prompt kwa sekunde, na kumbukumbu ya juu kabisa iliyotumika. Endesha skripti ya faili moja kwenye Mac yako uone inashika nafasi gani.

Usipoitumia Mac yako, inaweza kuendesha AI kwa ajili ya wengine. MLX Node ni programu ya bure inayoendesha kazi za AI kwa ajili ya MLX Network kwa framework ileile ya MLX na kupata tokeni za MLX kwa kazi iliyothibitishwa, ndani ya vikomo unavyoweka.

6Maswali

Je, MacBook Air inaweza kuendesha LLM?

Ndiyo. MacBook Air yenye GB 16 huendesha modeli za 7B hadi 14B kwa 4-bit bila shida; ikiwa na GB 32, modeli hadi takriban 30B. Itakuwa polepole kuliko Mac yenye chipu ya Pro au Max, ambayo ina bandwidth kubwa zaidi ya kumbukumbu.

Je, MLX ina kasi kuliko Ollama kwenye Mac?

Mara nyingi, kwa sababu MLX imeandikwa kwa ajili ya Apple Silicon. Preview ya Ollama yenyewe inayoendeshwa na MLX inaripoti ongezeko kubwa la kasi kwenye Apple Silicon. Mwongozo wetu wa MLX dhidi ya Ollama unazilinganisha kwa kina.

Je, modeli za ndani hufanya kazi bila intaneti?

Ndiyo. Ikishapakuliwa, modeli huendeshwa kabisa kwenye Mac yako na prompts zako haziondoki humo kamwe.

Ninahitaji kumbukumbu kiasi gani kwa modeli ya 70B?

Takriban GB 40 kwa weights kwa 4-bit, hivyo Mac yenye GB 64 au zaidi. Modeli za mixture-of-experts zenye ubora unaofanana zinaweza kuhitaji kumbukumbu zaidi lakini huenda kwa kasi zaidi.