Ang pinakamagandang Mac para sa local LLM.

1Bakit memory at bandwidth ang nagpapasya sa lahat

Isang token lang ang isinusulat ng language model sa bawat pagkakataon, at para sa bawat isa, binabasa nito mula sa memory ang bawat aktibong weight. Kaya ang speed limit para sa isang usapan ay humigit-kumulang memory bandwidth na hinati sa laki ng mga aktibong weight. Sa mga pampublikong benchmark ng llama.cpp, umaabot ang totoong generation sa 43% hanggang 80% ng limit na iyon sa mga Apple chip (llama.cpp).

Iba ang pagbasa ng prompt mo: compute ang naglilimita sa bahaging iyon, kaya ang mga chip ng M5 generation, na may neural accelerator sa GPU, ay nagpo-proseso ng prompt nang ilang beses na mas mabilis kaysa sa mga nauna (Apple).

2Bawat chip, inihambing

Mahusay pa rin ang mga lumang chip kapag sapat ang memory. Ang M1 Max o M2 Max na may 64 GB ay nagbabasa sa 400 GB/s, mas mabilis kaysa sa kahit anong base chip ngayon, at kadalasang mas mura nang husto kapag second-hand.

3Aling Mac ang bibilhin

Sinusubukan pa lang: MacBook Air o Mac mini na may 16 hanggang 32 GB

Komportableng napapatakbo ang 7B hanggang 14B na model, at 30B-class na model kapag 32 GB. Ayos para sa chat, pagsusulat at magaang tulong sa coding.

Pinakasulit: Pro chip na may 64 GB

Kasya sa Mac mini o MacBook Pro na may M4 Pro o M5 Pro ang 70B-class na model at mabilis-bilis nitong napapatakbo ang katamtamang laking model. Ang sweet spot para sa karamihan ng developer.

Seryosong local AI: Max chip na may 128 GB

Napapatakbo ang gpt-oss-120b (mga 65 GB sa 4-bit) sa isang laptop; batay sa bandwidth figure ng Apple, ang teoretikal na kisame para sa isang stream sa M5 Max ay mga 225 token bawat segundo. Ang pinakamahusay na portable na pagpipilian.

Ang pinakamalalaking model: Mac Studio na may Ultra

Sa hanggang 512 GB at 1.2 TB/s ng M5 Ultra, kasya ang mga model na may daan-daang bilyong parameter sa iisang mesa. Para sa mas malalaki pang model, puwedeng pagdugtungin ang mga Mac bilang cluster gamit ang Thunderbolt 5: tingnan ang Mac AI cluster.

4Hayaang kumita ang Mac para sa sarili nito

Kadalasang naghihintay lang ang Mac na binili para sa AI. Ang MLX Node ay libreng app na nagpapahiram ng bakanteng kapasidad na iyon sa MLX Network, nagpapatakbo ng AI job sa parehong MLX framework at kumikita ng MLX tokens para sa na-verify na trabaho. Pinaparami ng dedicated seat na tugma sa chip ang kinikita nito: tumatakbo nang full rate ang Pro seat sa Pro o Max chip, ang Ultra seat sa Ultra chip.

Ihambing muna ang Mac mo sa MLX Bench: ipinapakita nito ang nasukat na tokens per second ng mga open model sa bawat chip.

5Mga tanong

Sapat ba ang 16 GB para sa local LLM?

Oo, para sa mga model hanggang mga 14B parameter sa 4-bit. Para sa mas malalaking model, o mahahabang context, mas komportable ang 32 GB o higit pa.

Mac Studio o MacBook Pro para sa LLM?

Pareho silang may Max chip at hanggang 128 GB. Portable ang MacBook Pro; mas malamig ang Mac Studio sa mahahabang load at ito lang ang Mac na may Ultra chip at hanggang 512 GB.

Mas maganda ba ang Mac kaysa sa Nvidia GPU para sa local AI?

Para sa pinakamalalaking model sa bahay, kadalasan oo: mas marami ang kayang hawakan ng unified memory ng Mac kaysa sa memory ng consumer graphics card. Mas mabilis ang high-end na Nvidia card sa mga model na kasya sa memory nito.

Pinapabilis ba ng M5 ang mga LLM?

Oo, lalo na sa pagbasa ng prompt: nasukat ng Apple na dumarating ang unang token nang 3.3 hanggang 4.1 beses na mas maaga sa M5 kaysa sa M4 gamit ang MLX. Sumasabay ang bilis ng generation sa memory bandwidth, na tumaas nang 28% mula M4 hanggang M5.