Mac mini vs Mac Studio para sa AI.

1Ang mga spec na mahalaga para sa AI

Naka-link ang bawat configuration sa mga model na mahusay tumakbo rito. Ganito rin gumagana ang mga naunang model: ang Mac mini na may M4 o M4 Pro, at ang Mac Studio na may M4 Max o M3 Ultra (ranggo ng bawat Mac).

2Gaano kabilis sumulat ang bawat isa

Sa pagsulat ng text, isang beses binabasa ang mga aktibong weight ng model para sa bawat token, kaya memory bandwidth ang naglalagay ng kisame sa bilis. Para sa 32B na dense model sa 4-bit, mga 18 GB:

Bahagi lang ng weights ang binabasa ng mga mixture-of-experts model sa bawat token, kaya mas mabilis silang sumulat kaysa sa inaasahan sa laki nila: memory ang nagpapasya kung kasya sila, bandwidth pa rin ang nagtatakda ng bilis. Ang pagbasa ng mahabang prompt ay nakadepende sa compute ng GPU sa halip na sa bandwidth, at doon mas lumalayo pa ang mas malalaking GPU ng Max at Ultra na chip.

3Alin para sa aling model

• Maliliit at katamtamang model (hanggang mga 30B sa 4-bit), chat, coding helper, home AI server: Mac mini na may M5 Pro at 48 o 64 GB. Kaya ng M6 Mac mini na may 32 GB ang parehong mga laki sa halos kalahati ng bilis.
• Mga 70B-class na model, gpt-oss-120b, mahahabang context o ilang model nang sabay: Mac Studio na may M5 Max at 128 GB. Mga 65 GB ang sariling file ng gpt-oss-120b ng OpenAI (OpenAI), higit sa kayang ibigay ng kahit anong Mac mini sa GPU nito.
• Ang pinakamalalaking open model (daan-daang bilyong parameter): Mac Studio na may M5 Ultra at 256 o 512 GB, o ilang Mac na magkasama (mga Mac AI cluster).

Para sa isang partikular na model, ipinapakita ng pahina nito ang pinakamaliit na Mac na kaya ito at ang bilis sa bawat chip: bawat open model.

4Pagpapatakbo nito buong araw

Parehong tahimik at matipid na laging-bukas na makina ang dalawa. Sa mga numero ng Apple sa itaas, 4–6 W kapag idle ang Mac mini at 7–9 W ang Mac Studio; kapag todo ang trabaho, puwedeng umabot sa 385 W ang Mac Studio na may M5 Ultra. Ipinapaliwanag ng Mac mini bilang AI server kung paano ito panatilihing gising at mag-serve ng mga model sa ibang device, at ng gaano kalaking kuryente ang gamit ng Mac kung magkano ang isang araw.

Kapag idle ito, kayang magpatakbo ng MLX Node ng mga AI job para sa MLX Network at kumita ng MLX token. Mas mabilis magmina ang dedicated seat na tugma sa chip: Core para sa M6, Pro para sa M5 Pro at M5 Max, Ultra para sa M5 Ultra. Hindi garantisado ang kita: basahin ang mga panganib.

5Mga tanong

Sulit ba ang Mac Studio kaysa sa Mac mini para sa AI?

Kung gusto mo ng mga model na lampas sa mga 85B parameter, gpt-oss-120b o mahahabang context, oo: ang Mac Studio lang ang may higit sa 64 GB. Para sa mga model na hanggang mga 30B sa 4-bit, kaya sila ng Mac mini na may M5 Pro, sa mga kalahati ng bandwidth ng M5 Max.

Kaya ba ng Mac mini ang 70B na model?

Ang M5 Pro na may 64 GB lang, sa 4-bit at may maikling context: mga 39 GB na weights sa 48 GB na magagamit ng GPU bilang default, sa ilang token bawat segundo. Kaya ito ng Mac Studio na may 128 GB nang may puwang para sa context at mga dalawang beses na mas mabilis.

Mac Studio M5 Max o M5 Ultra para sa LLM?

Mga doble ang bandwidth ng M5 Ultra (1,200 laban sa 614 GB/s), kaya mga dalawang beses itong mas mabilis sumulat, at umaabot ito sa 512 GB. Kaya ng M5 Max na may 128 GB ang mga model na hanggang mga 170B sa 4-bit. Tingnan ang M5 Max vs M5 Ultra.

Mac mini M6 o M5 Pro para sa AI?

Ang M5 Pro: mga 80% na mas mabilis itong magbasa ng memory kaysa sa M6 na may 24 o 32 GB at umaabot ito sa 64 GB sa halip na 32 GB.