Mac mini dhidi ya Mac Studio kwa AI.

1Vipimo vinavyojalisha kwa AI

Kila usanidi una kiungo cha modeli zinazoendeshwa vizuri juu yake. Modeli za awali hufanya kazi kwa njia hiyohiyo: Mac mini yenye M4 au M4 Pro, na Mac Studio yenye M4 Max au M3 Ultra (kila Mac, kwa mpangilio).

2Kila moja huandika kwa kasi gani

Kuandika maandishi husoma weights zinazotumika za modeli mara moja kwa kila tokeni, hivyo bandwidth ya kumbukumbu huweka kikomo cha kasi. Kwa modeli ya 32B ya dense kwa 4-bit, takriban GB 18:

Modeli za mixture-of-experts husoma sehemu ndogo tu ya weights zao kwa kila tokeni, hivyo huandika kwa kasi zaidi sana kuliko ukubwa wao unavyoashiria: kumbukumbu huamua kama zinatosha, bandwidth bado huweka kasi. Kusoma prompt ndefu hutegemea nguvu ya kukokotoa ya GPU kuliko bandwidth, na hapo GPU kubwa za chipu za Max na Ultra huongoza zaidi.

3Ipi kwa modeli zipi

• Modeli ndogo na za kati (hadi takriban 30B kwa 4-bit), mazungumzo, wasaidizi wa code, seva ya AI ya nyumbani: Mac mini yenye M5 Pro na GB 48 au 64. Mac mini ya M6 yenye GB 32 huendesha ukubwa uleule kwa takriban nusu ya kasi.
• Modeli za daraja la 70B, gpt-oss-120b, context ndefu au modeli kadhaa kwa wakati mmoja: Mac Studio yenye M5 Max na GB 128. Faili rasmi za gpt-oss-120b za OpenAI ni takriban GB 65 (OpenAI), zaidi ya kile Mac mini yoyote inaweza kuipa GPU yake.
• Modeli huria kubwa kabisa (mamia ya mabilioni ya vigezo): Mac Studio yenye M5 Ultra na GB 256 au 512, au Mac kadhaa pamoja (cluster za AI za Mac).

Kwa modeli maalum, ukurasa wake unaonyesha Mac ndogo zaidi inayoiendesha na kasi kwenye kila chipu: kila modeli huria.

4Kuiendesha siku nzima

Zote mbili ni mashine tulivu na zenye ufanisi za kuwaka muda wote. Mac mini hutumia wati 4–6 ikiwa haifanyi kazi na Mac Studio wati 7–9 kwa takwimu za Apple zilizo juu; kwa mzigo kamili Mac Studio yenye M5 Ultra inaweza kutumia hadi wati 385. Mac mini kama seva ya AI inaeleza jinsi ya kuiweka macho na kutoa modeli kwa vifaa vingine, na Mac hutumia umeme kiasi gani gharama ya siku moja.

Ikiwa haitumiki, MLX Node inaweza kuendesha kazi za AI kwa MLX Network na kupata MLX Tokens. Kiti maalum kinacholingana na chipu huchimba kwa kasi zaidi: Core kwa M6, Pro kwa M5 Pro na M5 Max, Ultra kwa M5 Ultra. Mapato hayahakikishwi: soma hatari.

5Maswali

Je, Mac Studio inafaa zaidi kuliko Mac mini kwa AI?

Ikiwa unataka modeli zaidi ya takriban vigezo 85B, gpt-oss-120b au context ndefu, ndiyo: Mac Studio pekee ina zaidi ya GB 64. Kwa modeli hadi takriban 30B kwa 4-bit, Mac mini yenye M5 Pro huziendesha, kwa takriban nusu ya bandwidth ya M5 Max.

Je, Mac mini inaweza kuendesha modeli ya 70B?

M5 Pro yenye GB 64 tu, kwa 4-bit na context fupi: takriban GB 39 za weights ndani ya GB 48 ambazo GPU inaweza kutumia kwa chaguo-msingi, kwa tokeni chache kwa sekunde. Mac Studio yenye GB 128 huiendesha ikiwa na nafasi ya context na takriban mara mbili ya kasi.

Mac Studio M5 Max au M5 Ultra kwa LLM?

M5 Ultra ina takriban mara mbili ya bandwidth (1,200 dhidi ya GB/s 614), hivyo huandika takriban mara mbili kwa kasi, na hufika hadi GB 512. M5 Max yenye GB 128 inatosha modeli hadi takriban 170B kwa 4-bit. Tazama M5 Max dhidi ya M5 Ultra.

Mac mini M6 au M5 Pro kwa AI?

M5 Pro: husoma kumbukumbu takriban 80% haraka zaidi kuliko M6 yenye GB 24 au 32 na hufika hadi GB 64 badala ya GB 32.