Mac bora kwa LLM za ndani.

1Kwa nini kumbukumbu na bandwidth huamua kila kitu

Modeli ya lugha huandika tokeni moja kwa wakati, na kwa kila moja husoma kila weight inayotumika kutoka kwenye kumbukumbu. Kwa hiyo kikomo cha kasi kwa mazungumzo moja ni takriban bandwidth ya kumbukumbu ikigawanywa kwa ukubwa wa weights zinazotumika. Katika benchmarks za umma za llama.cpp, uzalishaji halisi hufikia 43% hadi 80% ya kikomo hicho kwenye chipu za Apple (llama.cpp).

Kusoma prompt yako ni tofauti: sehemu hiyo inazuiliwa na uwezo wa kukokotoa, ndiyo sababu chipu za kizazi cha M5, zenye neural accelerators ndani ya GPU, huchakata prompts mara kadhaa haraka zaidi kuliko za awali (Apple).

2Kila chipu, ikilinganishwa

Chipu za zamani bado hufanya kazi vizuri zikiwa na kumbukumbu ya kutosha. M1 Max au M2 Max yenye GB 64 husoma kwa kasi ya GB 400 kwa sekunde, zaidi ya chipu yoyote ya msingi ya leo, na mara nyingi hugharimu kidogo sana ikiwa imetumika.

3Mac ipi ununue

Unajaribu tu: MacBook Air au Mac mini yenye GB 16 hadi 32

Huendesha modeli za 7B hadi 14B bila shida na modeli za daraja la 30B ikiwa na GB 32. Inafaa kwa mazungumzo, uandishi na msaada mwepesi wa kuandika msimbo.

Thamani bora: chipu ya Pro yenye GB 64

Mac mini au MacBook Pro yenye M4 Pro au M5 Pro hubeba modeli za daraja la 70B na huendesha modeli za ukubwa wa kati kwa kasi nzuri. Kiwango kinachofaa zaidi kwa watengenezaji programu wengi.

AI ya ndani kwa umakini: chipu ya Max yenye GB 128

Huendesha gpt-oss-120b (takriban GB 65 kwa 4-bit) kwenye laptop; kwa takwimu ya bandwidth ya Apple, kikomo cha kinadharia kwa mkondo mmoja kwenye M5 Max ni takriban tokeni 225 kwa sekunde. Chaguo bora la kubebeka.

Modeli kubwa zaidi: Mac Studio yenye Ultra

Hadi GB 512 kwa kasi ya TB 1.2 kwa sekunde ukiwa na M5 Ultra hubeba modeli zenye mamia ya mabilioni ya vigezo juu ya meza moja. Kwa modeli kubwa zaidi, Mac zinaweza kuunganishwa kuwa cluster kupitia Thunderbolt 5: tazama cluster za AI za Mac.

4Iwezeshe Mac ijilipie

Mac iliyonunuliwa kwa ajili ya AI hutumia muda mwingi ikisubiri. MLX Node ni programu ya bure inayoazima uwezo huo wa ziada kwa MLX Network, ikiendesha kazi za AI kwa framework ileile ya MLX na kupata tokeni za MLX kwa kazi iliyothibitishwa. Kiti maalum kinacholingana na chipu huzidisha mapato yake: kiti cha Pro huendeshwa kwa kiwango kamili kwenye chipu ya Pro au Max, kiti cha Ultra kwenye chipu ya Ultra.

Linganisha Mac yako kwenye MLX Bench kwanza: inaonyesha tokeni kwa sekunde zilizopimwa kwa modeli huria kwenye kila chipu.

5Maswali

Je, GB 16 zinatosha kwa LLM ya ndani?

Ndiyo, kwa modeli hadi takriban vigezo bilioni 14 kwa 4-bit. Kwa modeli kubwa zaidi, au context ndefu, GB 32 au zaidi ni bora zaidi.

Mac Studio au MacBook Pro kwa LLM?

Zote huja na chipu za Max na hadi GB 128. MacBook Pro inabebeka; Mac Studio hubaki baridi zaidi chini ya mizigo mirefu na ndiyo Mac pekee yenye chipu za Ultra na hadi GB 512.

Je, Mac ni bora kuliko GPU ya Nvidia kwa AI ya ndani?

Kwa modeli kubwa zaidi nyumbani, mara nyingi ndiyo: unified memory ya Mac inaweza kubeba zaidi sana kuliko kumbukumbu ya kadi ya grafiki ya kawaida. Kadi ya hadhi ya juu ya Nvidia ina kasi zaidi kwa modeli zinazotosha kwenye kumbukumbu yake.

Je, M5 hufanya LLM ziwe na kasi zaidi?

Ndiyo, hasa katika kusoma prompts: Apple ilipima tokeni ya kwanza ikifika mara 3.3 hadi 4.1 mapema zaidi kwenye M5 kuliko M4 kwa MLX. Kasi ya uzalishaji hukua pamoja na bandwidth ya kumbukumbu, iliyopanda kwa 28% kutoka M4 hadi M5.