Je, Mac Studio yenye M2 Max inafaa kwa LLM za ndani?

Ikiwa na GB 96 huendesha vizuri modeli huria 43 kati ya 73, hadi gpt-oss-120b, na huandika takriban tokeni 95–168 kwa sekunde na gpt-oss-20b. M2 Max husoma kumbukumbu kwa 400 GB/s, jambo linaloamua kasi yake ya kuandika.

Mac Studio yenye M2 Max inapaswa kuwa na kumbukumbu kiasi gani kwa AI?

Ikiwa na GB 32 huendesha vizuri modeli huria 38; ikiwa na GB 96, 43, hadi gpt-oss-120b. Kumbukumbu huamua modeli zipi zinatosha, na haiwezi kuongezwa baadaye.

Mac Studio yenye M2 Max kwa AI ya ndani: LLM zipi inaendesha

Kwa ukubwa wa kumbukumbu

Kumbukumbu	Zinaenda vizuri	Kubwa zaidi inayoenda vizuri	gpt-oss-20b
32 GB400 GB/s	38	Qwen3.6 35B A3B	95–168 tok/s
64 GB400 GB/s	39	Nemotron 3.5 Bolt 74B A9B	95–168 tok/s
96 GB400 GB/s	43	gpt-oss-120b	95–168 tok/s

Modeli za Mac: Mac Studio (2023). Si kila ukubwa wa kumbukumbu unapatikana kwa kila modeli ya Mac; Tech Specs za Apple zinaorodhesha kile ambacho kila moja inakuja nacho.

Maswali

Je, Mac Studio yenye M2 Max inafaa kwa LLM za ndani?: Ikiwa na GB 96 huendesha vizuri modeli huria 43 kati ya 73, hadi gpt-oss-120b, na huandika takriban tokeni 95–168 kwa sekunde na gpt-oss-20b. M2 Max husoma kumbukumbu kwa 400 GB/s, jambo linaloamua kasi yake ya kuandika.
Mac Studio yenye M2 Max inapaswa kuwa na kumbukumbu kiasi gani kwa AI?: Ikiwa na GB 32 huendesha vizuri modeli huria 38; ikiwa na GB 96, 43, hadi gpt-oss-120b. Kumbukumbu huamua modeli zipi zinatosha, na haiwezi kuongezwa baadaye.

Mac nyingine

Mac Studio yenye chipu nyingine:

Mac nyingine zenye M2 Max:

MacBook Pro M2 Max

Ana kwa ana:

M2 Max kwa AI ya ndani ya kifaa · Mac bora kwa LLM za ndani · Kila Mac

Jinsi inavyokokotolewa

Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.