Je, M5 Ultra inaweza kuendesha modeli ya 70B?

Ndiyo. Modeli ya 70B kwa 4-bit inahitaji takriban 40 GB, na M5 Ultra ina hadi 512 GB. Tarajia kikomo cha takriban tokeni 30 kwa sekunde kwa gumzo moja.

M5 Ultra hupata tokeni ngapi kwa sekunde?

Kwa modeli ya 8B kwa 4-bit, kikomo ni takriban tokeni 267 kwa sekunde, na matumizi halisi hufikia takriban nusu hadi nne ya tano yake. Modeli kubwa zaidi ni polepole kwa uwiano huo huo.

Je, M5 Ultra inafaa kwa AI?

Kwa kuendesha modeli ndani ya kifaa, kumbukumbu na bandwidth ndivyo muhimu zaidi. M5 Ultra ina hadi 512 GB kwa 1.2 TB/s, inayotosha modeli zenye hadi takriban vigezo bilioni 682. Pia inaweza kupata mapato kwa kuendesha kazi za AI kwa ajili ya MLX Network kupitia MLX Node.

M5 Ultra kwa LLM ya ndani: kumbukumbu, kasi na modeli

1Vipimo muhimu kwa AI

Unified memory	512 GB
Bandwidth ya kumbukumbu	1.2 TB/s
Inapatikana kwenye	Mac Studio (2026)
Kiti maalum kwa ajili yake	Kiti cha Ultra Latest: huchimba hadi MLX 480 kwa siku

2Modeli zipi zinatosha

Kwa biti 4 kwa kila weight, modeli inahitaji zaidi kidogo ya nusu gigabaiti kwa kila vigezo bilioni moja, pamoja na nafasi ya muktadha wake na macOS. Ikiwa na 512 GB, M5 Ultra hubeba kwa urahisi modeli zenye hadi takriban vigezo bilioni 682.

Modeli kwa 4-bit	Kumbukumbu inayohitaji	Inatosha kwenye M5 Ultra
Modeli ya 8B	4.5 GB	Ndiyo
Modeli ya 14B	7.9 GB	Ndiyo
Modeli ya 32B	18 GB	Ndiyo
Modeli ya 70B	39.4 GB	Ndiyo
gpt-oss-120b, mixture-of-experts	65 GB	Ndiyo
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	Ndiyo
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Ndiyo

3Inaenda kwa kasi gani

Kasi ya kuandika maandishi hudhibitiwa na bandwidth ya kumbukumbu: kila tokeni mpya husoma weights hai za modeli mara moja. Ukigawanya 1.2 TB/s ya M5 Ultra kwa baiti zinazosomwa kwa kila tokeni, unapata kikomo kilicho hapa chini. Matumizi halisi kwa kawaida hufikia takriban 45% hadi 80% yake (llama.cpp benchmarks).

Modeli kwa 4-bit	Husomwa kwa kila tokeni	Kikomo kwa gumzo moja
Modeli ya 8B	4.5 GB	tokeni 267 kwa sekunde
Modeli ya 14B	7.9 GB	tokeni 152 kwa sekunde
Modeli ya 32B	18 GB	tokeni 67 kwa sekunde
Modeli ya 70B	39.4 GB	tokeni 30 kwa sekunde
gpt-oss-120b, mixture-of-experts	2.7 GB	tokeni 444 kwa sekunde
Qwen3.5-397B-A17B, mixture-of-experts	9.6 GB	tokeni 125 kwa sekunde
DeepSeek-V4.1-Flash, mixture-of-experts	9 GB	tokeni 133 kwa sekunde

Kipimo halisi: kwenye M5 Ultra (80-core GPU), llama.cpp huzalisha tokeni 179 kwa sekunde kwa Llama-2-7B (Q4_0) katika benchmarks zake za umma.

Chipu za kizazi cha M5 huongeza neural accelerators kwenye GPU, hivyo husoma prompts mara kadhaa haraka kuliko M4: Apple ilipima kwamba kwa MLX tokeni ya kwanza hufika mara 3.3 hadi 4.1 mapema zaidi (Apple).

5Linganisha na chipu nyingine

6Maswali

Je, M5 Ultra inaweza kuendesha modeli ya 70B?: Ndiyo. Modeli ya 70B kwa 4-bit inahitaji takriban 40 GB, na M5 Ultra ina hadi 512 GB. Tarajia kikomo cha takriban tokeni 30 kwa sekunde kwa gumzo moja.
M5 Ultra hupata tokeni ngapi kwa sekunde?: Kwa modeli ya 8B kwa 4-bit, kikomo ni takriban tokeni 267 kwa sekunde, na matumizi halisi hufikia takriban nusu hadi nne ya tano yake. Modeli kubwa zaidi ni polepole kwa uwiano huo huo.
Je, M5 Ultra inafaa kwa AI?: Kwa kuendesha modeli ndani ya kifaa, kumbukumbu na bandwidth ndivyo muhimu zaidi. M5 Ultra ina hadi 512 GB kwa 1.2 TB/s, inayotosha modeli zenye hadi takriban vigezo bilioni 682. Pia inaweza kupata mapato kwa kuendesha kazi za AI kwa ajili ya MLX Network kupitia MLX Node.

Vyanzo

Apple: M6 and M5 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com