M2 kwa AI ya ndani ya kifaa.

1Vipimo muhimu kwa AI

2Modeli zipi zinatosha

Kwa biti 4 kwa kila weight, modeli inahitaji zaidi kidogo ya nusu gigabaiti kwa kila vigezo bilioni moja, pamoja na nafasi ya muktadha wake na macOS. Ikiwa na 24 GB, M2 hubeba kwa urahisi modeli zenye hadi takriban vigezo bilioni 32.

3Inaenda kwa kasi gani

Kasi ya kuandika maandishi hudhibitiwa na bandwidth ya kumbukumbu: kila tokeni mpya husoma weights hai za modeli mara moja. Ukigawanya 100 GB/s ya M2 kwa baiti zinazosomwa kwa kila tokeni, unapata kikomo kilicho hapa chini. Matumizi halisi kwa kawaida hufikia takriban 45% hadi 80% yake (llama.cpp benchmarks).

5Linganisha na chipu nyingine

• M2 · 8 GB
• M2 · 16 GB
• M2 · 24 GB
• M1 vs M2
• M2 vs M2 Pro
• M2 vs M3
• M2 vs M4

• M1: 16 GB, 68 GB/s
• M3: 24 GB, 100 GB/s
• M2 Pro: 32 GB, 200 GB/s
• Mac bora kwa LLM za ndani.

6Maswali

Je, M2 inaweza kuendesha modeli ya 70B?

Si kwa urahisi. Modeli ya 70B kwa 4-bit inahitaji takriban 40 GB, na M2 ina 24 GB tu kwa kiwango cha juu. Modeli zenye hadi takriban vigezo 32B zinatosha vizuri.

M2 hupata tokeni ngapi kwa sekunde?

Kwa modeli ya 8B kwa 4-bit, kikomo ni takriban tokeni 22 kwa sekunde, na matumizi halisi hufikia takriban nusu hadi nne ya tano yake. Modeli kubwa zaidi ni polepole kwa uwiano huo huo.

Je, M2 inafaa kwa AI?

Kwa kuendesha modeli ndani ya kifaa, kumbukumbu na bandwidth ndivyo muhimu zaidi. M2 ina hadi 24 GB kwa 100 GB/s, inayotosha modeli zenye hadi takriban vigezo bilioni 32. Pia inaweza kupata mapato kwa kuendesha kazi za AI kwa ajili ya MLX Network kupitia MLX Node.