Je, M1 inaweza kuendesha modeli ya 70B?

Si kwa urahisi. Modeli ya 70B kwa 4-bit inahitaji takriban 40 GB, na M1 ina 16 GB tu kwa kiwango cha juu. Modeli zenye hadi takriban vigezo 21B zinatosha vizuri.

M1 hupata tokeni ngapi kwa sekunde?

Kwa modeli ya 8B kwa 4-bit, kikomo ni takriban tokeni 15 kwa sekunde, na matumizi halisi hufikia takriban nusu hadi nne ya tano yake. Modeli kubwa zaidi ni polepole kwa uwiano huo huo.

Je, M1 inafaa kwa AI?

Kwa kuendesha modeli ndani ya kifaa, kumbukumbu na bandwidth ndivyo muhimu zaidi. M1 ina hadi 16 GB kwa 68 GB/s, inayotosha modeli zenye hadi takriban vigezo bilioni 21. Pia inaweza kupata mapato kwa kuendesha kazi za AI kwa ajili ya MLX Network kupitia MLX Node.

M1 kwa LLM ya ndani: kumbukumbu, kasi na modeli

1Vipimo muhimu kwa AI

Unified memory	16 GB
Bandwidth ya kumbukumbu	68 GB/s
Inapatikana kwenye	MacBook Air (2020), 13-inch MacBook Pro (2020), Mac mini (2020), iMac (2021)
Kiti maalum kwa ajili yake	Kiti cha Core: huchimba hadi MLX 20 kwa siku

2Modeli zipi zinatosha

Kwa biti 4 kwa kila weight, modeli inahitaji zaidi kidogo ya nusu gigabaiti kwa kila vigezo bilioni moja, pamoja na nafasi ya muktadha wake na macOS. Ikiwa na 16 GB, M1 hubeba kwa urahisi modeli zenye hadi takriban vigezo bilioni 21.

Modeli kwa 4-bit	Kumbukumbu inayohitaji	Inatosha kwenye M1
Modeli ya 8B	4.5 GB	Ndiyo
Modeli ya 14B	7.9 GB	Ndiyo
Modeli ya 32B	18 GB	Hapana
Modeli ya 70B	39.4 GB	Hapana
gpt-oss-120b, mixture-of-experts	65 GB	Hapana
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	Hapana
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Hapana

3Inaenda kwa kasi gani

Kasi ya kuandika maandishi hudhibitiwa na bandwidth ya kumbukumbu: kila tokeni mpya husoma weights hai za modeli mara moja. Ukigawanya 68 GB/s ya M1 kwa baiti zinazosomwa kwa kila tokeni, unapata kikomo kilicho hapa chini. Matumizi halisi kwa kawaida hufikia takriban 45% hadi 80% yake (llama.cpp benchmarks).

Modeli kwa 4-bit	Husomwa kwa kila tokeni	Kikomo kwa gumzo moja
Modeli ya 8B	4.5 GB	tokeni 15 kwa sekunde
Modeli ya 14B	7.9 GB	tokeni 9 kwa sekunde

5Linganisha na chipu nyingine

6Maswali

Je, M1 inaweza kuendesha modeli ya 70B?: Si kwa urahisi. Modeli ya 70B kwa 4-bit inahitaji takriban 40 GB, na M1 ina 16 GB tu kwa kiwango cha juu. Modeli zenye hadi takriban vigezo 21B zinatosha vizuri.
M1 hupata tokeni ngapi kwa sekunde?: Kwa modeli ya 8B kwa 4-bit, kikomo ni takriban tokeni 15 kwa sekunde, na matumizi halisi hufikia takriban nusu hadi nne ya tano yake. Modeli kubwa zaidi ni polepole kwa uwiano huo huo.
Je, M1 inafaa kwa AI?: Kwa kuendesha modeli ndani ya kifaa, kumbukumbu na bandwidth ndivyo muhimu zaidi. M1 ina hadi 16 GB kwa 68 GB/s, inayotosha modeli zenye hadi takriban vigezo bilioni 21. Pia inaweza kupata mapato kwa kuendesha kazi za AI kwa ajili ya MLX Network kupitia MLX Node.

Vyanzo

Apple: M1apple.com
llama.cpp: Apple Silicon benchmarksgithub.com