Kaya ba ng M5 ang 70B na model?

Hindi nang maluwag. Kailangan ng 70B na model sa 4-bit ng mga 40 GB, at hanggang 32 GB lang ang M5. Maayos na kasya ang mga model na hanggang mga 42B parameter.

Ilang token bawat segundo ang kaya ng M5?

Para sa 8B na model sa 4-bit, mga 34 token bawat segundo ang ceiling, at umaabot ang totoong takbo sa mga kalahati hanggang apat na ikalima nito. Proporsyonal na mas mabagal ang mas malalaking model.

Maganda ba ang M5 para sa AI?

Sa pagpapatakbo ng model nang lokal, memory at bandwidth ang pinakamahalaga. May hanggang 32 GB ang M5 sa 153 GB/s, sapat para sa mga model na hanggang mga 42 bilyong parameter. Puwede rin itong kumita sa pagpapatakbo ng AI na trabaho para sa MLX Network gamit ang MLX Node.

M5 para sa local LLM: memory, bilis at mga model

1Ang specs na mahalaga para sa AI

Unified memory	32 GB
Memory bandwidth	153 GB/s
Makikita sa	14-inch MacBook Pro (2025), MacBook Air (2026)
Dedicated seat para rito	Core seat: nagma-mine nang hanggang 20 MLX bawat araw

2Aling mga model ang kasya

Sa 4 bit bawat weight, kailangan ng model ng kaunti pa sa kalahating gigabyte bawat bilyong parameter, dagdag ang espasyo para sa context nito at sa macOS. Sa 32 GB, maluwag na kasya sa M5 ang mga model na hanggang mga 42 bilyong parameter.

Model sa 4-bit	Memory na kailangan	Kasya sa M5
8B na model	4.5 GB	Oo
14B na model	7.9 GB	Oo
32B na model	18 GB	Oo
70B na model	39.4 GB	Hindi
gpt-oss-120b, mixture-of-experts	65 GB	Hindi
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	Hindi
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Hindi

3Gaano ito kabilis

Limitado ng memory bandwidth ang pagsulat ng text: binabasa ng bawat bagong token nang isang beses ang mga aktibong weight ng model. Kapag hinati ang 153 GB/s ng M5 sa bytes na binabasa bawat token, makukuha ang ceiling sa ibaba. Kadalasang umaabot ang totoong takbo sa mga 45% hanggang 80% nito (llama.cpp benchmarks).

Model sa 4-bit	Binabasa bawat token	Ceiling para sa isang chat
8B na model	4.5 GB	34 token/s
14B na model	7.9 GB	19 token/s
32B na model	18 GB	9 token/s

Sinukat: sa M5 (10-core GPU), gumagawa ang llama.cpp ng 32 token bawat segundo gamit ang Llama-2-7B (Q4_0) sa mga pampublikong benchmark nito.

May mga neural accelerator sa GPU ang mga chip ng M5 generation, kaya ilang beses na mas mabilis nilang nababasa ang mga prompt kaysa sa M4: sinukat ng Apple na 3.3 hanggang 4.1 beses na mas maagang dumarating ang unang token gamit ang MLX (Apple).

5Ikumpara sa ibang chip

6Mga tanong

Kaya ba ng M5 ang 70B na model?: Hindi nang maluwag. Kailangan ng 70B na model sa 4-bit ng mga 40 GB, at hanggang 32 GB lang ang M5. Maayos na kasya ang mga model na hanggang mga 42B parameter.
Ilang token bawat segundo ang kaya ng M5?: Para sa 8B na model sa 4-bit, mga 34 token bawat segundo ang ceiling, at umaabot ang totoong takbo sa mga kalahati hanggang apat na ikalima nito. Proporsyonal na mas mabagal ang mas malalaking model.
Maganda ba ang M5 para sa AI?: Sa pagpapatakbo ng model nang lokal, memory at bandwidth ang pinakamahalaga. May hanggang 32 GB ang M5 sa 153 GB/s, sapat para sa mga model na hanggang mga 42 bilyong parameter. Puwede rin itong kumita sa pagpapatakbo ng AI na trabaho para sa MLX Network gamit ang MLX Node.

Mga source

Apple: M5apple.com
Apple: MacBook Air with M5apple.com
llama.cpp: Apple Silicon benchmarksgithub.com