Mag-log inGumawa ng wallet

Ang M1 Ultra para sa local AI.

May hanggang 128 GB na unified memory ang M1 Ultra, na nababasa nang hanggang 800 GB/s. Narito kung ano ang ibig sabihin niyan sa pagpapatakbo ng mga language model sa Mac na may ganitong chip, batay sa sariling mga numero ng Apple.

1Ang specs na mahalaga para sa AI

Unified memory128 GB
Memory bandwidth800 GB/s
Makikita saMac Studio (2022)
Dedicated seat para ritoUltra seat: nagma-mine nang hanggang 320 MLX bawat araw

2Aling mga model ang kasya

Sa 4 bit bawat weight, kailangan ng model ng kaunti pa sa kalahating gigabyte bawat bilyong parameter, dagdag ang espasyo para sa context nito at sa macOS. Sa 128 GB, maluwag na kasya sa M1 Ultra ang mga model na hanggang mga 170 bilyong parameter.

Model sa 4-bitMemory na kailanganKasya sa M1 Ultra
8B na model4.5 GBOo
14B na model7.9 GBOo
32B na model18 GBOo
70B na model39.4 GBOo
gpt-oss-120b, mixture-of-experts65 GBOo
Qwen3.5-397B-A17B, mixture-of-experts223.3 GBHindi
DeepSeek-V4.1-Flash, mixture-of-experts316 GBHindi

3Gaano ito kabilis

Limitado ng memory bandwidth ang pagsulat ng text: binabasa ng bawat bagong token nang isang beses ang mga aktibong weight ng model. Kapag hinati ang 800 GB/s ng M1 Ultra sa bytes na binabasa bawat token, makukuha ang ceiling sa ibaba. Kadalasang umaabot ang totoong takbo sa mga 45% hanggang 80% nito (llama.cpp benchmarks).

Model sa 4-bitBinabasa bawat tokenCeiling para sa isang chat
8B na model4.5 GB178 token/s
14B na model7.9 GB101 token/s
32B na model18 GB44 token/s
70B na model39.4 GB20 token/s
gpt-oss-120b, mixture-of-experts2.7 GB296 token/s

5Ikumpara sa ibang chip

6Mga tanong

Kaya ba ng M1 Ultra ang 70B na model?
Oo. Kailangan ng 70B na model sa 4-bit ng mga 40 GB, at may hanggang 128 GB ang M1 Ultra. Asahan ang ceiling na mga 20 token bawat segundo para sa isang chat.
Ilang token bawat segundo ang kaya ng M1 Ultra?
Para sa 8B na model sa 4-bit, mga 178 token bawat segundo ang ceiling, at umaabot ang totoong takbo sa mga kalahati hanggang apat na ikalima nito. Proporsyonal na mas mabagal ang mas malalaking model.
Maganda ba ang M1 Ultra para sa AI?
Sa pagpapatakbo ng model nang lokal, memory at bandwidth ang pinakamahalaga. May hanggang 128 GB ang M1 Ultra sa 800 GB/s, sapat para sa mga model na hanggang mga 170 bilyong parameter. Puwede rin itong kumita sa pagpapatakbo ng AI na trabaho para sa MLX Network gamit ang MLX Node.

Mga source

  1. Apple: M1 Ultraapple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M1 Ultra para sa local LLM: memory, bilis at mga model | MLX