Magkatabi
Bilis sa mga sikat na model
Token bawat segundo para sa isang usapan, bawat chip sa pinakamalaking memory size nito (64 GB at 128 GB), gamit ang pinakamagandang bersyon ng model na kasya.
| Model | M1 Max | M1 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 21–38 8-bit | 42–75 8-bit |
| gpt-oss-20b21B · 3.6B aktibo | 95–168 native na 4.25-bit | 189–337 native na 4.25-bit |
| Qwen3.6 35B A3B35B · 3B aktibo | 56–100 8-bit | 113–200 8-bit |
| Qwen3.8 27B27B | 12–21 4-bit | 13–22 8-bit |
| Llama 3.3 70B Instruct70B | 5–8 4-bit | 5–9 8-bit |
| gpt-oss-120b117B · 5.1B aktibo | 113–200 2-bit mas mababang kalidad | 133–237 native na 4.25-bit |
| Qwen3.5 122B A10B122B · 10B aktibo | 58–103 2-bit mas mababang kalidad | 64–114 4-bit |
| DeepSeek V4 Flash 0731284B · 13B aktibo | masyadong malaki | 88–156 2-bit mas mababang kalidad |
Mga tanong
- Mas mabilis ba ang M1 Ultra kaysa sa M1 Max para sa LLM?
- Mga 100% na mas mabilis magbasa ng memory ang M1 Ultra kaysa sa M1 Max (800 vs 400 GB/s), kaya mga 100% na mas mabilis itong magsulat sa anumang model na kasya sa dalawa. Ang pagbasa naman ng mahabang prompt ay nakadepende sa GPU compute, na hindi saklaw ng paghahambing na ito.
- Alin ang kaya ang mas malalaking model, ang M1 Max o ang M1 Ultra?
- Ang M1 Ultra: Hanggang 128 GB na memory ang M1 Ultra, hanggang 64 GB ang M1 Max. Sa pinakamalaking memory nito, maayos nitong napapatakbo ang 47 sa 73 na open model, kumpara sa 39.
Iba pang paghahambing
Ang M1 Max para sa local AI · Ang M1 Ultra para sa local AI · Ihambing ang bawat model · Ang pinakamagandang Mac para sa local LLM
Paano ito kinuwenta
Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.